博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop_百科
阅读量:6659 次
发布时间:2019-06-25

本文共 1133 字,大约阅读时间需要 3 分钟。

一、发音是:[hædu:p]。 二、简介: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上; 而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。 HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。 Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

项目起源

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为 的子项目 的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System( ) 的启发。
2006 年 3 月份,Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
Hadoop 是最受欢迎的在 Internet 上对搜索 进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题,采用 机制,因此能大大提高效率。

发展历程

Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop[3]   最初只与网页索引有关,迅速发展成为分析大数据的领先平台。
目前有很多公司开始提供基于Hadoop的商业软件、支持、服务以及培训。Cloudera是一家美国的企业软件公司,该公司在2008年开始提供基于Hadoop的软件和服务。GoGrid是一家云计算基础设施公司,在2012年,该公司与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。Dataguise公司是一家数据安全公司,同样在2012年该公司推出了一款针对Hadoop的数据保护和风险评估。
 

转载地址:http://apqto.baihongyu.com/

你可能感兴趣的文章
「每天一道面试题」JVM垃圾回收算法有哪几些?
查看>>
“熊孩子”连续脚踢乘客遭背摔暴打,面对熊孩子我们应该怎么做
查看>>
从单机到2000万QPS:知乎Redis平台发展与演进之路
查看>>
design pattens - adapter
查看>>
百度首次将强化学习写入财报,不只是因为它能让你多看广告
查看>>
Zepto源码学习Event模块
查看>>
LeetCode40.组合总和|| JavaScript
查看>>
JavaScript深拷贝、浅拷贝
查看>>
[]为false,!![]为true,[true] == 'true'为true,傻傻分不清
查看>>
【译】Gradle 的依赖关系处理不当,可能导致你编译异常
查看>>
[译]无脚本的脚本:比特币如何支持没有智能合约的智能合约
查看>>
最全阿里技术P系列解读:P5-P8的技能要求和薪资结构
查看>>
01.设计模式-简单工厂模式
查看>>
【杭州云栖】弹性计算平台技术:云服务器“安全”“稳定”“弹性”的基石...
查看>>
Python 正则表达式(regex)
查看>>
第三章 : JavaORM框架之Mybatis篇(Ibatis)
查看>>
你被这些网络迷题难倒过吗?
查看>>
初探设计模式5:Spring涉及到的9种设计模式
查看>>
Confluence 6 使用 WebDAV 客户端来对页面进行操作
查看>>
常用的 Nand Flash 指令如下:
查看>>