购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

2.2 Hadoop发展史及特点

1.Hadoop的发展历程

关于Hadoop的起源,就不得不提到Google公司。Google在自身多年的搜索引擎业务中构建了突破性的GFS,从此文件系统进入分布式时代。而Hadoop来源于一款名为Google MapReduce的编程模型包。MapReduce框架可以把一个应用程序分解为许多并行计算指令,大量的计算节点运行非常巨大的数据集,一个典型例子就是在网络数据上运行的搜索算法。

在2002-2004年间,Google以三大论文的发布向世界推送了其云计算的核心组成部分GFS、MapReduce以及BigTable。Google虽然没有将其核心技术开源,但是这三篇论文已经向开源社区的开发者们指明了方向。

Doug Cutting使用Java语言对Google的云计算核心技术做了开源的实现。后来,Apache基金会整合Doug Cutting以及其他IT公司(如Facebook等)的贡献成果,开发并推出了Hadoop生态系统。Hadoop是一个搭建在廉价PC上的分布式集群系统架构,它具有高可用性、高容错性和高可扩展性等优点。由于它提供了一个开放式的平台,用户可以在完全不了解底层实现细节的情形下,开发适合自身应用的分布式程序。

2004年12月,Google发表了MapReduce论文,MapReduce允许跨服务器集群,运行超大规模并行计算。Doug Cutting意识到可以用MapReduce来解决Lucene的扩展问题。Doug Cutting根据GFS和MapReduce的思想创建了开源Hadoop框架。2006年1月,Doug Cutting加入Yahoo,领导Hadoop的开发。

2.Hadoop的特点

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点。

1)高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。

2)高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

3)高效性。Hadoop以并行的方式工作,能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

4)高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

5)低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,Hadoop是开源的,依赖于社区服务,项目的软件成本因此会大大降低,任何人都可以使用。

Hadoop带有用Java语言编写的框架,也可以使用其他语言编写。 nYp0kz+Ko2kUfrnFRSKcvBpmlCYzqKYPXKOrah06FNjgSDuQHW2A68rjX34CkukA

点击中间区域
呼出菜单
上一章
目录
下一章
×