中国进入大数据风起云涌的时代,而以Hadoop为代表的一系列软件占据大数据处理的地盘。Hadoop也从小众领域,变成了大数据开发的标准之一,甚至在Hadoop原有技术基础之上,出现了Hadoop家族产品。Hadoop在大数据技术体系中的地位至关重要,可以说Hadoop是大数据技术的基础,要想在大数据技术道路上越走越远,必须扎实掌握Hadoop基础知识。
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,能够十分便利地利用集群的强大能力进行程序运算,解决高可用问题。
Hadoop框架最核心的设计就是:HDFS和MapReduce。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System,HDFS)。HDFS有高容错性特点,并且设计用来部署在低廉的硬件上。它为海量的数据提供了存储,而MapReduce为海量的数据提供了计算。