购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.4
Hadoop 3新特性

根据官方网站change log(修改日志)的介绍,Hadoop 3中一些新增的特性介绍如下:

(1)最低支持JDK1.8及以上版本,不再支持JDK1.7。Hadoop版本与JDK版本之间的匹配关系为:

● Apache Hadoop 3.3及以上版本支持Java 8和Java 11(仅仅运行时)。请在编译Hadoop时使用Java 8。Hadoop在使用Java 11编译时不支持HADOOP-16795,使用Java 11编译时支持OPEN。

● Apache Hadoop 3.0.x到3.2.x版本现在只支持Java 8。

● Apache Hadoop从2.7.x到2.10.x版本支持Java 7和Java 8。

(2)YARN Timeline版本升为2.0。

(3)高可靠支持超过2个NameNode节点。如配置3个NameNode和5个JournalNode。

(4)默认端口变化,具体变化如图1-6所示。

(5)从Hadoop 2.9开始添加了新的模块:Oozie,自此Hadoop拥有5个核心模块,以下是官方模块列表:

● Hadoop Common:支持其他Hadoop模块的常用工具。

● Hadoop Distributed File System(HDFS):Hadoop用于数据存储的分布式文件系统,提供应用数据的高吞吐量访问。

● Hadoop YARN:用于作业调度和集群资源管理的框架。

● Hadoop MapReduce:基于YARN框架,用于处理大数据集的分布式并行计算框架。

● Hadoop Ozone:是一个分布式对象存储系统,提供的是一个key-value形式的对象存储服务。

图1-6

(6)Hadoop 3之后,已经不再建议使用root用户启动和管理Hadoop的进程。建议创建一个非root用户来启动和管理Hadoop的进程。建议创建一个名称为hadoop的用户,并设置hadoop用户属于wheel组。 t7alyee36deXYYe/ahQu/kqXFo/orhbQeyXzRdyVSlffjRzJQpyNsnnqpa4ClxfJ

点击中间区域
呼出菜单
上一章
目录
下一章
×