根据官方网站change log(修改日志)的介绍,Hadoop 3中一些新增的特性介绍如下:
(1)最低支持JDK1.8及以上版本,不再支持JDK1.7。Hadoop版本与JDK版本之间的匹配关系为:
● Apache Hadoop 3.3及以上版本支持Java 8和Java 11(仅仅运行时)。请在编译Hadoop时使用Java 8。Hadoop在使用Java 11编译时不支持HADOOP-16795,使用Java 11编译时支持OPEN。
● Apache Hadoop 3.0.x到3.2.x版本现在只支持Java 8。
● Apache Hadoop从2.7.x到2.10.x版本支持Java 7和Java 8。
(2)YARN Timeline版本升为2.0。
(3)高可靠支持超过2个NameNode节点。如配置3个NameNode和5个JournalNode。
(4)默认端口变化,具体变化如图1-6所示。
(5)从Hadoop 2.9开始添加了新的模块:Oozie,自此Hadoop拥有5个核心模块,以下是官方模块列表:
● Hadoop Common:支持其他Hadoop模块的常用工具。
● Hadoop Distributed File System(HDFS):Hadoop用于数据存储的分布式文件系统,提供应用数据的高吞吐量访问。
● Hadoop YARN:用于作业调度和集群资源管理的框架。
● Hadoop MapReduce:基于YARN框架,用于处理大数据集的分布式并行计算框架。
● Hadoop Ozone:是一个分布式对象存储系统,提供的是一个key-value形式的对象存储服务。
图1-6
(6)Hadoop 3之后,已经不再建议使用root用户启动和管理Hadoop的进程。建议创建一个非root用户来启动和管理Hadoop的进程。建议创建一个名称为hadoop的用户,并设置hadoop用户属于wheel组。