DataNode作为数据存储的节点,并实时与NameNode通过心跳机制保持通信。
DataNode的功能如下:
(1)提供真实的存储服务。
(2)在Hadoop 2.0及以上的版本中,每一个文件块的大小为128MB,文件默认块大小为128MB,如果一个文件的大小没有128MB,则上传的文件将会占用一个实际大小的空间。如果文件大于128MB,则文件将会被分割成多个文件块。读者可以通过上传一个大于128MB的文件后查看一下上传后的文件是否分成多个文件的形式保存。文件的块大小可以在hdfs-site.xml文件中添加配置dfs.blocksize,默认值为134217728,即128MB。
(3)如果在core-site.xml中配置了hadoop.tmp.dir,会将真实的数据保存到${hadoop.tmp.dir}/data目录下。如果没有配置,则默认会将数据保存到/tmp/hadoop-${user.name}中。在上面的目录下有一个data目录,里面就是保存HDFS真实数据的位置。
(4)默认的副本为3个,在hdfs-site.xml中配置dfs.replication可以修改默认副本数量,最大小为512MB,默认值为3。