大数据正在成为经济社会发展的新的驱动力。随着云计算、移动互联网等网络新技术的应用和发展,社会信息化进程进入大数据时代,海量数据的产生与流转成为常态。而大数据技术也如雨后春笋般正在蓬勃发展中。Hadoop分布式架构无疑是当前应用最广泛、最具代表性的大数据技术之一。
本章将首先介绍Hadoop技术概述,包括Hadoop框架的概念、架构、核心组件,接着将对Hadoop的应用场景和生态系统进行介绍,并介绍Hadoop的安装配置过程,然后将对Hadoop HDFS的基础操作命令和MapReduce编程进行详细介绍,最后通过实际的场景应用,基于HDFS文件系统并使用MapReduce编程实现电影网站用户影评分析。