下载掌阅APP，畅读海量书库
立即打开
党中央、国务院高度重视大数据产业发展，推动实施国家大数据战略。习近平总书记就推动大数据和数字经济相关战略部署、发展大数据产业多次做出重要指示。工业和信息化部会同相关部委建立大数据促进发展部际联席会议制度，不断完善政策体系，聚力打造大数据产品和服务体系，积极推进各领域大数据融合应用，培育发展大数据产业集聚高地。
党的二十大报告指出“深入实施科教兴国战略、人才强国战略、创新驱动发展战略，开辟发展新领域新赛道，不断塑造发展新动能新优势”。移动互联网与大数据技术的飞速发展，极大地改变了人们的生活方式，人们可以随时随地享受便捷的网络服务，电子商务（简称“电商”）系统已经成为人们生活中不可缺少的消费方式。在多年的快速发展中，国内的大型电商平台积累了海量的用户行为日志、商品订单等数据。大数据技术需要从海量的数据中对电商数据进行处理和分析，探索数据之间的内在规律，挖掘有价值的信息，以满足用户个性化和精准化的服务需求。
在众多的大数据技术中，Apache Spark成为大数据分析的重要工具之一。Spark是加州大学伯克利分校的AMP实验室开源的基于内存的并行计算框架。相对于基于Hadoop的MapReduce计算而言，Spark可以将中间计算结果保存在内存中，不再需要重复读写硬盘数据，大大提升了并行计算的效率，在大数据企业级项目中得到广泛应用。
本书采用理论与实践相结合的方式，以项目为主线来设计教学实践环节，由浅入深地讲解了Spark在企业级项目中的应用，尤其是大型电商平台的数据分析项目中的应用。读者在项目学习过程中可以边学边练，循序渐进。按照本书讲解的步骤进行操作，读者可以完成相应的学习任务。通过本书的学习，读者可以逐步增强Spark大数据分析项目的实践能力。
本书适合需要使用Spark进行大数据处理的程序员、架构师和产品经理作为技术参考和培训资料，也可作为高校本科生和研究生的教材。
本书以项目实践作为主线，结合必需的理论知识，以任务的形式进行设计。每个任务都包含任务描述及任务实施的步骤，读者按照实施步骤进行操作就可以完成相应的学习任务，不断提升项目实践能力。
各项目的主要内容如下。
项目1讲解Spark基本原理，通过案例实现Spark集群的安装和配置，完成Spark任务集群提交与运行的任务。
项目2讲解如何基于IDEA搭建Spark开发环境，编写Spark单词统计程序，将程序部署到Spark集群中并运行。
项目3介绍RDD的基本原理，通过案例讲解Spark RDD转换算子和行动算子的使用方法、RDD分区的原理、共享变量的实现原理。
项目4通过案例讲解Spark SQL基本操作流程，Spark SQL常用的数据源的使用方法，Spark SQL内置函数和自定义函数的使用方法，Spark SQL的关联表、分组集合、排序等操作方法。
项目5介绍电商业务系统的基本流程，通过案例讲解电商系统数据库的设计方法以及电商数据分析的基本流程。
项目6以一个国内某大型电商APP系统提供的用户行为数据作为分析对象，讲解电商用户行为分析的基本指标以及分析过程，主要包括用户访问量分析、用户购买行为分析及各阶段转化率分析等。
项目7以国内某大型电商平台提供的美妆商品销售数据集作为分析对象（数据集时间涵盖了双十一电商购物节），通过不同的维度对销售数据进行分析，主要维度包括店铺维度、商品维度等。
项目8以国内某大型电商平台提供的订单数据集作为分析对象，通过不同的维度对订单数据进行分析，主要维度包括时间维度、区域维度等。
项目9介绍常用的可视化分析图表的应用场景，以电商用户行为分析指标、电商销售数据分析指标以及电商订单数据分析指标作为数据可视化分析的指标，讲解Superset数据可视化分析工具的使用方法。
由于作者的水平有限，加上编写时间仓促，书中难免会有疏漏之处，恳请读者批评指正。如果你有更多的宝贵意见，欢迎通过出版社与我们取得联系，期待能够得到你们的真挚反馈。
编著者