下载掌阅APP，畅读海量书库
立即打开
本项目通过3个任务讲解了Spark集群的资源管理模式、Spark集群的安装及配置、Spark集群的启动和停止方式、向Spark集群提交并运行任务的方法。本项目主要包括以下内容。
●Spark集群的资源管理模式主要有Standalone、YARN和Mesos 3种。
●Spark的系统架构是基于Master/Slave模式进行设计的。系统主要由一个Driver和多个Worker Node组成。
●使用独立集群模式安装并配置Spark集群，同时需要配置Spark历史服务。
●以Spark提供的SparkPi程序以及单词统计程序为例，实现向Spark集群提交任务的基本流程。