本章将学习如何从零起步构建Spark集群。
· 如何从零起步构建Hadoop集群?
· 如何在Hadoop集群的基础上构建Spark集群?
· 如何测试Spark集群?
本章会基于实战过程细致讲解以上问题。读者只需遵循本章的实战过程,即可成功构建Spark集群,并使Spark代码在集群上运行。
对于想学习Spark的人而言,如何构建Spark集群是其首先必须面对的问题之一。为了解决大家构建Spark集群的一切困难,笔者把Spark集群的构建分为了四个步骤,称为构建Spark集群经典四部曲,从零起步,不需要任何前置知识,涵盖操作的每一个细节,构建完整的Spark集群:
第一部:搭建Hadoop单机版本和伪分布式开发环境;
第二部:构造分布式Hadoop集群;
第三部:构造分布式Spark集群;
第四部:测试Spark集群。
接下来详细讲述每一部曲的操作。