购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.3 Hadoop安装前的准备工作

本书使用在虚拟机下安装的64位Ubuntu 16.04.4系统作为安装Hadoop的Linux系统环境,我们要安装的Hadoop是Hadoop 2.7.1。在安装Hadoop之前,我们需要做一些准备工作:创建hadoop用户、更新apt、安装SSH和安装Java环境等。

Hadoop安装准备

1.3.1 Linux主机的配置

1.创建hadoop用户

如果安装Ubuntu系统时用的不是hadoop用户,那么需要增加一个名为hadoop的用户,这样做是为了方便后续软件的安装。

首先打开一个终端(可以使用Ctrl+Alt+T组合键),执行如下命令创建hadoop用户:

这条命令创建了可以登录的hadoop用户,并使用/bin/bash作为Shell。

sudo是Linux系统的管理指令,是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具。这样不仅可减少root用户的登录和管理时间,还可提高安全性。当使用sudo命令时,需要输入当前所使用用户的密码。

接着执行如下命令为hadoop用户设置登录密码,可简单地将密码设置为hadoop,以方便记忆,并按提示输入两次密码:

还可以为hadoop用户增加管理员权限,以方便部署,并避免出现一些对新手来说比较棘手的权限问题,命令如下:

使用su hadoop命令可切换到hadoop用户,或者注销当前用户、选择用hadoop用户登录。

2.更新apt

切换到hadoop用户后,先更新apt软件,后续会使用apt安装软件,如果不更新apt则可能有一些软件安装不了。执行如下命令更新apt:

1.3.2 安装SSH、配置SSH免密码登录

SSH(secure shell,安全外壳)是建立在应用层基础上的安全协议,由IETF(Internet engineering task force,因特网工程任务组)的网络小组制定。SSH是目前较可靠的,专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH由客户端和服务器组成,它在后台运行并响应来自客户端的连接请求,客户端包含ssh程序及scp(远程复制)、slogin(远程登录)和sftp(安全文件传输)等其他应用程序。SSH的工作机制是,本地的客户端发送一个连接请求到远程的服务器,服务器检查申请的包和IP地址再发送密钥给SSH的客户端,本地再将密钥发回给服务器,自此建立连接。

Hadoop的NameNode(名称节点)需要通过SSH来启动Slave列表中各台主机的守护进程。由于SSH需要用户密码进行登录,但Hadoop并没有提供以SSH输入密码登录的形式,因此,为了能够在系统运行中完成节点的免密码登录和访问,需要将Slave列表中的各台主机配置为NameNode。配置SSH的主要工作是创建一个认证文件,使得用户以public key方式登录,而不用手动输入密码。Ubuntu默认已安装了SSH客户端,此外还需要执行如下命令安装SSH服务器:

安装好SSH服务器后,可以执行如下命令登录本机:

此时会有登录提示,要求用户输入“yes”以便确认连接。输入“yes”,然后按提示输入密码“hadoop”,这样就可以登录到本机。但这样登录是需要每次都输入密码的,下面我们将其配置成SSH免密码登录,配置步骤如下。

(1)生成密钥对

(2)加入授权

此时,再执行ssh localhost命令,不用输入密码就可以直接登录了。

1.3.3 安装Java环境

(1)下载JDK到“/home/hadoop/下载”目录下

这里下载的JDK是jdk-8u181-linux-x64.tar.gz。

(2)将JDK解压到/opt/jvm目录下

操作步骤如下:

(3)配置JDK的环境变量

编辑/etc/profile文件(命令为sudo vim/etc/profile),在文件末尾添加如下语句:

保存文件后退出,执行如下命令使其立即生效:

查看Java环境是否安装成功。在终端执行java-version,如果出现图1-25所示的界面,说明JDK安装成功。

图1-25 执行java-version的结果 Fb3F5FrlM1M9v/NACkVDT1iNNwxFKMdJebOSeyjTypJS4/fSt+Tm7Nt9y8w8jg9p

点击中间区域
呼出菜单
上一章
目录
下一章
×