本地部署大数据集群前置准备

1. 设置VMware网段

虚拟网络编辑器——更改设置——选择VMnet8——子网改成192.168.88.0——NAT设置——网关设置为192.168.88.2

2. 下载CentOS操作系统

下载CentOS 7.6(1810)版本

3. 在VMware中安装CentOS操作系统

创建新的虚拟机——典型——安装光盘映像文件——输入账户名和密码(用户名为hadoop)——给虚拟机起名字并配置路径——磁盘大小默认——完成——等待13分钟左右

4. 克隆出3台虚拟机

将当前虚拟机关机——右键——管理——克隆——下一页——下一页——创建完整克隆——起名并选择路径——完成

重复3次，创建3个节点Node1、Node2、Node3

5. 设置内存

在编辑虚拟机设置里修改内存， 将Node1作为主节点，内存设置为4GB，Node2和Node3为2GB

6. 配置主机名与固定IP

修改主机名，打开终端并执行

su - hostnamectl set-hostname node1

Node2、Node3同理，重新打开终端主机名则改变

设置固定IP

su - vim /etc/sysconfig/network-scripts/ifcfg-ens33 --将dhcp协议改为static BOOTPROTO="static" --node1的IPADDR为101，node2为102，node3为103 IPADDR="192.168.88.101" NETMASK="255.255.255.0" GATEWAY="192.168.88.2" DNS1="192.168.88.2" --重启网卡 systemctl restart network 7. 配置主机名映射

在Windows系统中修改hosts文件，路径为C:\Windows\System32\drivers\etc\hosts，添加如下

在Linux中修改hosts文件，路径为/etc/hosts，在Node1、Node2、Node3中添加如下

192.168.88.101 node1 192.168.88.102 node2 192.168.88.103 node3 8. 配置SSH免密登录 --给3个节点分别生成ssh密钥，一路回车到底 ssh-keygen -t rsa -b 4096 --创建完密钥后在3个节点分别执行免密登录授权 ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3 9. 给hadoop用户配置免密登录 su - hadoop --给3个节点分别生成ssh密钥，一路回车到底 ssh-keygen -t rsa -b 4096 --创建完密钥后在3个节点分别执行免密登录授权 ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3 10. 配置JAVA环境

下载JDK1.8的安装包并上传，然后在3个节点分别执行

su - mkdir -p /export/server cd /export/server/ tar -zxf jdk-8u361-linux-x64.tar.gz -C /export/server/ ln -s /export/server/jdk1.8.0_361/ /export/server/jdk vim /etc/profile --添加如下内容 export JAVA_HOME=/export/server/jdk export PATH=$PATH:$JAVA_HOME/bin --加载环境变量 source /etc/profile rm -f /usr/bin/java ln -s /export/server/jdk/bin/java /usr/bin/java --验证java环境 java -version javac -version 11. 关闭防火墙 systemctl stop firewalld systemctl disable firewalld 12. 关闭SElinux vim /etc/sysconfig/selinux --将SELINUX=enforcing改为 SELINUX=disabled 13. 时间同步

使用的 CentOS 7 仓库已经被归档，当前的镜像地址无法找到所需的文件，重新配置yum源

rm -f /etc/yum.repos.d/* wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun /repo/Centos-7.repo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun /repo/epel-7.repo yum clean all yum makecache

设置时间同步

yum install -y ntp rm -f /etc/localtime ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime ntpdate -u ntp.aliyun systemctl start ntpd systemctl enable ntpd 14.重启集群更新配置 init 6