ubuntu操作系统中docker下Hadoop分布式前置环境配置实验

版本：

centos7

hadoop 3.1.3

java JDK:1.8

集群规划：

masterslave1slave2HDFS

NameNode

DataNode

DataNode

SecondryNameNode

DataNode

YARNNodeManager

ResourceManage

NodeManager

NodeManager

1.docker容器：

把普通用户加入到docker组：

sudo gpasswd -a $USER docker newgrp docker

配置docker容器源:

sudo vim /etc/docker/daemon.json { "registry-mirrors" : [ "http://registry.docker-cn ", "http://docker.mirrors.ustc.edu ", "http://hub-mirror.c.163 ", " nfesww3w.mirror.aliyuncs " ], "insecure-registries" : [ "registry.docker-cn ", "docker.mirrors.ustc.edu " ], "debug" : true, "experimental" : true }

重启docker服务：

sudo systemctl restart docker

查看docker状态：

ps -ef | grep docker

 拉取centos7:7.5.1804镜像：

docker pull centos:7.5.1804

查看镜像：

docker images

创建容器：

docker run --name master -it centos:7.5.1804 /bin/bash docker run --name slave1 -it centos:7.5.1804 /bin/bash docker run --name slave2 -it centos:7.5.1804 /bin/bash

查看容器：

docker ps -a

启动容器：

docker start a08b

进入容器：

docker exec -it a08b00fdc6ce /bin/bash 2.配置ssh做免密登录:

由于最小化centos7，需安装 net-tools ,vim,openssh-server,oppenssh-clients

yum install -y net-tools yum install -y vim yum install -y openssh-server yum install -y openssh-clients

 查看每个容器中的ip

master:172.17.0.3

slave1:172.17.0.4

slave2:172.17.0.2

 设置root密码为aaaaaa：

sudo passwd

 修改/etc/hosts:

vi /etc/hosts 172.17.0.4 slave1 172.17.0.2 slave2 172.17.0.3 master

 配置ssh公钥和私钥：(一路回车）

ssh-keygen -t rsa

 暂时不知docker启动ssh方法

ssh-keygen -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key usr/sbin/sshd -D

 启动后会卡住退出重启

ps -e 查看后台sshd服务已启动：

 

 配置所有节点免密登录（包括自己）：

ssh-copy-id master ssh-copy-id slave1 ssh-copy-di slave2

3.配置JAVA_HOME环境：

master ：在/opt/目录下分别创建software和module文件夹：

mkdir /opt/softwore mkdir /opt/module

将ubuntu的jdk拷贝到master /opt/software上：

docker cp jdk-8u212-linux-x64.tar.gz master:/opt/software

 解压jdk到 /opt/module下:

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JAVA_HOME环境变量：

vi /etc/profile.d/my_env.sh

 添加：

export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin

加载配置文件：

source /etc/profile

使用 java -version查看环境变量是否配置完成：

JAVA_HOME环境变量配置完毕

4 .配置hadoop_HOME环境:

将物理机的jar包拷贝到master/opt/module下：

docker cp hadoop-3.1.3.tar.gz master:/opt/software

解压到/opt/module 目录下：

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置环境变量:

vi /etc/profile.d/my_env.sh export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 加载配置文件：

source /etc/profile

用hadoop -version查看环境是否配置完成：

HADOOP_HOME环境变量配置完成

注意：

注意 配置完成后 同步给其他节点

scp -r 要发送的内容 主机名：src

 

5.HADOOP_配置文件：

cd /opt/module/hadoop-3.1.3/etc/hadoop

core-site.xml:

<property> <name>fs.defaultFS</name> <value>hdfs://master:9820</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.3/data</value> </property>

yarn-site.xml:

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>slave1</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <property> <name>yarn.scheduler.maxmum-allocation-mb</name> <value>4096</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>4096</value> </property> <property> <name>yarn.nodemanager.pmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property>

hdfs-site.xmlL:

<property> <name>dfs.namenode.name.http-address</name> <value>master:9870</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>slave2:9868</value> </property>

maperd-site.xml:

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

配置完成后同步给其他节点

scp -r hadoop slave1:/opt/moder/hadoop3.1.3/etc  6.启动hadoop:

格式化hadoop ：

hdfs namenode -format

在hadoop3.1.3下多出data和logs两个文件

格式化成功

启动 hadoop

在master节点下：

start-dfs.sh

好，启动失败

 这是由于权限问题：

在每个节点增加用户：

useradd bigdata passwd bigdata 111111

增加/opt /module的权限：

chown bigdata:bigdata /module

 并使用bigdata用户给每个节点执行ssh免密

注意在每个节点都要执行

再次在master上启动：

start-dfs.sh

在slave1上启动：

start-yarn.sh

 

hadoop启动成功

 

 总结：

hadoop 启动失败 datanode 挂掉两台

docker端口问题