Hadoop 集群安装
docker pull kiwenlau/hadoop:1.0
下载启动脚本
git clone https://github.com/kiwenlau/hadoop-cluster-docker
创建网桥由于 Hadoop 的 master 节点需要与 slave 节点通信,需要在各个主机节点配置节点 IP,为了不用每次启动都因为 IP 改变了而重新配置,在此配置一个 Hadoop 专用的网桥,配置之后各个容器的 IP 地址就能固定下来。
sudo docker network create --driver=bridge hadoop
cd hadoop-cluster-docker/
为了方便后续通过 Java API 访问 HDFS,需要修改脚本,添加一个端口映射,将容器的 9000 端口映射到本地的 9000 端口,我们需要在-p 8088:8088 \下添加一行,如下图所示
然后执行以下命令完成 docker 容器的启动
./start-container.sh
随即会进入容器内的终端
在master容器内启动 hadoop
./start-hadoop.sh
至此,hadoop 集群启动完成。
我们可以分别访问http://localhost:8088和http://localhost:50070/来访问 hadoop 集群的可视化界面
- http://localhost:8088
- http://localhost:50070/
查看 hadoop 使用情况
hadoop dfsadmin -report
,