快速搭建hadoop的开发环境

基于docker的hadoop镜像快速构建hadoop的开发环境。

镜像名称： sequenceiq/hadoop-docker

镜像官网地址： https://hub.docker.com/r/sequenceiq/hadoop-docker

docker 拉取镜像到本地：

docker pull sequenceiq/hadoop-docker:2.7.0

 运行容器，绑定端口到宿主机：

docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042  -p 49707:49707  -p 50010:50010  -p 50075:50075  -p 50090:50090 sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash

 进入docker内部之后，命令行运行命令，设定HADOOP_HOME

echo -e "alias ll=\"ls -lh\"\nexport HADOOP_HOME=\"\$HADOOP_PREFIX\"\nexport PATH=\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin:\$PATH" >> ~/.bashrc && source  ~/.bashrc

进入hadoop的安装目录：

cd $HADOOP_HOME

 运行hadoop的MR任务：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'

 宿主机的浏览器登录ResourceManager查看任务状态：

http://localhost:8088/cluster/scheduler

 在docker內运行命令查看MR结果：

hadoop fs -cat output/*

 

完成hadoop的开发环境快速部署。

 

 

 

参考地址： https://blog.csdn.net/qq_16563637/article/details/81702633