`
kanpiaoxue
  • 浏览: 1781336 次
  • 性别: Icon_minigender_1
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

快速搭建hadoop的开发环境

 
阅读更多

基于docker的hadoop镜像快速构建hadoop的开发环境。

镜像名称: sequenceiq/hadoop-docker

镜像官网地址: https://hub.docker.com/r/sequenceiq/hadoop-docker

docker 拉取镜像到本地:

docker pull sequenceiq/hadoop-docker:2.7.0

 运行容器,绑定端口到宿主机:

docker run -i -t -p 50070:50070 -p 9000:9000 -p 8088:8088 -p 8040:8040 -p 8042:8042  -p 49707:49707  -p 50010:50010  -p 50075:50075  -p 50090:50090 sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash

 进入docker内部之后,命令行运行命令,设定HADOOP_HOME

echo -e "alias ll=\"ls -lh\"\nexport HADOOP_HOME=\"\$HADOOP_PREFIX\"\nexport PATH=\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin:\$PATH" >> ~/.bashrc && source  ~/.bashrc

进入hadoop的安装目录:

cd $HADOOP_HOME

 运行hadoop的MR任务:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'

 宿主机的浏览器登录ResourceManager查看任务状态:

http://localhost:8088/cluster/scheduler

 在docker內运行命令查看MR结果:

hadoop fs -cat output/*

 

完成hadoop的开发环境快速部署。

 

 

 

参考地址: https://blog.csdn.net/qq_16563637/article/details/81702633

 

 

分享到:
评论

相关推荐

    Hadoop开发环境搭建

    搭建Hadoop开发环境是进行Hadoop编程和应用开发的第一步,这对于理解和实践大数据处理至关重要。 标题“Hadoop开发环境搭建”指的是配置一个适合进行Hadoop应用开发的本地或集群环境。这个过程通常涉及安装Java运行...

    详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境

    Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程...

    Linux下Hadoop开发环境搭建详解

    使用场景及目标:适用于需要进行大数据处理和分析的个人或团队,特别是初学者希望快速掌握 Hadoop 的本地开发环境搭建方法。 其他说明:本文假设用户使用的是 Ubuntu 或 CentOS 系统,如果使用 Windows 系统,则可能...

    从零起步搭建Hadoop单机和伪分布式开发环境图文教程.

    搭建Hadoop开发环境,无论是单机模式还是伪分布式模式,都需要准备一些基础软件和环境。单机模式仅用于开发和测试,它在本地运行所有Hadoop守护进程;伪分布式模式将守护进程部署在单个机器上,但是每个守护进程都...

    Hadoop 开发环境的构建与优化

    内容概要:本文档详细介绍了如何搭建Hadoop开发环境。首先,安装和配置Java环境,随后下载和解压Hadoop软件,接着配置Hadoop的环境变量及其核心文件(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml...

    Cygwin+Eclipse搭建Hadoop单机开发环境-1

    在本文中,我们将深入探讨如何使用Cygwin和Eclipse搭建Hadoop的单机开发环境。Cygwin是一个为Windows操作系统提供Linux-like环境的开源工具,而Eclipse是一款流行的集成开发环境(IDE),广泛用于Java应用程序的开发...

    Hadoop 2.7.4 Windows 7 64位 编译bin(包含winutils.exe, hadoop.dll等)

    标题中的“Hadoop 2.7.4 Windows 7 64位 编译bin(包含winutils.exe, hadoop.dll等)”指的是一个专为Windows ...对于初学者或者开发者来说,这是一个宝贵的资源,可以帮助他们在非Linux环境中快速搭建Hadoop开发环境。

    Hadoop教学使用java_jdk

    这个压缩包的目的是为了教学,意味着它将提供一个学习环境,让学生能够快速搭建Hadoop开发环境,并通过Java编写Hadoop程序。可能的教学内容包括Hadoop的架构介绍、Java MapReduce编程模型、HDFS的操作和管理,以及...

    HADOOP快速入门及搭建集群环境

    HADOOP开发工程师、数据分析师、数据科学家等职位都需要掌握HADOOP技术。 2. 分布式系统概述 分布式系统是指将多个计算机节点通过网络连接起来,以便协作完成某项任务的系统。分布式系统可以提高系统的可扩展性、...

    hadoop环境搭建教程

    在本教程中,我们将详细介绍如何在Windows系统下搭建Hadoop环境,内容涉及虚拟机的安装、基础环境配置以及Hadoop集群的具体搭建步骤。适合初学者跟随本教程一步步进行操作。 首先,搭建Hadoop环境需要一台高性能...

    全球最详细的从零起步搭建Hadoop单机和伪分布式开发环境图文教程

    首先,搭建Hadoop开发环境需要准备一些基本的软件,主要包括Java开发环境、SSH无密码登录配置以及Hadoop本身。Java开发环境是运行Hadoop的前提,因为Hadoop是用Java语言编写的。SSH无密码登录则用于在伪分布式环境中...

    eclipse搭建hadoop-3.1.2所需插件.rar

    在Eclipse中搭建Hadoop开发环境,可以让开发者享受到代码编辑、调试和测试的一体化体验。 接下来,我们详细讲解如何使用这个压缩包来配置Eclipse: 1. **下载与解压**:下载"eclipse搭建hadoop-3.1.2所需插件.rar...

    大数据学习所需基本知识以及搭建Hadoop大数据环境过程.docx

    一旦系统安装完毕,可以逐步搭建Hadoop环境,从独立模式开始,然后过渡到伪分布式和全分布式模式。最后,学习编写一键启动脚本来简化集群管理。 总的来说,大数据学习需要扎实的Java基础,熟练的Linux操作技能,...

    最详细的Hadoop环境搭建

    - Hadoop本地模式主要用于测试和开发,便于快速搭建环境。 - 安装步骤包括下载Hadoop源代码包、解压并配置环境变量。 **2. Hadoop伪分布式模式安装** - 伪分布式模式允许在单台机器上模拟分布式环境,是学习...

    Hadoop开发

    #### Hadoop开发环境搭建 - **在Windows上安装Hadoop**:需要先安装Java环境,然后下载Hadoop压缩包解压,配置环境变量,启动Hadoop服务等步骤。 - **在Linux上安装Hadoop**:相较于Windows,Linux环境更符合Hadoop...

    Hadoop环境搭建手册(包含所有基本信息,本人亲测)

    - **所需软件**:Java开发环境(JDK)、Hadoop二进制包、SSH客户端(如Putty)等。 - **安装软件**:确保安装好JDK,并设置好环境变量,下载对应版本的Hadoop,并解压到指定目录。 - **测试**:在安装完成后,...

    hadoop环境部署自动化shell脚本(伪分布式、完全分布式集群搭建).docx

    【Hadoop环境部署自动化Shell脚本】是一种高效的方法,用于快速搭建Hadoop集群,无论是用于学习还是开发。本文档提供了一个详细的脚本,涵盖了从Java环境配置到Hadoop集群的完全分布式安装的所有步骤,旨在降低...

    小白快速掌握Hadoop集成Kerberos安全技术频教程

    从零学习Kerberos安全认证机制,并和Hadoop、YARN、HIVE进行集成,通过知识点 + 案例教学法帮助小白快速掌握Hadoop集成Kerberos安全技术。 课程亮点 1,专项攻破Hadoop安全配置。 2,生动形象,化繁为简,讲解通俗...

    大数据-Hadoop环境搭建(单机)

    大数据-Hadoop环境搭建(单机) 本文档旨在指导读者搭建大数据Hadoop环境,基于CentOS 6.8操作系统,使用JDK 1.8和Hadoop...本文档提供了详细的指导,旨在帮助读者快速搭建Hadoop环境,了解Hadoop的基本概念和配置过程。

    Ubuntu上搭建Hadoop2.x详细文档

    本文档详细介绍了如何在Ubuntu系统上搭建Hadoop2.x环境,包括创建用户、安装Java环境、配置SSH无密码登录、安装Hadoop并配置相关核心文件的过程。通过这些步骤,用户可以顺利地在自己的Ubuntu环境中运行Hadoop集群,...

Global site tag (gtag.js) - Google Analytics