`
yunj
  • 浏览: 15173 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
最近访客 更多访客>>
社区版块
存档分类
最新评论

简单至上,搭一个hadoop开发环境

阅读更多
hadoop是纯java写的,与平台无关,但官方只给出了shell的启动脚本,所以在linux下很容易能运行一个单机hadoop作为开发环境

如果没有空闲机器来跑linux,在windows下,除了装一个虚拟机开linux,还有更简单的方法,在windows下启hadoop

cygwin是一个windows下运行shell脚本的好东西,除了脚本本身,还有linux下常用工具像grep、ssh等。安装时需要在默认基础上多选一个ssh,hadoop运行需要这个命令

装完cygwin,配置并启动好sshd,然后,不要再用cygwin那个破界面了,用scrt之类的工具ssh到localhost吧,cygwin的控制台都不能复制粘贴。。。

有了shell环境,再来简单设置一下hadoop,最简单的单机运行,只要在默认解压出来的hadoop/conf/hadoop-site/xml 里加上3个属性:
<property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9100</value>
</property>
<property>
	<name>mapred.job.tracker</name>
	<value>localhost:9101</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

还有一个JAVA_HOME 这个环境变量要改改,改成cygwin 环境能访问到的路径,即:D:\jdk 改成 /cygdrivers/d/jdk
不用在你的系统环境变量里改,在 hadoop/conf/hadoop-env.sh 里指定一下就可以了

然后
hadoop/bin/hadoop namenode -format 格式化一个dfs
hadoop/bin/start-all.sh 启动服务,ok了
分享到:
评论

相关推荐

    hadoop开发环境搭建

    因此,为了简化开发流程,提高效率,通常会搭建一个专门的开发环境来编写和测试Hadoop应用程序。本文档将详细介绍如何搭建这样一个环境。 #### 二、HadoopEclipse插件介绍 HadoopEclipse插件是专为Eclipse开发环境...

    windows下搭建hadoop开发环境

    下载后,解压到一个适当的目录,例如"C:\hadoop",然后设置以下环境变量: - `HADOOP_HOME` 指向Hadoop的安装目录 - `PATH` 添加Hadoop的bin目录,如`%HADOOP_HOME%\bin` 为了在Windows上运行Hadoop,还需要安装...

    UbuntuNote-hadoop开发环境搭建

    hadoop开发环境搭建 hadoop开发环境搭建 hadoop开发环境搭建 hadoop开发环境搭建 hadoop开发环境搭建

    【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)

    【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...

    基于Eclipse的Hadoop应用开发环境配置

    Eclipse 是一个开源的集成开发环境(Integrated Development Environment,IDE),由 Eclipse 基金会开发和维护。Eclipse 提供了一个可扩展的平台,支持多种编程语言,包括 Java、C++、Python 等。 三、基于 ...

    Hadoop开发环境搭建

    标题“Hadoop开发环境搭建”指的是配置一个适合进行Hadoop应用开发的本地或集群环境。这个过程通常涉及安装Java运行环境、下载Hadoop二进制包、配置环境变量、初始化HDFS以及启动Hadoop服务。在这个过程中,我们需要...

    hadoop本地windows开发环境配置

    通过以上五个步骤,你就可以在Windows环境下配置好一个完整的用于Spark分布式数据处理的开发环境了。这不仅包括了Hadoop的基本配置,还包括了Scala插件的安装、Scala SDK的安装以及打包jar包等关键步骤,为后续的...

    IDEA搭建本地hadoop开发环境的log4j.properties

    IDEA搭建本地hadoop开发环境的log4j.properties

    虚拟机下Hadoop开发环境搭建

    Hadoop 开发环境搭建第一篇: 1、是用Virtual Box 系统使用的是Redhat ,linux不熟的朋友们可以顺便学习一下linux, 2、环境配置包括防火墙关闭,IP分配,更改域名等 3、服务软件:远程服务SSH等安装

    Hadoop开发环境的插件hadoop-eclipse-plugin-2.10.1

    Hadoop Eclipse是Hadoop开发环境的插件,用户在创建Hadoop程序时,Eclipse插件会自动导入Hadoop编程接口的jar文件,这样用户就可以在Eclipse插件的图形界面中进行编码、调试和运行Hadop程序,也能通过Eclipse插件...

    cygwin+eclipse搭建hadoop开发环境,运行wordcount

    在构建Hadoop开发环境时,通常需要一个支持Unix命令行的环境,以便与Hadoop的命令行工具交互。Windows操作系统并不直接支持这些命令,但可以通过安装Cygwin来模拟这样的环境。Cygwin是一个开源软件,它为Windows提供...

    hadoop搭建与eclipse开发环境设置

    目的很简单,为进行研究与学习,部署一个hadoop运行环境,并搭建一个hadoop开发与测试环境。 具体目标是: 1.在ubuntu系统上部署hadoop 2.在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试 3...

    Hadoop 开发环境的构建与优化

    内容概要:本文档详细介绍了如何搭建Hadoop开发环境。首先,安装和配置Java环境,随后下载和解压Hadoop软件,接着配置Hadoop的环境变量及其核心文件(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml...

    win7搭建hadoop开发环境工具文件

    在Windows 7操作系统中搭建Hadoop开发环境,你需要遵循一系列步骤,这通常涉及到安装和配置Hadoop,以及集成Eclipse IDE。以下是一个详尽的指南,涵盖了标题和描述中提到的关键知识点。 首先,Hadoop是一个分布式...

    windows下hadoop2.6开发环境搭建过程说明及插件

    在Windows环境下搭建Hadoop2.6开发环境是一个相对复杂的过程,但通过详细的步骤和注意事项,可以有效地完成。这里我们将深入探讨这个过程,并介绍如何解决可能出现的问题。 首先,我们需要下载Hadoop2.6.0的安装包...

    Hadoop-Eclipse开发环境配置经验

    在介绍Hadoop-Eclipse开发环境...综上所述,配置Hadoop-Eclipse开发环境为开发人员提供了一个高效、直观的Hadoop程序开发和调试环境。尽管配置过程可能稍显复杂,但一旦配置成功,将大大提高工作效率和程序的可维护性。

    在 Windows 平台下部署 Hadoop 开发环境.docx

    要在 Windows 平台下部署 Hadoop 开发环境,需要安装 Cygwin 和 Eclipse Europa 3.3.2,Cygwin 是一个 Unix 模拟环境,可以在 Windows 平台下运行 Unix 命令,而 Eclipse Europa 3.3.2 是一个集成开发环境,可以用来...

Global site tag (gtag.js) - Google Analytics