`
yeshaoting
  • 浏览: 685834 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop-1.0.3单机配置

 
阅读更多

hadoop-1.0.3单机配置

 

前提条件:

1. 安装jdk

2. ssh免密码输入访问

 

配置步骤:

1. 下载hadoop-1.0.3并解压到/home/ting/program/hadoop目录

2. 设置环境变量

vim ~/.bash_profile,添加如下内容:

export HADOOP_HOME=/home/ting/program/hadoop/hadoop-1.0.3

 

3. 在hadoop-1.0.3目录创建一个tmp目录

mkdir tmp

 

4. 修改conf/hadoop-env.sh

去掉JAVA_HOME前的#,并将其修改成自己安装的java路径。

# The java implementation to use.  Required.

export JAVA_HOME=/home/ting/program/java/jdk1.6.0_34

 

5. 修改conf/core-site.xml

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://127.0.0.1:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/home/ting/program/hadoop/hadoop-1.0.3/tmp</value>

  </property>

</configuration>

说明:127.0.0.1是单机环境下的本机地址,9000在搭建hbase集群环境时需要用到。

hadoop.tmp.dir设置为之前创建的tmp目录

 

6. 修改conf/hdfs-site.xml

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

</configuration>

 

7. 修改conf/mapred-site.xml

<configuration>

  <property>

    <name>mapred.job.tracker</name>

    <value>localhost:9001</value>

  </property>

</configuration>

 

8. 修改conf/masters和conf/slaves,其内容都是localhost

localhost

 

9. 格式化HDFS

命令:./bin/hadoop namenode -format

说明:进行此步前最好先删除tmp目录下的所有数据,否则DataNode线程无法启动。

 

10. 运行hadoop

命令:sh start-all.sh

 

11. 测试hadoop是否启动成功

命令:jps

若出现如下6个名称的进程,则hadoop运行成功。

15125 SecondaryNameNode

15217 JobTracker

14984 DataNode

19072 Jps

14860 NameNode

15348 TaskTracker

 

12. 验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:

http://localhost:50030    (MapReduce的Web页面)


 

http://localhost:50070    (HDfS的web页面)


 

  • 大小: 57.8 KB
  • 大小: 51.2 KB
分享到:
评论

相关推荐

    hadoop-core-1.0.3.jar

    Exception in thread "main" java.io.IOException: Failed to ...解决方法是,修改/hadoop-1.0.3/src/core/org/apache/hadoop/fs/FileUtil.java文件 688-692行注释,然后重新编译源代码,重新打一个hadoop.jar的包。

    hadoop-eclipse-plugin-1.0.3.jar

    windows下hadoop 的 eclipse 插件,eclipse3.7版本测试通过,lib里面包含解决windows下连接linux权限问题的hadoop-core.jar文件。

    hadoop-1.0.3 中文.chm

    hadoop-1.0.3 中文,资料都是来自apache,资料还是很齐全的,自己编译的,可以搜索,有些显示还是0.18版的,可能是文档没有更新过来。分数有点多,回复就会还你的。

    hadoop-1.0.3-API.chm

    Hadoop-1.0.3 API, 帮助用户查看Hadoop自身提供的接口调用

    hadoop-1.0.3 eclipse插件

    hadoop-1.0.3 eclipse插件

    hadoop-1.0.3-eclipse-plugin.jar

    hadoop-1.0.3-eclipse-plugin.jar 插件 你懂的!

    hadoop-2.7.7单机win7或win10搭建完整包

    3.使用编辑器打开E:\apps\hadoop-2.7.7\etc\hadoop\hadoop-env.cmd,修改set JAVA_HOME=E:\apps\你的jdk目录名 4.把E:\apps\hadoop-2.7.7\bin\hadoop.dll拷贝到 C:\Windows\System32 5.设置环境变量,新建系统变量,...

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    为了方便开发者在Eclipse或MyEclipse这样的集成开发环境中高效地进行Hadoop应用开发,Hadoop-Eclipse-Plugin应运而生。这个插件允许开发者直接在IDE中对Hadoop集群进行操作,如创建、编辑和运行MapReduce任务,极大...

    hadoop-eclipse-plugin-1.0.3.jar 插件

    4. **版本兼容性**:`hadoop-eclipse-plugin-1.0.3.jar`版本对应的是Hadoop 1.x系列,因此适用于使用该版本Hadoop集群的开发工作。需要注意的是,随着Hadoop的不断更新,有针对不同Hadoop版本的插件版本,如2.x和3.x...

    hadoop-eclipse-plugin-1.0.3

    然后,将下载的压缩包`hadoop-eclipse-plugin-1.0.3`解压到Eclipse的`plugins`目录下。这个步骤至关重要,因为Eclipse会自动检测并加载该目录下的插件。重启Eclipse后,你将在"New"菜单中看到Hadoop相关的新项目类型...

    flink-1.0.3-bin-hadoop27-scala_2

    5. **压缩包子文件的文件名称列表**:“flink-1.0.3”很可能是压缩包的主文件,包含了运行Flink所需的所有组件,如JAR文件、配置文件、示例程序等。解压这个文件后,用户可以启动Flink集群,运行示例,或者开始自己...

    hadoop-lzo-0.4.21-SNAPSHOT jars

    集成Hadoop-LZO到你的Hadoop环境,你需要将`hadoop-lzo-0.4.21-SNAPSHOT.jar`添加到Hadoop的类路径中,并配置Hadoop的相关参数,例如在`core-site.xml`中设置`io.compression.codecs`属性,指定支持LZO压缩。...

    hadoop-eclipse-plugin-1.2.1.jar有用的

    该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1...preferences ,browser选择D:\hadoop-eclipse,配置Hadoop MapReduce的安装路径。

    hadoop-eclipse-plugin-3.1.1.tar.gz

    Hadoop-Eclipse-Plugin-3.1.1是一款专为Eclipse集成开发环境设计的插件,用于方便地在Hadoop分布式文件系统(HDFS)上进行开发和调试MapReduce程序。这款插件是Hadoop生态系统的组成部分,它使得Java开发者能够更加...

    hadoop-3.3.4 版本(最新版)

    Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    hadoop-lzo-0.4.20.jar

    hadoop支持LZO压缩配置 将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop-2.7.2/share/hadoop/common/ core-site.xml增加配置支持LZO压缩 &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;?xml-stylesheet type="text/xsl...

Global site tag (gtag.js) - Google Analytics