`
ynp
  • 浏览: 438294 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop(2.6.0)伪分布模式搭建

阅读更多

---》vmware 安装ubantu

设置root密码
http://jingyan.baidu.com/article/5225f26b0ac250e6fb09084e.html
VM tools
安装后 可以跨系统粘贴复制 和文件共享,好用!
http://jingyan.baidu.com/article/1974b289b813dcf4b1f77411.html
http://blog.csdn.net/saint_bxg/article/details/6911243
ssh
http://jingyan.baidu.com/article/9c69d48fb9fd7b13c8024e6b.html
ftp
http://jingyan.baidu.com/article/67508eb4d6c4fd9ccb1ce470.html
jdk
ubantu不支持rpm格式 ,最好下载tar.gz格式
http://jingyan.baidu.com/article/5d368d1e12a1af3f60c0570a.html
http://blog.csdn.net/xiaoxiaoxuewen/article/details/7550176

---》hadoop(2.6.0)伪分布模式搭建
* 安装java
* 安装ssh
* 免密码ssh设置
现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

* 配置 hadoop
conf/core-site.xml:
<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/xxx/mysoft/hadoop_tmp</value>
</property>
</configuration>

conf/mapred-site.xml:
<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

* 格式化
hadoop namenode -format
* 启动Hadoop 守护进程
xxx@xxx:~/mysoft/hadoop-2.6.0/sbin$./start-all.sh
* 验证启动的进程
xxx@xxx:~/mysoft/hadoop-2.6.0/share/hadoop/mapreduce$ jps
8002 Jps
7092 NodeManager
6180 NameNode
6405 DataNode
6696 SecondaryNameNode
6861 ResourceManager

* 测试
创建两个文件
xxx@xxx:~/tmp$ echo "Hello World Bye World" > file01 
xxx@xxx:~/tmp$ echo "Hello Hadoop Goodbye Hadoop" > file02

拷贝到hadoop中
xxx@xxx:~/tmp$ hadoop fs -copyFromLocal file0* /input
copyFromLocal: `/input': No such file or directory
xxx@xxx:~/tmp$ hadoop fs -mkdir /input
xxx@xxx:~/tmp$ hadoop fs -ls /input
xxx@xxx:~/tmp$ hadoop fs -copyFromLocal file0* /input
xxx@xxx:~/tmp$ hadoop fs -ls /input
Found 2 items
-rw-r--r--   1 xxx supergroup         22 2016-01-26 14:40 /input/file01
-rw-r--r--   1 xxx supergroup         28 2016-01-26 14:40 /input/file02

执行例子
xxx@xxx:~/mysoft/hadoop-2.6.0/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output

查看结果
xxx@xxx:~/mysoft/hadoop-2.6.0/share/hadoop/mapreduce$ hadoop fs -ls /output
Found 2 items
-rw-r--r--   1 xxx supergroup          0 2016-01-26 14:44 /output/_SUCCESS
-rw-r--r--   1 xxx supergroup         41 2016-01-26 14:44 /output/part-r-00000
xxx@xxx:~/mysoft/hadoop-2.6.0/share/hadoop/mapreduce$ hadoop fs -cat /output/part-r-00000
Bye     1
Goodbye 1
Hadoop  2
Hello   2
World   2


参考:
http://www.aboutyun.com/thread-6487-1-1.html
http://www.linuxidc.com/Linux/2014-08/105915p4.htm
http://blog.csdn.net/mlzhu007/article/details/8462615
分享到:
评论

相关推荐

    hadoop2.6.0伪分布安装

    - 创建 `/opt/yarn` 目录,并进入该目录使用 `tar xvf hadoop2.6.0.tar.gz` 解压文件。 3. **用户和组创建**: - 根据实际需要创建用户组(例如 `hadoop`),以及用户(如 `yarn`, `hdfs`, `mapred`)。 4. **...

    hadoop 2.6.0 安装包

    这个"hadop 2.6.0 安装包"是为了帮助用户搭建和配置Hadoop环境,特别适用于大数据处理和分析。 1. **Hadoop的核心组件** - **HDFS(Hadoop Distributed File System)**:分布式文件系统,负责数据的存储。HDFS...

    hadoop 2.6.0 及Spark1.3.1平台搭建20150505-优化版

    本指南将详细介绍如何在基于 Hadoop 2.6.0 的环境中搭建 Spark 1.3.1 平台,以实现高效的数据处理。 首先,我们需要进行虚拟化环境的准备。这里推荐使用 VMware Workstation 11 作为虚拟化软件,它为开发和测试提供...

    hadoop伪集群搭建及eclipse插件配置

    搭建伪集群模式的Hadoop可以用于开发与测试,在这个模式下,所有节点实际上都运行在同一个物理机上,模拟集群的运行环境。同时,通过在开发IDE如Eclipse中配置Hadoop插件,可以更便捷地进行开发和调试Hadoop程序。...

    大数据 Hadoop 伪分布式搭建

    本教程将指导你如何在Ubuntu 16.04系统上搭建Hadoop 2.6.0的伪分布式环境,这个环境模拟了一个完整的Hadoop集群,但所有服务都在同一台机器上运行。 首先,我们需要创建一个新的用户和用户组,这有助于管理和隔离...

    Hadoop完全分布模式安装.pdf

    在开始深入了解Hadoop完全分布模式安装之前,首先需要了解Hadoop运行模式的三种类型:本地运行模式、伪分布运行模式和完全分布式运行模式。本地运行模式仅在单机上模拟分布式计算;伪分布运行模式则是在单机上运行...

    Hadoop伪分布式安装

    2. **伪分布模式**:在单台服务器上模拟完全分布式环境,所有Hadoop守护进程(如NameNode、DataNode、ResourceManager、NodeManager和SecondaryNameNode)在同一台机器上运行。尽管不是真正的分布式,但程序执行逻辑...

    Hadoop集群安装配置教程_Hadoop2.62

    【Hadoop集群安装配置教程_Hadoop2.6.0】是针对在Ubuntu和CentOS操作系统上搭建Hadoop集群的详细指南。本教程适用于Hadoop 2.x系列版本,特别是Hadoop 2.6.0及类似版本如Hadoop 2.7.1、Hadoop 2.4.1。它假设读者已经...

    Hadoop安装配置简略教程_给力星2

    本文将简要介绍在Ubuntu 14.04 64位系统上配置Hadoop 2.6.0的基本步骤,包括伪分布式和集群环境的搭建。以下是详细的操作流程: 1. **选定Master节点和网络映射配置** 在部署Hadoop时,首先需要确定一台机器作为...

    伪分布式大数据平台搭建实验综述.pdf

    本文由汪庆发表,介绍了如何在单机环境中使用VMware虚拟机和Hadoop框架搭建伪分布式大数据实验平台,以满足轻量化学习需求。 1. **Hadoop基础** Hadoop是一个开源的分布式计算框架,设计用于处理和存储大量数据。...

    实验一 hadoop 安装配置.docx

    从官方网站或镜像站点下载Hadoop的tarball文件,例如Hadoop 2.6.0。解压缩文件,并配置环境变量,如在`hadoop-env.sh`文件中设置JAVA_HOME。此外,还需要根据实际环境调整其他配置文件,如core-site.xml和hdfs-site....

    HBase单机环境搭建(超细)

    在搭建 HBase 伪集群之前,需要先安装配置好 Hadoop 的伪集群环境。虽然本文档没有详细介绍 Hadoop 的安装过程,但一般步骤包括下载 Hadoop 安装包、解压、配置环境变量、修改 Hadoop 的配置文件等。 ##### 3.2 ...

    spark 分布式集群搭建

    ./bin/spark-submit --master spark://client:7077 --class org.apache.spark.examples.SparkPi lib/spark-examples-1.6.1-hadoop2.6.0.jar ``` 该命令指定了 Job 的 Master 地址、类名及 JAR 包的位置。 #### ...

Global site tag (gtag.js) - Google Analytics