---》vmware 安装ubantu
设置root密码
http://jingyan.baidu.com/article/5225f26b0ac250e6fb09084e.html
VM tools
安装后 可以跨系统粘贴复制 和文件共享,好用!
http://jingyan.baidu.com/article/1974b289b813dcf4b1f77411.html
http://blog.csdn.net/saint_bxg/article/details/6911243
ssh
http://jingyan.baidu.com/article/9c69d48fb9fd7b13c8024e6b.html
ftp
http://jingyan.baidu.com/article/67508eb4d6c4fd9ccb1ce470.html
jdk
ubantu不支持rpm格式 ,最好下载tar.gz格式
http://jingyan.baidu.com/article/5d368d1e12a1af3f60c0570a.html
http://blog.csdn.net/xiaoxiaoxuewen/article/details/7550176
---》hadoop(2.6.0)伪分布模式搭建
* 安装java
* 安装ssh
* 免密码ssh设置
现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
* 配置 hadoop
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/xxx/mysoft/hadoop_tmp</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
* 格式化
hadoop namenode -format
* 启动Hadoop 守护进程
xxx@xxx:~/mysoft/hadoop-2.6.0/sbin$./start-all.sh
* 验证启动的进程
xxx@xxx:~/mysoft/hadoop-2.6.0/share/hadoop/mapreduce$ jps
8002 Jps
7092 NodeManager
6180 NameNode
6405 DataNode
6696 SecondaryNameNode
6861 ResourceManager
* 测试
创建两个文件
xxx@xxx:~/tmp$ echo "Hello World Bye World" > file01
xxx@xxx:~/tmp$ echo "Hello Hadoop Goodbye Hadoop" > file02
拷贝到hadoop中
xxx@xxx:~/tmp$ hadoop fs -copyFromLocal file0* /input
copyFromLocal: `/input': No such file or directory
xxx@xxx:~/tmp$ hadoop fs -mkdir /input
xxx@xxx:~/tmp$ hadoop fs -ls /input
xxx@xxx:~/tmp$ hadoop fs -copyFromLocal file0* /input
xxx@xxx:~/tmp$ hadoop fs -ls /input
Found 2 items
-rw-r--r-- 1 xxx supergroup 22 2016-01-26 14:40 /input/file01
-rw-r--r-- 1 xxx supergroup 28 2016-01-26 14:40 /input/file02
执行例子
xxx@xxx:~/mysoft/hadoop-2.6.0/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /input/ /output
查看结果
xxx@xxx:~/mysoft/hadoop-2.6.0/share/hadoop/mapreduce$ hadoop fs -ls /output
Found 2 items
-rw-r--r-- 1 xxx supergroup 0 2016-01-26 14:44 /output/_SUCCESS
-rw-r--r-- 1 xxx supergroup 41 2016-01-26 14:44 /output/part-r-00000
xxx@xxx:~/mysoft/hadoop-2.6.0/share/hadoop/mapreduce$ hadoop fs -cat /output/part-r-00000
Bye 1
Goodbye 1
Hadoop 2
Hello 2
World 2
参考:
http://www.aboutyun.com/thread-6487-1-1.html
http://www.linuxidc.com/Linux/2014-08/105915p4.htm
http://blog.csdn.net/mlzhu007/article/details/8462615
分享到:
相关推荐
- 创建 `/opt/yarn` 目录,并进入该目录使用 `tar xvf hadoop2.6.0.tar.gz` 解压文件。 3. **用户和组创建**: - 根据实际需要创建用户组(例如 `hadoop`),以及用户(如 `yarn`, `hdfs`, `mapred`)。 4. **...
这个"hadop 2.6.0 安装包"是为了帮助用户搭建和配置Hadoop环境,特别适用于大数据处理和分析。 1. **Hadoop的核心组件** - **HDFS(Hadoop Distributed File System)**:分布式文件系统,负责数据的存储。HDFS...
本指南将详细介绍如何在基于 Hadoop 2.6.0 的环境中搭建 Spark 1.3.1 平台,以实现高效的数据处理。 首先,我们需要进行虚拟化环境的准备。这里推荐使用 VMware Workstation 11 作为虚拟化软件,它为开发和测试提供...
搭建伪集群模式的Hadoop可以用于开发与测试,在这个模式下,所有节点实际上都运行在同一个物理机上,模拟集群的运行环境。同时,通过在开发IDE如Eclipse中配置Hadoop插件,可以更便捷地进行开发和调试Hadoop程序。...
本教程将指导你如何在Ubuntu 16.04系统上搭建Hadoop 2.6.0的伪分布式环境,这个环境模拟了一个完整的Hadoop集群,但所有服务都在同一台机器上运行。 首先,我们需要创建一个新的用户和用户组,这有助于管理和隔离...
在开始深入了解Hadoop完全分布模式安装之前,首先需要了解Hadoop运行模式的三种类型:本地运行模式、伪分布运行模式和完全分布式运行模式。本地运行模式仅在单机上模拟分布式计算;伪分布运行模式则是在单机上运行...
2. **伪分布模式**:在单台服务器上模拟完全分布式环境,所有Hadoop守护进程(如NameNode、DataNode、ResourceManager、NodeManager和SecondaryNameNode)在同一台机器上运行。尽管不是真正的分布式,但程序执行逻辑...
【Hadoop集群安装配置教程_Hadoop2.6.0】是针对在Ubuntu和CentOS操作系统上搭建Hadoop集群的详细指南。本教程适用于Hadoop 2.x系列版本,特别是Hadoop 2.6.0及类似版本如Hadoop 2.7.1、Hadoop 2.4.1。它假设读者已经...
本文将简要介绍在Ubuntu 14.04 64位系统上配置Hadoop 2.6.0的基本步骤,包括伪分布式和集群环境的搭建。以下是详细的操作流程: 1. **选定Master节点和网络映射配置** 在部署Hadoop时,首先需要确定一台机器作为...
本文由汪庆发表,介绍了如何在单机环境中使用VMware虚拟机和Hadoop框架搭建伪分布式大数据实验平台,以满足轻量化学习需求。 1. **Hadoop基础** Hadoop是一个开源的分布式计算框架,设计用于处理和存储大量数据。...
从官方网站或镜像站点下载Hadoop的tarball文件,例如Hadoop 2.6.0。解压缩文件,并配置环境变量,如在`hadoop-env.sh`文件中设置JAVA_HOME。此外,还需要根据实际环境调整其他配置文件,如core-site.xml和hdfs-site....
在搭建 HBase 伪集群之前,需要先安装配置好 Hadoop 的伪集群环境。虽然本文档没有详细介绍 Hadoop 的安装过程,但一般步骤包括下载 Hadoop 安装包、解压、配置环境变量、修改 Hadoop 的配置文件等。 ##### 3.2 ...
./bin/spark-submit --master spark://client:7077 --class org.apache.spark.examples.SparkPi lib/spark-examples-1.6.1-hadoop2.6.0.jar ``` 该命令指定了 Job 的 Master 地址、类名及 JAR 包的位置。 #### ...