- 浏览: 194432 次
文章分类
最新评论
hadoop version “0.20.2”
java version "1.6.0_26"
搭建完成后,start-all.sh启动所有进程,然后JPS一下结果如下:
$ jps
1404 JobTracker
3056 NameNode
4576 Jps
但后ps一下呢,又显示5个jvm进程:
$ ps
PID PPID PGID WINPID TTY UID STIME COMMAND
4928 4316 4928 2260 pty0 1000 15:09:57 /usr/bin/bash
4868 1 4900 1404 pty1 1000 15:14:50 /cygdrive/d/Java/jdk1.6.0_26/bin/java
5028 1 4900 3056 pty1 1000 15:14:31 /cygdrive/d/Java/jdk1.6.0_26/bin/java
5044 4928 5044 5048 pty0 1000 15:11:04 /usr/bin/ssh
5400 4440 5400 5420 pty1 1000 15:16:40 /usr/bin/ps
1972 1940 1972 2044 ? 1000 15:03:46 /usr/sbin/sshd
1372 1 4504 4636 ? 1000 15:14:39 /cygdrive/d/Java/jdk1.6.0_26/bin/java
4440 5088 4440 2556 pty1 1000 15:11:08 /usr/bin/bash
5560 1 5148 5272 ? 1000 15:14:55 /cygdrive/d/Java/jdk1.6.0_26/bin/java
5088 1972 5088 2160 ? 1000 15:11:04 /usr/sbin/sshd
2712 1 4228 4484 ? 1000 15:14:47 /cygdrive/d/Java/jdk1.6.0_26/bin/java
1940 1 1940 1940 ? 1000 15:03:46 /usr/bin/cygrunsrv
4316 1 4316 4316 ? 1000 15:09:57 /usr/bin/mintty
经过验证,功能都能够使用,这是为什么呢??为什么没有DataNode,TaskTracker,是不是伪分布式的原因呢??一台机器做NameNode DataNode SecondaryNameNode??还是我在配置conf里面的东西时有问题??
发表评论
-
多表join的一个优化思路
2012-11-20 11:24 1470big table:streamed small table: ... -
好的网站
2012-09-20 22:17 7921. http://www.cnblogs.com/luche ... -
Hadoop 任务流程
2012-09-07 16:18 829简单的来说分为四个阶段:InputFormat/MapTask ... -
Hadoop关于最大map reducer数目
2012-08-14 20:53 988mapred-site.xml文件: <prop ... -
java.io.IOException:Typemismatch in key from map:expected org.apache.hadoop.io
2012-08-14 20:53 1459解决办法: jo ... -
HDFS 输入文件避免切分
2012-08-14 20:52 1124自定义InputFormat的子类,并把重载方法 ... -
Hadoop 开启debug信息
2012-08-14 20:51 4000运行hadoop程序时,有时候你会使用一些System. ... -
Hadoop 关于0.95/1.75 * (number of nodes)误解
2012-08-14 20:51 986reduce任务槽,即集群能够同时运行的redu ... -
MapReduce ReadingList
2012-08-09 12:22 7031. http://www.aicit.org/jcit/gl ... -
"hadoop fs 和hadoop dfs的区别"
2012-05-30 15:27 1936粗略的讲,fs是个比较抽象的层面,在分布式环境中,fs就是df ... -
Hadoop 自动清除日志
2012-05-29 18:02 949hadoop集群跑了很多的任务后 在hadoop.log ... -
DistributedCache FileNotFoundException
2012-05-26 18:02 1001此时注意两种文件路径表示形式,一个在HDFS中。一一个是本地文 ... -
Cygwin 不支持native lib 不支持使用native lib 提供的压缩
2012-05-25 13:33 1152弄了一个上午hadoop的压缩,一直报错NullPointer ... -
Cygwin ssh Connection closed by ::1
2012-05-17 21:09 1145在Win7下Cygwin中,使用sshlocalhost命令, ... -
Eclipse:Run on Hadoop 没有反应
2012-05-10 20:11 902hadoop-0.20.2下自带的eclise插件没有用,需要 ... -
Hadoop SequcenceFile 处理多个小文件
2012-04-29 11:04 3889利用sequenceFile打包多个小文件,MapFile是s ... -
Hadoop 自定义计数器
2012-04-22 09:04 1498public static class mapper e ... -
MapReduce : 新版API 自定义InputFormat 把整个文件作为一条记录处理
2012-04-10 21:47 2297自定义InputFormat 新版API 把真个文件当成 ... -
MapReduce : Combiner的使用(以平均数为例) 并结合in-mapper design pattern 实例
2012-04-10 18:51 4342没有使用Combiner 和 in-mapper des ... -
Hadoop NameNode backup
2012-03-24 18:12 861NameNode: <property> ...
相关推荐
总的来说,"hadoop2.8 window支持bin文件"意味着在Windows环境下安装和配置Hadoop 2.8时,你需要关注"bin"目录的替换,确保正确设置环境变量,配置Hadoop的XML配置文件,并理解如何使用命令行工具与Hadoop集群交互。...
### hadoop2.5.2在Windows下的Eclipse环境搭建详解 #### 一、Hadoop简介 Hadoop是由Apache基金会所开发的一个开源分布式计算框架,主要用于处理和存储大规模数据集。它通过分布式文件系统(HDFS)和MapReduce编程...
最后,需要启动 Hadoop,使用命令 start-all.sh 启动所有守护进程。 搭建 Hadoop 集群环境需要安装 JDK 和 Hadoop,修改地址解析文件和 Hadoop 配置文件,最后启动 Hadoop。只有通过这些步骤,才能成功搭建 Hadoop ...
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
- 在Eclipse中配置Hadoop安装目录,选择“Window > Preferences > Hadoop Map/Reduce”,手动输入或选择Hadoop的安装目录。 - 切换到“Map/Reduce”界面模式,便于进行Hadoop程序的开发。 #### 五、建立与Hadoop...
在Hadoop集群的搭建中,需要首先安装Hadoop框架,然后配置Hadoop的文件系统HDFS和MapReduce的运行环境。 Spark集群的搭建需要安装Spark框架,然后配置Spark的运行环境。 本文还讨论了Hadoop和Spark集群的结合,使用...
为了运行MapReduce任务,我们需要启动Hadoop的守护进程,包括NameNode、DataNode和ResourceManager。这可以通过执行start-dfs.sh和start-yarn.sh脚本来完成。然后,通过Eclipse的Hadoop插件或者命令行提交WordCount...
实验3—Hadoop 完全分布式模式搭建
- **创建临时文件目录**:在`/home/hadoop/hadoop`目录下创建`tmp`目录作为Hadoop运行时的临时文件存储位置: ``` mkdir /home/hadoop/hadoop/tmp ``` #### 四、Hadoop配置文件调整 在Hadoop集群搭建过程中,...
在搭建Hadoop完全分布式环境之前,需要做一些准备工作: 1. **停掉伪分布式DFS文件系统**:确保之前的伪分布式环境已关闭,避免与新的完全分布式环境冲突。 2. **设置SSH免密码登录**:为集群中的所有节点设置SSH免...
HADOOP快速入门及搭建集群环境 HADOOP是一种分布式计算技术,旨在处理大规模数据集,能够将大规模数据处理工作分配到多个计算机节点上,从而提高数据处理速度和效率。本资源旨在指导读者快速入门HADOOP,并搭建集群...
Hadoop搭建步骤 Hadoop是一个大数据处理框架,环境搭建是学习Hadoop的第一步,但要成功搭建一个分布式环境,还是颇费些周折的。以下是Hadoop搭建步骤的详细讲解。 一、静态IP配置 在所有机器上手工设置静态IP,...
在搭建Hadoop集群之前,需要修改每台机器的主机名和IP地址。可以使用vim命令来修改/etc/hostname文件,修改完成后需要保存退出。例如,在master机器上,使用vim命令来修改主机名为"master"。 3. 网络配置 在搭建...
6. **启动和测试**:通过运行Hadoop的启动脚本启动各个守护进程,然后可以通过Hadoop自带的工具(如HDFS的`fs`命令或YARN的`job`命令)测试Hadoop集群是否正常工作。 在Windows上部署Hadoop可能会遇到一些挑战,...
不过,通过一些额外的步骤,我们可以在Windows上搭建Hadoop环境并运行相关命令。以下是对标题和描述中涉及知识点的详细解释: 1. **Hadoop**: Hadoop是一个开源框架,主要用于存储和处理大量数据,尤其适合大数据...
在Hadoop平台搭建完成后,需要格式化NameNode和启动所有的Hadoop进程,包括NameNode、DataNode、JobTracker和TaskTracker等。最终,需要通过jps命令查看进程是否启动成功。 Hadoop平台搭建是一个复杂的过程,需要...
### Hadoop在Windows环境下的配置知识点详解 #### 一、Hadoop简介 Hadoop是一个能够对大量数据进行分布式处理的软件框架,它为用户提供了高可靠性、高效性、可扩展性的数据处理能力。Hadoop的核心组件包括HDFS...
最近自学hadoop2.0.0伪分布式搭建,都是一边学一边记录的 个人认为只要是稍微熟悉linux的都能看懂并搭建成功 分有点高,考虑好在下载
2. **伪分布式模式(Pseudo-Distributed Mode)**:在一台机器上模拟分布式环境,每个Hadoop守护进程(如NameNode、DataNode、ResourceManager等)都在单独的Java进程中运行。这提供了一种在单一节点上验证Hadoop...