`
Taoo
  • 浏览: 293869 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 0.21.0 配置 安装 部署

阅读更多
今天配置hadoop 0.21.0
有几点与 0.20.2 的区别如下:

1,需要配置环境变量 HADOOP_HOME=xx/hadoop-0.21.0。这个现在是known bug
2,start-all.sh and stop-all.sh被废除了,
   start-all.sh 用start-dfs.sh 与 start-mapred.sh代替。
   stop-all.sh也用相应的两个代替。


另外在这次部署中新遇到的问题:
1,hadoop-0.21.0/bin下的文件权限默认为 644,需要全部改为755
2,ssh的端口需要全部统一。在hadoop-env.sh 里面可以配置。
3,放NameNode 和 DataNode的文件夹需要具有写权限和执行权限
分享到:
评论
3 楼 依然仰望天空 2011-10-08  
quiii 写道
- =

0.21.0 这样就能启动得了了么 start-dfs.sh和start-mapred.sh都缺对common的设置 不加入这么一行是万万启动不了的 "$bin"/hadoop-config.sh

这个方法不行诶
2 楼 依然仰望天空 2011-10-08  
"$bin"/hadoop-config.sh 楼上的这个啥意思,在哪里加?"$bin"什么意思呢?
1 楼 quiii 2010-11-19  
- =

0.21.0 这样就能启动得了了么 start-dfs.sh和start-mapred.sh都缺对common的设置 不加入这么一行是万万启动不了的 "$bin"/hadoop-config.sh

相关推荐

    Hadoop-0.21.0分布式集群配置

    Hadoop-0.21.0分布式集群配置.doc

    Hadoop 0.21.0 Eclipse plugin相关

    1. **安装插件**:通过Eclipse Marketplace或本地更新站点安装Hadoop插件。 2. **配置Hadoop连接**:在Eclipse中设置Hadoop集群的相关信息,如HDFS地址和MapReduce JobTracker地址。 3. **创建项目**:创建新的...

    hadoop分布式部署教程

    - **配置文件隔离**:为了避免升级过程中配置文件被覆盖,建议将配置文件与Hadoop安装目录分离,例如创建一个专门用于存放配置文件的目录,并通过环境变量`$HADOOP_CONF_DIR`指定该目录路径。 #### 六、总结 ...

    大数据云计算技术系列 hadoop单机版搭建图文详解(共14页).pdf

    1. 将下载的hadoop0.21.0.tar.gz复制到/usr/local目录下,使用`sudo cp hadoop路径 /usr/local`命令。 2. 进入/usr/local目录,解压hadoop0.21.0.tar.gz。 3. 为了管理方便和未来升级,重命名解压后的文件夹为hadoop...

    超详细的在RedHat6.2上配置Hadoop群集环境步骤

    总的来说,配置Hadoop集群涉及安装虚拟机、操作系统、JDK、VMware Tools、设置网络和SSH,以及安装和配置Hadoop本身。这是一个详尽的过程,但遵循上述步骤,可以成功地在Red Hat 6.2上建立一个Hadoop 0.21.0集群环境...

    搭建分布式hadoop环境的过程

    总结,搭建分布式Hadoop环境是一个涉及多步骤的过程,包括系统安装、软件部署、环境变量配置以及集群配置。正确完成这些步骤后,可以建立一个稳定可靠的Hadoop集群,用于高效地处理和分析大规模数据。在整个过程中,...

    在VMWareWorkstation上安装和配置Hadoop群集环境04_Hadoop的安装.pdf

    请注意,这只是一个基础的Hadoop安装过程,实际部署可能需要考虑更多的因素,如安全性、性能优化、网络配置等。对于大规模生产环境,可能还需要使用像YARN这样的资源管理器,以及更复杂的HA(高可用性)和故障恢复...

    Hadoop开发日志.pdf

    - 安装Hadoop0.21.0,将其解压至/usr/local,并创建名为hadoop的用户和用户组。 - **配置阶段** - 配置环境变量,将Hadoop路径添加到PATH中,以便于命令行调用。 - 创建SSH密钥,使得Hadoop节点间可以安全无...

    【Hadoop与大数据54】沈强-基于Windows Azure平台构建云应用

    - **体积对比**:Fourinone 2.0版本大小为150KB,而Hadoop 0.21.0版本的大小约为71MB。 - **依赖关系**:Fourinone仅需一个JAR文件,没有其他依赖;而Hadoop需要大约12项JAR包依赖。 - **配置复杂度**:Fourinone只...

Global site tag (gtag.js) - Google Analytics