`

hadoop 安装注意事项

 
阅读更多

   最近需要研究hadoop,昨天开始搭建环境。网上有相关的教程,可以参考http://wenku.baidu.com/view/9638bc0d4a7302768e9939ca.html

 

 

 但是在安装过程中也出现了一些问题,需要注意的。

 1.还需要设置

   在hdfs.site.xml中设置的属性dfs.name.dir,dfs.data.dir

 <property>

    <name>dfs.data.dir</name>
    <value>/home/hadoop/dfs/data</value>
    <final>true</final>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/home/hadoop/dfs/name</value>
    <final>true</final>
  </property>

  如果按照教程中的做法,没有设置,会有默认设置

dfs.name.dir:${hadoop.tmp.dir}/dfs/name

dfs.data.dir${hadoop.tmp.dir}/dfs/data

而tmp目录下的内容会定期删除的,不利于设计应用。

另外,dfs.name.dir,dfs.data.dir目录需要手动创建,否则集群启动时会目录不存在的错误。

 

 

2.在使用hadoop namenode -format命令时

 首次格式化时,会让选择Y OR NOT 记得使用大写 Y来选择,根据我的经验,用y格式化不成功哦。

 

3.养成好习惯,用户个人环境变量最好设置在~/.bash_profile中而不要设置在/etc/profile

 

接下来遇到问题,再跟大家分享

0
0
分享到:
评论

相关推荐

    Cloudera Hadoop 安装指南

    #### 安装Cloudera Manager的注意事项 - 在安装Cloudera Manager之前,确保已经满足了所有的系统要求,包括硬件规格、操作系统版本等。 - 在选择服务和组件时,应根据实际需求进行选择,避免不必要的资源浪费。 - ...

    Hadoop安装与配置

    #### 七、注意事项 - 在生产环境中,建议至少有两个Master节点,其中一个作为备用节点,以防主Master节点发生故障。 - 确保所有节点的时间同步,避免由于时间不一致导致的问题。 - 监控集群的性能指标,及时发现并...

    Hadoop安装部署

    #### 五、注意事项 - 在实际部署过程中,可能会遇到各种问题,如网络不通、权限错误等。 - 需要根据具体情况进行调试,确保所有节点配置正确无误。 - 在生产环境中,建议增加冗余配置,如设置Secondary NameNode以...

    hadoop下安装插件注意事项

    在window下利用eclipse开发hadoop,需要安装插件,这文档为安装插件时需要注意的事项

    Hadoop完全分布式详细安装过程

    本文旨在详细介绍Hadoop在完全分布式环境下的安装步骤及注意事项。整个安装过程分为六个主要部分:安装虚拟化工具VMware、在VMware上安装Ubuntu系统、安装JDK与SSH服务作为Hadoop安装前的准备、配置Hadoop、安装...

    centos安装hadoop超级详细

    本文旨在详细介绍如何在CentOS环境下安装Hadoop,包括必要的准备步骤、具体安装过程及注意事项。 #### 二、准备工作 在正式安装Hadoop之前,需要完成以下准备工作: ##### 2.1 创建Hadoop用户 由于Hadoop在运行时...

    hadoop2.6.0伪分布安装

    #### 三、注意事项与常见问题 - **JDK 版本**:建议使用 64 位 JDK 以避免与 64 位操作系统之间的兼容性问题。 - **配置文件检查**:在完成配置后仔细检查每个配置文件中的设置是否正确无误。 - **服务启动顺序**:...

    离线安装HADOOP环境

    本章节将详细介绍所需软件的下载地址以及相关注意事项。 ##### 1.1 Linux安装包 Linux操作系统的选择对Hadoop的安装至关重要。本教程推荐使用CentOS作为基础操作系统,具体下载地址为:...

    在Windows上安装Hadoop

    **九、注意事项** 1. 由于Windows和Linux的文件路径差异,可能需要处理文件路径的兼容性问题。 2. Hadoop在Windows上的性能通常不如Linux,因为Cygwin并非完整的Linux模拟,可能存在一些不兼容或效率低下的情况。 ...

    Hadoop安装部署实验材料

    6. **注意事项** - 在整个安装过程中,确保网络连接稳定,以便于软件包的下载和更新。 - 安装过程中遇到权限问题,可以使用`sudo`解决。 - 配置文件的修改要仔细核对,避免因误配置导致服务无法启动。 通过以上...

    Hadoop安装.zip

    五、注意事项 1. **内存和磁盘空间**:确保系统有足够的内存和磁盘空间,特别是运行HDFS和YARN的内存需求。 2. **防火墙和端口**:正确配置防火墙规则,确保Hadoop所需的端口开放。 3. **日志管理**:设置合适的日志...

    hadoop-3.2.2环境搭建操作安装指南

    同时,提供的`Hadoop装机日志.docx`文档可能会包含更具体的步骤和注意事项,可以帮助你在安装过程中解决可能出现的问题。 总之,Hadoop环境的搭建涉及多个环节,包括JDK的安装、Hadoop的下载与解压、配置文件的修改...

    docker一键安装hadoop集群

    Readme 文件通常提供关于如何使用项目的详细步骤和注意事项。在这个案例中,它会包含: 1. **系统要求**:列出运行 Docker 和 Hadoop 集群所需的硬件和软件环境,如 Linux 发行版和 Docker 版本。 2. **Docker 安装...

    windows下安装云计算环境hadoop的完整步骤

    本文将详细阐述在 Windows 平台上安装配置 Hadoop 的具体步骤及注意事项,确保读者能够顺利搭建出一个可运行的 Hadoop 环境。 #### 步骤一:安装 Cygwin 首先,需要下载并安装 Cygwin。Cygwin 是一个在 Windows 上...

    hadoop 单机安装和集群安装总结

    #### 五、注意事项 - 在配置过程中,需确保所有节点的时间同步,避免因时间差异导致的数据不一致性问题。 - 对于HDFS的配置,要注意`dfs.replication`参数的设置,以确保数据冗余。 - 在集群环境中,必须正确配置从...

Global site tag (gtag.js) - Google Analytics