最近需要研究hadoop,昨天开始搭建环境。网上有相关的教程,可以参考http://wenku.baidu.com/view/9638bc0d4a7302768e9939ca.html
但是在安装过程中也出现了一些问题,需要注意的。
1.还需要设置
在hdfs.site.xml中设置的属性dfs.name.dir,dfs.data.dir
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/dfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/dfs/name</value>
<final>true</final>
</property>
如果按照教程中的做法,没有设置,会有默认设置
dfs.name.dir:${hadoop.tmp.dir}/dfs/name
dfs.data.dir:${hadoop.tmp.dir}/dfs/data
而tmp目录下的内容会定期删除的,不利于设计应用。
另外,dfs.name.dir,dfs.data.dir目录需要手动创建,否则集群启动时会目录不存在的错误。
2.在使用hadoop namenode -format命令时
首次格式化时,会让选择Y OR NOT 记得使用大写 Y来选择,根据我的经验,用y格式化不成功哦。
3.养成好习惯,用户个人环境变量最好设置在~/.bash_profile中而不要设置在/etc/profile
接下来遇到问题,再跟大家分享
分享到:
相关推荐
#### 安装Cloudera Manager的注意事项 - 在安装Cloudera Manager之前,确保已经满足了所有的系统要求,包括硬件规格、操作系统版本等。 - 在选择服务和组件时,应根据实际需求进行选择,避免不必要的资源浪费。 - ...
#### 七、注意事项 - 在生产环境中,建议至少有两个Master节点,其中一个作为备用节点,以防主Master节点发生故障。 - 确保所有节点的时间同步,避免由于时间不一致导致的问题。 - 监控集群的性能指标,及时发现并...
#### 五、注意事项 - 在实际部署过程中,可能会遇到各种问题,如网络不通、权限错误等。 - 需要根据具体情况进行调试,确保所有节点配置正确无误。 - 在生产环境中,建议增加冗余配置,如设置Secondary NameNode以...
在window下利用eclipse开发hadoop,需要安装插件,这文档为安装插件时需要注意的事项
本文旨在详细介绍Hadoop在完全分布式环境下的安装步骤及注意事项。整个安装过程分为六个主要部分:安装虚拟化工具VMware、在VMware上安装Ubuntu系统、安装JDK与SSH服务作为Hadoop安装前的准备、配置Hadoop、安装...
本文旨在详细介绍如何在CentOS环境下安装Hadoop,包括必要的准备步骤、具体安装过程及注意事项。 #### 二、准备工作 在正式安装Hadoop之前,需要完成以下准备工作: ##### 2.1 创建Hadoop用户 由于Hadoop在运行时...
#### 三、注意事项与常见问题 - **JDK 版本**:建议使用 64 位 JDK 以避免与 64 位操作系统之间的兼容性问题。 - **配置文件检查**:在完成配置后仔细检查每个配置文件中的设置是否正确无误。 - **服务启动顺序**:...
本章节将详细介绍所需软件的下载地址以及相关注意事项。 ##### 1.1 Linux安装包 Linux操作系统的选择对Hadoop的安装至关重要。本教程推荐使用CentOS作为基础操作系统,具体下载地址为:...
**九、注意事项** 1. 由于Windows和Linux的文件路径差异,可能需要处理文件路径的兼容性问题。 2. Hadoop在Windows上的性能通常不如Linux,因为Cygwin并非完整的Linux模拟,可能存在一些不兼容或效率低下的情况。 ...
6. **注意事项** - 在整个安装过程中,确保网络连接稳定,以便于软件包的下载和更新。 - 安装过程中遇到权限问题,可以使用`sudo`解决。 - 配置文件的修改要仔细核对,避免因误配置导致服务无法启动。 通过以上...
五、注意事项 1. **内存和磁盘空间**:确保系统有足够的内存和磁盘空间,特别是运行HDFS和YARN的内存需求。 2. **防火墙和端口**:正确配置防火墙规则,确保Hadoop所需的端口开放。 3. **日志管理**:设置合适的日志...
- **注意事项**: - Namenode有两个实例,即ost2和ost3,但同时只能有一个Namenode处于活动状态。 - Datanode可以有多个实例。 ##### 2.2 软件环境 - **操作系统**: Linux - **JDK版本**: 1.5.x - **Hadoop版本**:...
同时,提供的`Hadoop装机日志.docx`文档可能会包含更具体的步骤和注意事项,可以帮助你在安装过程中解决可能出现的问题。 总之,Hadoop环境的搭建涉及多个环节,包括JDK的安装、Hadoop的下载与解压、配置文件的修改...
Readme 文件通常提供关于如何使用项目的详细步骤和注意事项。在这个案例中,它会包含: 1. **系统要求**:列出运行 Docker 和 Hadoop 集群所需的硬件和软件环境,如 Linux 发行版和 Docker 版本。 2. **Docker 安装...
本文将详细阐述在 Windows 平台上安装配置 Hadoop 的具体步骤及注意事项,确保读者能够顺利搭建出一个可运行的 Hadoop 环境。 #### 步骤一:安装 Cygwin 首先,需要下载并安装 Cygwin。Cygwin 是一个在 Windows 上...
#### 五、注意事项 - 在配置过程中,需确保所有节点的时间同步,避免因时间差异导致的数据不一致性问题。 - 对于HDFS的配置,要注意`dfs.replication`参数的设置,以确保数据冗余。 - 在集群环境中,必须正确配置从...