`
denniedeng
  • 浏览: 1114 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

hadoop安装注意事项

阅读更多
hadoop安装参考连接:
http://www.cnblogs.com/yjmyzz/p/4280069.html

需要注意事项:
需要安装unzip解压maven
yum install -y unzip zip;

1.2 修改hosts文件
master,slave01,slave02都需要写真实的ip地址,不能写127.0.0.1

4.5 验证
需要在hadoop用户下进行,不能在root用户下进行



步骤七:将master上的hadoop目录复制到slave01,slave02

注:slave01、slave02上的hadoop临时目录(tmp)及数据目录(data),仍然要先手动创建。


在hadoop用户下建立input、output文件夹
cd /home/hadoop/hadoop-2.6.2/bin/
./hdfs dfs -mkdir -p /home/hadoop/output
./hdfs dfs -mkdir -p /home/hadoop/input


处理在window的eclipse不能上传文件的问题
打开 hdfs-site.xml 加入一个属性值
<property>

   <name>dfs.permissions</name>

   <value>false</value>

</property>

master中没有data文件夹,所以此处的创建data文件夹忽略

验证是否安装成功(master节点的ip地址):
http://192.168.1.34:8088/cluster

http://192.168.1.34:50070/dfshealth.html#tab-overview
分享到:
评论

相关推荐

    Hadoop安装配置过程和注意事项

    Hadoop安装配置过程和注意事项

    Cloudera Hadoop 安装指南

    #### 安装Cloudera Manager的注意事项 - 在安装Cloudera Manager之前,确保已经满足了所有的系统要求,包括硬件规格、操作系统版本等。 - 在选择服务和组件时,应根据实际需求进行选择,避免不必要的资源浪费。 - ...

    Hadoop安装与配置

    #### 七、注意事项 - 在生产环境中,建议至少有两个Master节点,其中一个作为备用节点,以防主Master节点发生故障。 - 确保所有节点的时间同步,避免由于时间不一致导致的问题。 - 监控集群的性能指标,及时发现并...

    Hadoop安装部署

    #### 五、注意事项 - 在实际部署过程中,可能会遇到各种问题,如网络不通、权限错误等。 - 需要根据具体情况进行调试,确保所有节点配置正确无误。 - 在生产环境中,建议增加冗余配置,如设置Secondary NameNode以...

    hadoop下安装插件注意事项

    在window下利用eclipse开发hadoop,需要安装插件,这文档为安装插件时需要注意的事项

    Hadoop完全分布式详细安装过程

    本文旨在详细介绍Hadoop在完全分布式环境下的安装步骤及注意事项。整个安装过程分为六个主要部分:安装虚拟化工具VMware、在VMware上安装Ubuntu系统、安装JDK与SSH服务作为Hadoop安装前的准备、配置Hadoop、安装...

    伪分布式Hadoop安装配置测试全过程

    本文不仅详细介绍了每个步骤的操作方法,还提供了一些注意事项和技巧,帮助读者顺利完成配置过程。此外,本文还涉及到了如何通过SSH免密码登录来简化后续的Hadoop集群管理操作,进一步提高了系统的可用性和安全性。

    单节点Hadoop安装手册

    #### 三、操作系统安装注意事项 - 在安装RHEL 6.0时,确保安装包中包含Java和SSH。 - 使用ext3作为Linux文件系统的格式。虽然ext4也是可行的选择,但在Yahoo的测试中,ext3被证明更适合Hadoop的使用场景。 #### 四...

    hadoop安装与配置.md

    六、Hadoop安装与配置注意事项 - 安装过程中确保所有配置文件的正确性,任何小的配置错误都可能导致Hadoop启动失败。 - 根据实际集群的规模和需求,对Hadoop的各种参数进行合理配置。 - 启动Hadoop前确保环境满足其...

    centos安装hadoop超级详细

    本文旨在详细介绍如何在CentOS环境下安装Hadoop,包括必要的准备步骤、具体安装过程及注意事项。 #### 二、准备工作 在正式安装Hadoop之前,需要完成以下准备工作: ##### 2.1 创建Hadoop用户 由于Hadoop在运行时...

    hadoop2.6.0伪分布安装

    #### 三、注意事项与常见问题 - **JDK 版本**:建议使用 64 位 JDK 以避免与 64 位操作系统之间的兼容性问题。 - **配置文件检查**:在完成配置后仔细检查每个配置文件中的设置是否正确无误。 - **服务启动顺序**:...

    离线安装HADOOP环境

    本章节将详细介绍所需软件的下载地址以及相关注意事项。 ##### 1.1 Linux安装包 Linux操作系统的选择对Hadoop的安装至关重要。本教程推荐使用CentOS作为基础操作系统,具体下载地址为:...

    在Windows上安装Hadoop

    **九、注意事项** 1. 由于Windows和Linux的文件路径差异,可能需要处理文件路径的兼容性问题。 2. Hadoop在Windows上的性能通常不如Linux,因为Cygwin并非完整的Linux模拟,可能存在一些不兼容或效率低下的情况。 ...

    God-Of-BigData-hadoop安装与配置

    因此,接下来的内容将围绕hadoop安装与配置展开,详细探讨其过程、注意事项以及可能遇到的问题和解决方法。 Hadoop作为一个开源的框架,它允许分布式处理大数据。在实际应用中,Hadoop的安装与配置是必不可少的步骤...

    hadoop-fuse-dfs安装.docx

    本文档旨在为读者提供关于在CDH(Cloudera Distribution Including Apache Hadoop)环境下安装和配置Hadoop-Fuse-Dfs的详细步骤及注意事项。通过本文档的学习,用户能够了解如何通过Hadoop-Fuse-Dfs实现HDFS(Hadoop...

    Hadoop安装部署实验材料

    6. **注意事项** - 在整个安装过程中,确保网络连接稳定,以便于软件包的下载和更新。 - 安装过程中遇到权限问题,可以使用`sudo`解决。 - 配置文件的修改要仔细核对,避免因误配置导致服务无法启动。 通过以上...

    Hadoop安装.zip

    五、注意事项 1. **内存和磁盘空间**:确保系统有足够的内存和磁盘空间,特别是运行HDFS和YARN的内存需求。 2. **防火墙和端口**:正确配置防火墙规则,确保Hadoop所需的端口开放。 3. **日志管理**:设置合适的日志...

    Hadoop_HDFS安装和管理

    - **注意事项**: - Namenode有两个实例,即ost2和ost3,但同时只能有一个Namenode处于活动状态。 - Datanode可以有多个实例。 ##### 2.2 软件环境 - **操作系统**: Linux - **JDK版本**: 1.5.x - **Hadoop版本**:...

    hadoop在windows环境下的安装

    #### 四、注意事项 - 在安装过程中,请确保所有步骤都按照指示准确无误地完成,特别是环境变量的配置。 - 在配置SSHD服务时,建议使用本地管理员账号而不是域用户账号。 - 对于初学者而言,可能还需要额外学习如何...

Global site tag (gtag.js) - Google Analytics