`
denniedeng
  • 浏览: 1102 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

hadoop安装注意事项

阅读更多
hadoop安装参考连接:
http://www.cnblogs.com/yjmyzz/p/4280069.html

需要注意事项:
需要安装unzip解压maven
yum install -y unzip zip;

1.2 修改hosts文件
master,slave01,slave02都需要写真实的ip地址,不能写127.0.0.1

4.5 验证
需要在hadoop用户下进行,不能在root用户下进行



步骤七:将master上的hadoop目录复制到slave01,slave02

注:slave01、slave02上的hadoop临时目录(tmp)及数据目录(data),仍然要先手动创建。


在hadoop用户下建立input、output文件夹
cd /home/hadoop/hadoop-2.6.2/bin/
./hdfs dfs -mkdir -p /home/hadoop/output
./hdfs dfs -mkdir -p /home/hadoop/input


处理在window的eclipse不能上传文件的问题
打开 hdfs-site.xml 加入一个属性值
<property>

   <name>dfs.permissions</name>

   <value>false</value>

</property>

master中没有data文件夹,所以此处的创建data文件夹忽略

验证是否安装成功(master节点的ip地址):
http://192.168.1.34:8088/cluster

http://192.168.1.34:50070/dfshealth.html#tab-overview
分享到:
评论

相关推荐

    Cloudera Hadoop 安装指南

    #### 安装Cloudera Manager的注意事项 - 在安装Cloudera Manager之前,确保已经满足了所有的系统要求,包括硬件规格、操作系统版本等。 - 在选择服务和组件时,应根据实际需求进行选择,避免不必要的资源浪费。 - ...

    Hadoop安装与配置

    #### 七、注意事项 - 在生产环境中,建议至少有两个Master节点,其中一个作为备用节点,以防主Master节点发生故障。 - 确保所有节点的时间同步,避免由于时间不一致导致的问题。 - 监控集群的性能指标,及时发现并...

    Hadoop安装部署

    #### 五、注意事项 - 在实际部署过程中,可能会遇到各种问题,如网络不通、权限错误等。 - 需要根据具体情况进行调试,确保所有节点配置正确无误。 - 在生产环境中,建议增加冗余配置,如设置Secondary NameNode以...

    hadoop下安装插件注意事项

    在window下利用eclipse开发hadoop,需要安装插件,这文档为安装插件时需要注意的事项

    Hadoop完全分布式详细安装过程

    本文旨在详细介绍Hadoop在完全分布式环境下的安装步骤及注意事项。整个安装过程分为六个主要部分:安装虚拟化工具VMware、在VMware上安装Ubuntu系统、安装JDK与SSH服务作为Hadoop安装前的准备、配置Hadoop、安装...

    伪分布式Hadoop安装配置测试全过程

    本文不仅详细介绍了每个步骤的操作方法,还提供了一些注意事项和技巧,帮助读者顺利完成配置过程。此外,本文还涉及到了如何通过SSH免密码登录来简化后续的Hadoop集群管理操作,进一步提高了系统的可用性和安全性。

    单节点Hadoop安装手册

    #### 三、操作系统安装注意事项 - 在安装RHEL 6.0时,确保安装包中包含Java和SSH。 - 使用ext3作为Linux文件系统的格式。虽然ext4也是可行的选择,但在Yahoo的测试中,ext3被证明更适合Hadoop的使用场景。 #### 四...

    centos安装hadoop超级详细

    本文旨在详细介绍如何在CentOS环境下安装Hadoop,包括必要的准备步骤、具体安装过程及注意事项。 #### 二、准备工作 在正式安装Hadoop之前,需要完成以下准备工作: ##### 2.1 创建Hadoop用户 由于Hadoop在运行时...

    hadoop2.6.0伪分布安装

    #### 三、注意事项与常见问题 - **JDK 版本**:建议使用 64 位 JDK 以避免与 64 位操作系统之间的兼容性问题。 - **配置文件检查**:在完成配置后仔细检查每个配置文件中的设置是否正确无误。 - **服务启动顺序**:...

    离线安装HADOOP环境

    本章节将详细介绍所需软件的下载地址以及相关注意事项。 ##### 1.1 Linux安装包 Linux操作系统的选择对Hadoop的安装至关重要。本教程推荐使用CentOS作为基础操作系统,具体下载地址为:...

    在Windows上安装Hadoop

    **九、注意事项** 1. 由于Windows和Linux的文件路径差异,可能需要处理文件路径的兼容性问题。 2. Hadoop在Windows上的性能通常不如Linux,因为Cygwin并非完整的Linux模拟,可能存在一些不兼容或效率低下的情况。 ...

    Hadoop安装部署实验材料

    6. **注意事项** - 在整个安装过程中,确保网络连接稳定,以便于软件包的下载和更新。 - 安装过程中遇到权限问题,可以使用`sudo`解决。 - 配置文件的修改要仔细核对,避免因误配置导致服务无法启动。 通过以上...

    Hadoop安装.zip

    五、注意事项 1. **内存和磁盘空间**:确保系统有足够的内存和磁盘空间,特别是运行HDFS和YARN的内存需求。 2. **防火墙和端口**:正确配置防火墙规则,确保Hadoop所需的端口开放。 3. **日志管理**:设置合适的日志...

    Hadoop_HDFS安装和管理

    - **注意事项**: - Namenode有两个实例,即ost2和ost3,但同时只能有一个Namenode处于活动状态。 - Datanode可以有多个实例。 ##### 2.2 软件环境 - **操作系统**: Linux - **JDK版本**: 1.5.x - **Hadoop版本**:...

    hadoop在windows环境下的安装

    #### 四、注意事项 - 在安装过程中,请确保所有步骤都按照指示准确无误地完成,特别是环境变量的配置。 - 在配置SSHD服务时,建议使用本地管理员账号而不是域用户账号。 - 对于初学者而言,可能还需要额外学习如何...

    hadoop-3.2.2环境搭建操作安装指南

    同时,提供的`Hadoop装机日志.docx`文档可能会包含更具体的步骤和注意事项,可以帮助你在安装过程中解决可能出现的问题。 总之,Hadoop环境的搭建涉及多个环节,包括JDK的安装、Hadoop的下载与解压、配置文件的修改...

    docker一键安装hadoop集群

    Readme 文件通常提供关于如何使用项目的详细步骤和注意事项。在这个案例中,它会包含: 1. **系统要求**:列出运行 Docker 和 Hadoop 集群所需的硬件和软件环境,如 Linux 发行版和 Docker 版本。 2. **Docker 安装...

    windows下安装云计算环境hadoop的完整步骤

    本文将详细阐述在 Windows 平台上安装配置 Hadoop 的具体步骤及注意事项,确保读者能够顺利搭建出一个可运行的 Hadoop 环境。 #### 步骤一:安装 Cygwin 首先,需要下载并安装 Cygwin。Cygwin 是一个在 Windows 上...

    hadoop 单机安装和集群安装总结

    #### 五、注意事项 - 在配置过程中,需确保所有节点的时间同步,避免因时间差异导致的数据不一致性问题。 - 对于HDFS的配置,要注意`dfs.replication`参数的设置,以确保数据冗余。 - 在集群环境中,必须正确配置从...

Global site tag (gtag.js) - Google Analytics