`

02_单节点安装

阅读更多

1.hadoop的伪分布安装 hadoop-1.2.0
1.1 设置ip地址
    执行命令    service network restart
    验证:    ifconfig
1.2 关闭防火墙
    执行命令    service iptables stop
    验证:        service iptables status
1.3    关闭防火墙的自动运行
    执行命令    chkconfig iptables off
    验证:        chkconfig --list | grep iptables
1.4 设置主机名
    执行命令    (1)hostname chaoren
                (2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
    执行命令    vi /etc/hosts
    验证:        ping chaoren
1.6 设置ssh免密码登陆
    执行命令    (1)ssh-keygen -t rsa
                (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
    验证:        ssh chaoren
1.7 安装jdk
    执行命令    (1)cd /usr/local
                (2)chmod u+x jdk-6u24-linux-i586.bin
                (3)./jdk-6u24-linux-i586.bin
                (4)mv jdk1.6.0_24  jdk
                (5)vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/jdk
                                export PATH=.:$JAVA_HOME/bin:$PATH
                (6)source /etc/profile
    验证:    java -version
1.8 安装hadoop
    执行命令    (1)tar -zxvf hadoop-1.1.2.tar.gz
                (2)mv hadoop-1.1.2 hadoop
                (3)vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/jdk
                                export HADOOP_HOME=/usr/local/hadoop
                                export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
                (4)source /etc/profile
                (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
                (6)hadoop namenode -format
                (7)start-all.sh
    验证:    (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
            (2)在浏览器查看,http://chaoren:50070  http://chaoren:50030 
1.9 启动时没有NameNode的可能原因:
    (1)没有格式化
    (2)环境变量设置错误
    (3)ip与hostname绑定失败


=====================================接上
1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/

2.core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop0:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property> 
</configuration>
   
3.hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4.mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop0:9001</value>
    </property>
</configuration>



分享到:
评论

相关推荐

    linux5.4+oacle10gr2_rac双节点安装文档

    知识点1:Oracle RAC双节点安装前的环境准备 在进行Oracle RAC双节点安装之前,需要准备两个CentOS 5.6(64位)操作系统的主机,每个主机的处理器应为AMD8220,内存为16GB。除此之外,还需要确保主机名、操作系统...

    fastdfs单节点安装手册

    【FastDFS单节点安装手册】主要涵盖了如何在单一服务器上部署和配置FastDFS分布式文件系统。FastDFS是一个开源的高性能、轻量级的文件存储系统,适用于互联网和企业内部的大规模文件存储。以下是对相关文件的详细...

    02_IDS安装手册

    根据给定的文件信息,我们将深入探讨《02_IDS安装手册》中涉及的关键知识点,包括软件安装说明、安装流程、系统安装步骤以及后续的IDS配置和管理。 ### 软件安装说明 #### IDS(Identity and Directory Service)...

    MHA双节点安装文档

    ### MHA双节点安装知识点详解 #### 一、MHA概览 - **MHA (Master High Availability)**:一种用于MySQL高可用性集群的解决方案,主要用于实现MySQL的故障转移和自动恢复。 - **应用场景**:适用于需要高可用性和低...

    B05CBP单节点环境配置指导

    在进行B05CBP单节点环境的配置之前,需要完成一系列的准备工作,包括但不限于准备必要的安装包以及确保环境符合安装要求。 **安装包准备**: 1. **CBE 安装包**:该部分涉及的主要安装包包括`CBPENIP_V100R004C20_...

    02_尚硅谷大数据之Zookeeper安装1

    在实际部署中,根据具体需求可能还需要调整其他参数,如增加集群节点、调整网络设置等,以适应大规模分布式系统的管理需求。 在大数据领域,熟练掌握Zookeeper的安装和配置是提升系统稳定性和效率的重要一环。...

    新能源汽车数仓构建与应用实战视频.zip

    02_新能源汽车数仓概述 03_数仓需求介绍及框架选择 04_数仓架构介绍 05_服务器选型介绍 06_集群资源规划介绍 07_采集数据格式介绍 08_克隆准备3台虚拟机 09_分发脚本和免密登录配置 10_jdk安装部署 11_环境变量配置...

    尚硅谷大数据技术之新能源汽车数仓-网盘下载.txt

    02_新能源汽车数仓概述.mp4 03_数仓需求介绍及框架选择.mp4 04_数仓架构介绍.mp4 05_服务器选型介绍.mp4 06_集群资源规划介绍.mp4 07_采集数据格式介绍.mp4 08_克隆准备3台虚拟机.mp4 09_分发脚本和免密登录...

    三节点搭建clickhouse集群(含网络规划和软件版本信息).docx

    * 节点2:node02,IP地址为10.30.201.22,主机名为node02,防火墙设置为关闭,时钟同步使用NTP服务器。 * 节点3:node03,IP地址为10.30.201.23,主机名为node03,防火墙设置为关闭,时钟同步使用NTP服务器。 2. ...

    Mysql 高可用 InnoDB Cluster 多节点搭建过程

    在这个过程中,我们将使用四台服务器,node01、node02、node03 作为集群节点,node04 作为管理节点,负责创建集群,并作为集群的路由。下面将详细介绍这个搭建过程。 一、简介 InnoDB Cluster 是 Mysql 的一个高...

    大数据技术之新能源汽车数仓 视频教程 下载

    02_新能源汽车数仓概述.mp4 03_数仓需求介绍及框架选择.mp4 04_数仓架构介绍.mp4 05_服务器选型介绍.mp4 06_集群资源规划介绍.mp4 07_采集数据格式介绍.mp4 08_克隆准备3台虚拟机.mp4 09_分发脚本和免密登录...

    CrateDB单节点部署,集群部署,配置文件详解,问题解决及优化

    ### CrateDB 单节点与集群部署详解 #### 一、CrateDB简介 CrateDB是一种高度可扩展的分布式SQL数据库系统,它以其强大的实时数据分析能力而闻名。该数据库底层采用了Elasticsearch的部分源代码,并在此基础上进行...

    讯飞智能车比赛ucar_controller的ROS2实现.zip

    启动时,可能需要运行一个启动脚本来开启ucar_controller节点,并与其他相关节点如传感器数据接收节点进行连接。 在比赛中,ucar_controller可能需要根据接收到的传感器数据(如摄像头图像、雷达测距等)进行实时...

    linux下找不到I2C某设备的设备节点

    ### Linux 下如何找到 I2C 某设备的设备节点 #### 一、理解 I2C 总线与设备节点 在 Linux 系统中,I2C (Inter-Integrated Circuit) 总线是一种用于连接低速微控制器、传感器和其他低功耗芯片的标准接口。在 Linux ...

    网站案例分析及Hadoop分布式集群环境(全套视频+课件+代码+讲义+工具)

    01_MapReduce框架处理数据的流程及几点注意 02_编写MapReduce编程模块 03_MapReduce数据类型及自定义数据类型 04_案例:网站基本指标分析(一) ...11_分布式安装部署:配置主从节点之间的SSH无密钥登录

    teleop_twist_keyboard-master.zip

    8. **解压与安装**:下载的`teleop_twist_keyboard-master.zip`需要解压缩,然后在ROS环境中使用`catkin_make`或者`colcon build`等命令来编译和安装。编译成功后,可以通过运行`roslaunch`命令启动键盘控制节点。 ...

    Oracle Application R12 (12.1.3) Installation on Linux

    Oracle EBS R12在Linux上的安装和升级详细步骤,包括单节点安装、下载和解压、MD5 校验、数据库节点和应用程序节点的安装等。 一、单节点安装 在本文中,我们将使用单节点安装,即数据库、所有产品目录和AD核心...

    Linux__Oracle_12c_RAC安装配置v1.0.docx

    - 在两个节点上安装Linux AS 6.3 64位操作系统 - 操作系统版本要求: - 支持Oracle Linux 6和Red Hat Enterprise Linux 6 Distributions for x86-64 - 支持Oracle Linux 5和Red Hat Enterprise Linux 5 ...

    KeepAlived 双节点 HA高可用 主备群集

    在正常情况下,服务会通过虚拟 IP 提供,当主节点 HAproxy01 出现故障时,KeepAlived 会自动将虚拟 IP 切换到备用节点 HAproxy02,确保服务不间断。同时,通过 IPVSadm 可以查看和管理 IPVS 相关的设置。

    02_WebSphere Application Server V6安裝手冊_完整版

    在本文中,我们将深入探讨该版本的安装过程,包括必要的系统要求、安装步骤以及可能出现的问题解决方法。 首先,让我们来看看安装WebSphere Application Server V6.1的基本要求。该版本需要一个分布式操作系统环境...

Global site tag (gtag.js) - Google Analytics