`
兢兢业业小码农
  • 浏览: 5846 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

centos7 最小化安装后安装hadoop问题

 
阅读更多
  1. 软件
  • centos7
  • jdk7
  • SecureCRTPortable
  • Vmware 12 pro
  • 第一步,解决上网问题
    • centos7安装完毕后,输入ifconfig,提示 -bash ifconfig:commond not fond
    • 解决办法:vi /etc/sysconfg/network-scripts/ifcfg-enoxxxxxxxxxx 这个文件,修改最后一行ONBOOT=yes
    • source ifcfg-enoxxxxxxxxxx
    • service network restart
    • yum install net-tools 
      • 如果不能安装,请重启虚机后再进行安装(init 6)
    • net-tools安装完毕后,请运行ping命令测试,如果能ping通百度,则证明net-tools安装成功
  • 安装jdk 7
    • 检查ssh是不是已经安装  ssh localhost 正常应该是安装了的
    • 安装wget  
      • yum install wget
    • 下载jdk
      • 下载地址 http://download.oracle.com/otn-pub/java/jdk/7u80-b15/jdk-7u80-linux-x64.rpm
    • 创建hadoop用户
      • adduser hadoop
      • passwd hadoop 输入新密码,重复密码
      • 把下载的jdk上传到/home/hadoop/下 
      • 切换到/home/hadoop目录下
    • 安装jdk
      • 切换到root用户 su root
      • 安装jdk  rpm -ivh jdk-7u80-linux-x64.rpm
      • 配置环境变量 vi /etc/profile
      • #JAVA_HOME
      • export JAVA_HOME=/usr/java/jdk1.7.0_80
      • export CLASSPATH=$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH
      • export PATH=$PATH:$JAVA_HOME/bin
      • javac测试成功后即可
  • 安装hadoop
    1. 获取安装文件
    • 切回到/home/hadoop目录下
    • wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
  • 安装hadoop
      • tar -zxvf hadoop-2.7.1.tar.gz
  • 修改配置文件
        • /home/hadoop/hadoop-2.7.1/etc/hadoop/hadoop-env.sh第一行export JAVA_HOME=/usr/java/jdk1.7.0_80
  • 测试单机版hadoop
    • 在/home/hadoop/hadoop-2.7.1目录下运行如下命令
    •  $ mkdir input
        $ cp etc/hadoop/*.xml input
        $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'
        $ cat output/*
    • 如果出现
    • [root@localhost hadoop-2.7.1]# cat output/*
    • 1       dfsadmin
      应该就是单机版过了
    • 集群的部分,稍后配好了再给大家分享
    分享到:
    评论

    相关推荐

      VMware上CentOS7.0+Hadoop3.1伪分布式搭建

      安装过程中,可以选择最小化安装以节省磁盘空间,但要确保安装了“开发和编译工具”以支持Hadoop的编译。 4. **配置CentOS7**:安装完成后,更新系统并安装必要的依赖。执行以下命令: - `sudo yum update` - `...

      VMware安装centOS+hadoop

      在软件选择中,可以选择GNOME桌面环境,或者为了节省资源,也可选择最小化安装。 在磁盘配置环节,选择自动分区可以简化操作。关闭kdump服务,以避免不必要的内存占用。确保以太网接口打开,并记录其IP地址,用于...

      Hadoop 从零开始(1) ——CentOS 安装配置

      在本文中,我们将深入探讨如何从零开始在CentOS操作系统上安装和配置Hadoop,这是一个分布式文件系统,为大数据处理提供了强大的支持。首先,我们需要理解Hadoop的基本概念和它的核心组件。 Hadoop是由Apache软件...

      Hadoop概述及CentOS安装和使用

      安装过程中,选择语言、时区、软件包,通常为了节省资源,可以选择最小化安装,并添加必要的开发工具。 3. **配置和使用CentOS** 安装完成后,首次启动CentOS会进行基本的系统设置,如用户账户、密码等。通过...

      Hadoop搭建-Linux系统.docx

      因此,建议在安装时选择最小化安装,仅安装必要的基础软件包。 网络配置是搭建过程中常见的难题。为了简化步骤,你可以选择使用静态IP地址配置网络,这样每次开机都能自动连上网。在网络设置中,你需要配置IP地址、...

      CentOS安装配置

      标题“CentOS安装配置”以及描述“Hadoop集群 第1期 CentOS安装配置教程”意味着本内容将重点围绕在如何安装和配置CentOS系统,以及如何为Hadoop集群的搭建进行准备。CentOS是一个流行的Linux发行版本,以其与Red ...

      安装CentOS的存档

      当你熟悉Linux命令后,可以考虑最小化安装。 分区设置是安装过程中的关键步骤。通常分为三个分区:1) /boot分区,用于存放引导文件,建议分配1GB,格式化为ext4;2) swap分区,作为虚拟内存,大小应与物理内存相同...

      hadoop2.2.0部署

      - **选择桌面最小安装:** 除非有特殊需求,否则推荐最小化安装以节省资源。 **3. 设置VIM命令** - **配置虚拟机终端上颜色的显示:** 为了使VIM命令的颜色显示正常,需要对虚拟机终端进行特定配置。对于SecureCRT...

      大数据技术之Centos7.5安装.doc

      【大数据技术之Centos7.5安装】 在大数据技术领域,操作系统是基础平台的重要组成部分,而CentOS作为一款稳定、安全且开源的操作系统,被广泛应用于服务器和数据中心环境,尤其在大数据集群中扮演着关键角色。...

      Hadoop集群搭建,hive数据仓文档.docx

      在安装过程中,需要选择合适的语言、时区,以及安装类型,推荐选择“最小化安装”,以便后续自定义配置。 系统分区是安装过程中的一个重要环节。这里,我们通常会选择“自定义”分区方式,以更好地控制磁盘空间的...

      Hadoop.docx

      - 卸载虚拟机自带的 JDK(如果最小化安装则无需此步骤)。 ```bash [root@jjc ~]# rpm -qa | grep -i java | xargs -n 1 rpm -e --nodeps ``` - 重启虚拟机以应用所有更改。 ##### 1.2 虚拟机克隆 - **克隆...

      从零开始部署hadoop_3.1.1集群.docx

      使用VMware创建一台CentOS 7虚拟机,并以最小化方式安装。建议配置为:单核CPU,1GB内存,60GB硬盘,网络模式设为NAT。设置主机名为`hadoop-1`。 #### 2.2 配置主机名和网络 - 使用`hostname`命令检查主机名,如需...

      大数据平台搭建(终极版).pdf

      这里推荐下载地址为***,选择下载DVD ISO镜像文件,推荐选择最小化安装版本,即CentOS-7-x86_64-MInimal-2009.iso,这样可以避免安装不必要的软件,降低系统复杂性。 2. 安装环境的选择至关重要。在虚拟机环境中,...

      mysql的安装

      - 运行安装程序,按照向导提示进行配置,选择安装类型(典型、最小或自定义)。 - 设置服务器类型(开发机器、服务器机器等)和账户信息,包括root用户的密码。 - 安装完成后,通过服务管理器启动MySQL服务。 3....

      CONA数据治理平台安装手册V3.3.2.docx

      - **操作系统**:支持主流Linux发行版,如CentOS 7.x或更高版本。 - **硬件资源**: - 最小CPU配置为4核。 - 内存至少需要8GB。 - 磁盘空间要求至少为50GB以上。 - **网络环境**:具备稳定且高速的网络连接。 **...

      solrcloud部署文档.docx

      每台机器应安装 CentOS 7.0 操作系统,并配置静态 IP 地址。所有这些机器应处于同一局域网内,以保证通信的顺利进行。 安装 ZooKeeper 的过程可以通过自定义的脚本 `zkinstall.bin` 进行自动化。在每台机器上执行该...

      某大数据平台针对车联网场景的各个组件参数调优POC说明

      - **操作系统**:Linux发行版,如CentOS 7.x或Ubuntu 18.04 LTS。 - **JDK版本**:Java Development Kit 1.8或以上版本。 - **Hadoop版本**:建议使用最新稳定版,例如Hadoop 3.x系列。 - **Hive版本**:应与Hadoop...

      kubernets常用的命令手册

      - **数据持久化问题**: 解决数据持久化过程中遇到的问题。 - **管理容器的计算资源**: 合理分配和限制容器资源。 - **使用Prometheus监控Kubernetes集群**: Prometheus是一个流行的开源监控系统。 - **使用Heapster...

    Global site tag (gtag.js) - Google Analytics