`
gaojingsong
  • 浏览: 1211844 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

(一)大数据环境准备:Hadoop安装步骤

 
阅读更多
1、设置静态IP   ifconfig eth0 192.168.0.1或者修改/etc/sysconfig/network-scripts/下的ifcfg-eth0
2、修改主机名字
vi /etc/sysconfig/network
3、绑定主机名字和IP地址
vi /etc/hosts
ip 主机名字
4、关闭防火墙
   service iptables status
   service iptables stop
   chkconfig --list
  chkconfig iptables off
5、SSH 免密码登录
   生成秘钥到root目录
   ssh-keygen -t rsa
   公钥文件放入authorized_keys
   cd .ssh/
   cp id_rsa.pub authorized_keys
   验证:ssh localhost
6、安装JDK
    配置etc/profile JDK环境变量
    验证:java -version
7、开始安装hadoop
1)解压,配置hadoop环境变量etc/profile
    HADOOP_HOME
    PATH: HADOOP_HOME/bin
   export JAVA_HOME
      验证:echo $HADOOP_HOME
2)修改四个配置文件
hadoop-env.sh
JAVA_HOME
core-site.xml
fs.default.name
hdfs://hadoop0:9000

hadoop.tmp.dir
/usr/XXX
hdfs-site.xml
dfs.replication
dfs.permissions(false)

mapred-site.xml
mapred.job.tracer
hadoop0:9001

属性文件模板
<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.70.130:9000/hbase</value> >
</property>

3)格式化
执行hadoop namenode -format
启动start-all.sh
查看java进程jps

4)Web方式查看
http://IP:50070
http://IP:50030 ;
分享到:
评论

相关推荐

    大数据面试一:hadoop

    在大数据领域,Hadoop是一个关键的开源框架,用于大规模数据处理和存储。本文将深入探讨在面试中可能会遇到的Hadoop相关知识点。 首先,我们来看看HDFS(Hadoop Distributed File System)的操作流程。HDFS输入文件...

    大数据云计算利器:HadoopThe.Definitive.Guide,3Ed.pdf

    总结来说,这本书为读者提供了一个关于Hadoop的全面视角,从其诞生的历史背景到核心组件的使用,再到与其他系统的比较,以及MapReduce编程模型的详细介绍,为大数据和云计算领域提供了不可多得的学习资源。...

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目,主要用于处理和存储海量数据,其分布式...

    《大数据日知录:架构与算法》完整版+书签

    大数据架构指的是支撑大数据处理的系统结构,而算法则是处理大数据时使用的一系列计算步骤和方法。《大数据日知录:架构与算法》这本书籍很可能围绕这些主题进行讲解。 首先,从架构的角度来看,大数据架构主要包含...

    大数据实验一,Hadoop安装及使用

    1. **熟悉Hadoop安装流程**:从环境准备、软件安装到配置调试,全面了解Hadoop部署的全过程。 2. **掌握基本操作**:学会如何通过Web界面等工具进行集群状态监控和管理。 #### 三、实验过程知识点详解 1. **SSH无...

    3、大数据环境-安装Hadoop2.5.2完全分布式傻瓜教程(Virtual5+CentOS6.8).

    根据提供的文件信息,本文档是一份关于如何在VirtualBox5虚拟环境中使用CentOS6.8操作系统安装Hadoop2.5.2完全分布式集群的傻瓜教程。这份教程不是独立的完全分布式安装教程,而是在先前已经安装了VirtualBox5和...

    大数据集成方案:Oracle+Hadoop,R+Hadoop ... x+Hadoop,数据集成实战案例

    将R与Hadoop集成,可以在大数据环境下执行复杂的统计分析任务。 ##### 集成方案实施步骤: 1. **数据准备**:将需要处理的数据导入HDFS中。 2. **使用RHadoop工具包**:RHadoop是一套工具包,提供了R与Hadoop之间的...

    大数据环境一键安装脚本.zip

    "大数据环境一键安装脚本.zip" 提供了一种自动化的方式来设置和配置大数据环境,极大地简化了传统手动安装过程中的复杂性。这个压缩包文件"automaticDeploy-master"很可能是包含了一个完整的自动化部署项目,下面将...

    大数据的炼金术:Hadoop数据分析全攻略

    ### 大数据的炼金术:Hadoop 数据分析全攻略 #### 一、引言 在信息化时代,数据已经成为企业的重要资产。对于企业而言,如何有效地利用这些数据以获得竞争优势至关重要。数据分析作为处理数据的核心手段,在众多...

    大数据基础面试题hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse

    ZooKeeper 是一个分布式协调服务,用于解决分布式环境中的命名服务、配置管理、集群同步等问题。它维护了分布式的共享状态,并提供原子的读写操作。 3. **HBase**: 基于 Hadoop 的 HBase 是一个非关系型数据库...

    大数据之路:阿里巴巴大数据实践

    2. 阿里巴巴大数据架构:书中可能会详细解析阿里巴巴的大数据处理平台,如Hadoop、Spark等分布式计算框架,以及自研的大数据处理系统,如MaxCompute(原名ODPS)和Lindorm等。 3. 数据存储与管理:阿里巴巴如何利用...

    大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc

    【大数据技术基础实验报告-Linux环境下hadoop...完成上述步骤后,一个基本的Hadoop集群就在Linux环境中搭建起来了,能够进行大数据的存储和处理。在实际应用中,还需考虑高可用性、性能优化以及安全策略等方面的配置。

    大数据实验报告,Hadoop安装与配置,Docker

    安装和配置Hadoop涉及多个步骤: 1. 将Hadoop安装包复制到`bgsvr0`,这是集群中的活跃节点。这将作为Hadoop服务的主节点。 2. 解压缩Hadoop安装包,为Hadoop文件系统和执行环境做准备。 3. 编辑`workers`文件,列出...

    大数据时代:高性能Hadoop集群与应用案例

    集群配置是Hadoop部署的关键步骤之一,下面详细介绍Hadoop集群的配置过程: 1. **环境准备**:选择合适的操作系统(如Linux),并确保所有节点的时间同步(通常使用NTP服务)。 2. **安装Java环境**:Hadoop依赖于...

    大数据实例:网站用户行为分析.docx

    安装步骤包括下载Hadoop安装程序,安装Hadoop,配置Hadoop环境变量等。 HBase安装 HBase安装是指安装和配置列族数据库HBase。安装步骤包括下载HBase安装程序,安装HBase,配置HBase环境变量等。 Hive安装 Hive安装...

    hadoop大数据课程设计

    【标题】"hadoop大数据课程设计"涉及到的核心技术是Hadoop,这是一个开源的分布式计算框架,主要用于处理和存储海量数据。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,前者提供高容错...

    大数据实验2:熟悉常用的 HDFS 操作 答案

    HDFS(Hadoop Distributed File System)是 Hadoop 生态系统中的一个分布式文件系统,负责存储和管理大规模数据。HDFS 的主要特点是可扩展性、可靠性和高性能,它能够支持大规模数据存储和快速数据处理。 使用 HDFS...

    大数据处理系统:Hadoop源代码情景分析_大数据_大数据分析_大数据Hadoop_

    在大数据领域,Hadoop是一个至关重要的工具,它为海量数据的存储和处理提供了高效、可靠的解决方案。本主题将深入解析Hadoop的源代码,帮助理解其内部工作机制,从而更好地运用和优化这个分布式计算框架。 Hadoop的...

    Hadoop大数据开发基础-PPT课件

    7. **Hadoop安装与配置**:学习如何在本地或集群环境下搭建Hadoop环境,包括配置Hadoop的环境变量、初始化HDFS、启动和停止服务等。 8. **数据处理实践**:通过实例演示如何使用Hadoop处理数据,如使用MapReduce...

Global site tag (gtag.js) - Google Analytics