`
HK.Night
  • 浏览: 11540 次
  • 性别: Icon_minigender_1
  • 来自: 河北
最近访客 更多访客>>
社区版块
存档分类
最新评论

hadoop伪分布模式启动

阅读更多
1.设置conf下的core-site.xml、hdfs-site.xml、mapred-site.xml文件
core-site.xml:
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>tmp/hadoop-${user.name}</value>
  </property>
</configuration>

hdfs-site.xml:
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

mapred-site.xml:
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:8021</value>
  </property>
</configuration>

hadoop-env.sh
export JAVA_HOME=/opt/jdk

2.配置ssh
确保用户能够ssh到本地主机,并不输入密码即可访问。
首先,确保ssh已经安装,且服务器正在运行。
% sudo apt-get install ssh
然后,基于空口令创建一个新ssh密钥,以启用无密码登录。
% ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
% cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
用以下指令进行测试:
% ssh localhost
如果成功,则无需键入密码。

3.格式化HDFS文件系统
% hadoop namenode -format

4.启动和终止守护进程
启动:
% start-all.sh
终止:
% stop-all.sh
可通过jps命令查看守护进程是否正在运行。
或通过Web界面:http://localhost:50030 jobtracker
http://localhost:50070 namenode


分享到:
评论

相关推荐

    大数据之hadoop伪分布模式启动.docx

    大数据之Hadoop伪分布模式启动 Hadoop伪分布模式是一种特殊的Hadoop集群模式,在这种模式下,所有Hadoop服务都运行在同一个节点上,模拟一个完整的Hadoop集群环境。这种模式非常适合开发、测试和学习Hadoop。 格式...

    大数据之hadoop伪分布模式启动.pdf

    【大数据之Hadoop伪分布模式启动】 在大数据处理领域,Hadoop是一个开源的分布式计算框架,它能够处理和存储海量数据。在学习和测试Hadoop时,为了方便,通常会采用伪分布模式(Pseudo-Distributed Mode),这种...

    hadoop伪分布配置

    Hadoop伪分布模式是一种在单台机器上模拟分布式环境的方式,通常用于开发测试阶段。这种方式既能够体验到Hadoop的分布式特性,又不需要复杂的多节点集群配置。本文将详细介绍如何在Ubuntu系统上搭建Hadoop伪分布环境...

    Hadoop单机伪分布完全分布实验文档

    本实验文档集合了对Hadoop在不同环境下的部署和操作实践,包括单机伪分布和完全分布的模式,以及相关的云计算技术介绍。以下是这些知识点的详细阐述: 1. **Hadoop单机伪分布模式**: 单机伪分布模式是Hadoop初学...

    Hadoop单机模式和伪分布模式.ppt

    **二、Hadoop伪分布模式** 伪分布模式是介于单机模式和完全分布式模式之间的一种模式,它在一个单一节点上模拟整个Hadoop集群。每个Hadoop守护进程(如NameNode、DataNode等)都在独立的进程中运行,但仍然在本地...

    shell脚本配置Hadoop伪分布式.zip

    在这个"shell脚本配置Hadoop伪分布式.zip"压缩包中,包含了配置Hadoop伪分布式环境所需的所有资源和指南。伪分布式模式是在单个节点上模拟分布式环境,这对于学习和测试Hadoop功能非常有用,无需复杂的多节点集群...

    JDK的安装和Hadoop伪分布的配置

    ### JDK的安装与Hadoop伪分布模式配置详解 #### 一、JDK的安装 Java Development Kit(简称JDK)是Sun Microsystems针对Java语言开发的一个软件开发工具包,同时也是运行Hadoop集群的基础环境之一。Hadoop是用Java...

    hadoop伪分布式安装.pdf

    ### Hadoop伪分布式安装知识点详解 #### 一、Hadoop伪分布式概述 Hadoop是一种能够处理海量数据的大规模分布式计算框架。它通过将任务分解到多个计算机节点上并行处理来提高数据处理效率。Hadoop支持多种运行模式,...

    hadoop2.6.0伪分布安装

    ### Hadoop 2.6.0 伪分布模式安装详细指南 #### 一、环境准备与常见问题 在开始安装之前,确保您的机器满足以下条件: 1. **JDK 版本确认**:Hadoop 2.6.0 对 JDK 的版本有一定要求,通常推荐使用 Oracle JDK 1.7...

    hadoop伪分布搭建步骤

    ### Hadoop伪分布模式搭建详解 #### 一、概述 Hadoop是一款开源的大数据处理框架,主要用于处理海量数据。在实际应用中,Hadoop通常运行在由多台计算机组成的集群环境中,但在学习或测试阶段,我们往往会在一台...

    徐老师大数据 Hadoop架构完全分析课程 Hadoop入门学习视频教程

    -017.Hadoop配置完全分布模式之IP设置与远程拷贝与格式化启动.mp4 -018.Hadoop在Win7下免Cygwin环境安装伪分布式与第三方增强软件介入.mp4 -019.Hadoop在Win7下免Cygwin环境安装NativeBug解决与dexpot多桌面应用.mp4...

    Hadoop平台搭建(单节点,伪分布,分布式文件系统及其上MapReduce程序测试)

    在本文中,我们将深入探讨如何搭建Hadoop平台,包括单节点模式、伪分布式模式以及分布式文件系统,并在这些环境中运行MapReduce程序进行测试。Hadoop是Apache软件基金会的一个开源项目,它提供了一个分布式文件系统...

    第3章hadoop伪分布式环境的搭建.docx

    【Hadoop伪分布式环境搭建详解】 Hadoop作为大数据处理的核心框架,对于初学者和专业开发人员来说,理解并掌握其安装配置至关重要。Hadoop提供了多种运行模式,包括本地模式、伪分布式模式以及集群模式,每种模式都...

    搭建hadoop伪分布所需要的包,hadoop+jdk

    搭建Hadoop伪分布式环境的步骤如下: 1. **安装JDK**:首先,你需要将JDK解压到一个适当的目录,然后设置JAVA_HOME环境变量指向JDK的安装路径。同时,确保PATH环境变量包含了JDK的bin目录,以便系统能够找到Java...

    Hadoop完全分布式配置.txt

    伪分布模式 Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群。可以使用HDFS和MapReduce。 c. 完全分布模式 Hadoop守护进程运行在一个集群上。启动所有的守护进程,具有hadoop完整的功能,可以使用HDFS、...

    hadoop 伪分布式环境配置

    Hadoop 的伪分布式模式是在单机上模拟分布式环境的配置方式。这种配置方式可以模拟分布式环境,方便开发者测试和调试 Hadoop 程序。在伪分布式模式下,数据节点和名称节点均是本身,必须配置 SSH localhost 无密码...

Global site tag (gtag.js) - Google Analytics