`

Hadoop 安装体验

 
阅读更多

 

安装说明:

1.基本按照官网的安装说明,这里补充几点。

ssh相关

ssh localhost              # ssh 会提示输入密码,则需要做下面的操作

exit                               # 退出刚刚的ssh localhost

cd ~/.ssh/                    # 若没有该目录,请先执行一次ssh localhost

ssh-keygen -t rsa       # 会有提示,都按回车就可以

cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

 

2.Hadoop-2.7.x 需要jdk1.7以上的版本

否则会报hadoop  Unsupported major.minor version 51.0的错误

 

3.配置Hadoop的jdk有两个方法,一个是设置JAVA_HOME,另一个是hadoop-env.sh脚本。

官网推荐的做法是第二种。

 

测试说明:

单机版本测试

 

伪分布式配置

 

分布式配置

 

 

参考:

     http://hadoop.apache.org/docs/current/

     http://dblab.xmu.edu.cn/blog/install-hadoop/

 

 

 

 

 

 

 

 

分享到:
评论

相关推荐

    在Windows上安装Hadoop

    在Windows操作系统上安装Hadoop可能比在Linux环境...通过以上步骤,你可以在Windows上成功安装并运行Hadoop,体验分布式计算的魅力。尽管过程可能会有些曲折,但了解和掌握Hadoop对于大数据处理和分析是极其有价值的。

    初识hadoop之hadoop 安装

    【初识Hadoop之Hadoop安装】 Hadoop是Apache软件基金会的一个开源分布式计算框架,它设计用于处理和存储海量数据。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce,前者负责数据的分布式...

    细细品味Hadoop(Hadoop安装及配置).rar_hadoop_细细品味Hadoop

    本文将基于"细细品味Hadoop(Hadoop安装及配置).rar_hadoop_细细品味Hadoop"这一资源,深入探讨Hadoop的安装与配置过程,帮助你全面理解并掌握这一关键技术。 首先,我们需要了解Hadoop的基本概念。Hadoop是由...

    hadoop安装配置指南

    【Hadoop安装配置指南】 Hadoop是一个开源的分布式计算框架,它允许在大规模...你可以通过Hadoop的命令行工具进行数据处理和操作,体验分布式计算的魅力。在进一步扩展到多节点集群之前,理解这些基本步骤至关重要。

    windows下安装hadoop的依赖库winutils

    在Windows环境中搭建Hadoop可能比在Linux环境下更复杂,但通过正确安装和配置WinUtils,你可以在本地系统上体验Hadoop的强大功能。同时,这也是学习大数据技术的一个重要起点,为进一步探索Hadoop生态系统,如HBase...

    hadoop单机版安装

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分析。它的设计目标是能够存储和处理海量数据,尤其适合...在单机版中,虽然无法完全体验到这些特性,但它仍然是学习和测试Hadoop功能的良好起点。

    hadoop-3.2.2环境搭建操作安装指南

    提供的文件`hadoop-3.2.2.tar.gz.tar.gz.tar.gz`是Hadoop的压缩包,需要进行多次解压才能得到最终的Hadoop安装文件。解压后,将其移动到一个合适的目录,例如 `/usr/local/hadoop`。然后,设置Hadoop的环境变量,...

    Windows本地安装Hadoop所需文件.zip

    在Windows环境下搭建Hadoop集群,对于初学者来说可能是一项挑战,但通过本地安装方式,可以大大简化这个过程...随着对Hadoop的深入理解,你还可以尝试在多台机器上构建真正的分布式集群,体验更强大的大数据处理能力。

    实验一 hadoop 安装配置.docx

    通过实践,加深了对Hadoop环境搭建的理解,也体验到了解决安装过程中遇到问题的过程。Hadoop的分布式特性使得它在处理大量数据时表现出高效性和容错性,适合大规模数据分析应用。通过这次实验,可以更好地理解Hadoop...

    hadoop的hadoop.dll和winutils.exe下载

    总的来说,`hadoop.dll`和`winutils.exe`是Hadoop在Windows环境下运行的关键组件,它们使开发者能够在非Linux平台上体验到Hadoop的强大功能。了解并正确使用这两个文件,对于在Windows上搭建和管理Hadoop环境至关...

    适合hadoop2.9.* 以及 hadoop2.7.* 的winutils.exe_hadoop.dll 配置文件

    - 考虑使用Docker或VMware等虚拟化技术在Windows上创建一个Linux环境,以获得更原生的Hadoop体验。 总之,`winutils.exe` 和 `hadoop.dll` 对于在Windows上运行Hadoop至关重要。通过正确配置和使用这些文件,用户...

    在Windows上安装Hadoop教程

    为了更好的体验,建议在虚拟机或Docker容器中安装Linux,再进行Hadoop的部署。 在安装过程中,`setup.exe`文件可能是一个用于简化安装过程的工具,它会自动处理一些配置和依赖。但是,这个文件并未在描述中提及,...

    hadoop-eclipse-plugin-2.6.0.jar.zip_2.6.0_hadoop_hadoop plugin

    《Hadoop Eclipse Plugin 2.6.0:高效开发与测试工具》 Hadoop作为大数据处理的核心框架,为开发者提供了强大的...对于Hadoop初学者和专业开发者来说,熟练掌握并运用这款插件,无疑是提升开发体验和工作效率的关键。

    Window环境安装hadoop所需工具

    为了在Windows上成功安装Hadoop,我们需要了解几个关键知识点,并准备一些必要的工具。以下是一份详细的步骤指南: 1. **Java开发工具(JDK)**:Hadoop依赖于Java运行环境,因此首先需要安装Java Development Kit ...

    eclipse hadoop插件安装 运行WordCount

    在本文中,我们将深入探讨如何在Eclipse IDE中安装Hadoop插件,并通过该插件...通过这个教程,无论是初学者还是有经验的开发者,都能在Windows环境下高效地利用Eclipse进行Hadoop开发,体验到Hadoop MapReduce的魅力。

    hadoop-3.1.1winutils.rar

    标题 "hadoop-3.1.1winutils.rar" 提供的...综上所述,这个压缩包提供了一种在Windows环境中运行Hadoop 3.1.1的解决方案,包括必要的工具和库文件,使得开发者和数据分析师可以在非Linux系统上体验和利用Hadoop的功能。

    windows下安装hadoop所需要的winutil

    总的来说,`winutils.exe`是Windows环境下搭建和运行Hadoop生态系统的关键组件,它使得开发者能够在Windows上体验和测试Hadoop的功能,为基于Hadoop和Spark的数据处理工作提供了便利。在实际操作中,我们还需要注意...

    hadoop winutils.exe运行文件

    对于学习和测试目的,可以考虑使用如VirtualBox或VMware这样的虚拟机软件来模拟Linux环境,以获得更稳定的Hadoop体验。 总的来说,解决“缺少winutils.exe”的问题需要理解Hadoop在Windows环境中的运行机制,并正确...

    hadoop.dll

    "winutils.exe"与"hadoop.dll"共同工作,提供了一个与Linux环境相媲美的Hadoop操作体验。 为了在Windows上成功运行Hadoop,我们需要完成以下步骤: 1. 下载并安装Java开发工具包(JDK),因为Hadoop依赖于Java运行...

    hadoop-2.8.1winutils.rar

    总的来说,Hadoop-2.8.1winutils.rar为Windows用户提供了一个在本地环境中运行Hadoop的可能性,使得开发者和数据分析师无需依赖Linux环境也能体验和学习Hadoop的强大功能。但是,需要注意的是,由于Windows环境与...

Global site tag (gtag.js) - Google Analytics