`
WindyQin
  • 浏览: 32543 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论

Win7下安装Hadoop

 
阅读更多

1、本人电脑是Win7 64位系统的:

2、JDK 版本:

3、Cygwin 版本:
官网自行下载
4、Hadoop 版本:
官网自行下载,下载稳定版的吧
下面就开始安装啦~~~~
一、 安装JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK。我安装的路径为C:\Java\jdk1.7.0_21,安装完配置环境变量:
1. 安装完成后开始配置环境变量,右击我的电脑,点击属性
2. 在出现的对话框中选择高级系统设置,在出现的对话框中选择环境变量
3. 新建名为”JAVA_HOME“的变量名,变量值为之前安装jdk的目录,例如本人的为” C:\Java\jdk1.7.0_21 “
4. 在已有的系统变量”path“的变量值加上”%JAVA_HOME%\bin;(注意,每个变量值是以”;“隔开,变量值开头的分号就起这个作用)自此配置完成。

二、 安装Cygwin,下载地址:http://www.cygwin.com/,根据操作系统的需要下载32位或64的安装文件。
1 . 双击下载好的安装文件,点击下一步,选择install from internet
2 选择安装路径,下一步,点下一步,选择合适的安装源,点击下一步
3 在Select Packages界面里,Category展开net,选择如下openssh和openssl两项
4 如果要在Eclipe上编译Hadoop,需要安装Category为Base下的sed
5  如果想在Cygwin上直接修改hadoop的配置文件,可以安装Editors下的vim

6 .点击“下一步”,等待安装完成。
三、 配置环境变量,在“我的电脑”上点击右键,选择菜单中的“属性”,点击属性对话框上的高级页签,点击”环境变量”按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的Cygwin的bin目录,例如:D:\cygwin64\bin
四、 安装sshd服务,双击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config -y命令
五、 执行后,会提示输入密码,否则会退出该配置,此时输入密码和确认密码,回车。最后出现Host configuration finished.Have fun!表示安装成功,输入net start sshd,启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。可能会遇到无法安装和启动sshd服务的问题,可参考此连接http://www.cnblogs.com/kinglau/p/3261886.html
六、 配置SSH免密码登录,执行ssh-keygen命令生成密钥文件,输入:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa,注意-t -P -f参数区分大小写,
七、 执行此命令后,在你的Cygwin\home\用户名 路径下面会生成.ssh文件夹,可以通过命令ls -a /home/用户名 查看,ssh -version命令查看版本,执行完ssh-keygen命令后,再执行下面命令,就可以生成authorized_keys文件了。
八、 cd ~/.ssh/
九、 cp id_dsa.pub authorized_keys
十、 然后执行exit命令,退出Cygwin窗口。
十一、 再次在桌面上双击Cygwin图标,打开Cygwin窗口,执行ssh localhost命令,第一次执行该命令会有提示,输入yes后,回车即可。如下图所示
十二、 安装Hadoop,hadoop官网下载http://hadoop.apache.org/releases.html
十三、 把hadoop压缩包解压到/home/用户名 目录下,文件夹名称更改为hadoop
十四、 配置hadoop-env.sh,记事本打开改文件,设置JAVA_HOME的值为你的JDK安装路径,例如:JAVA_HOME=/cygdrive/C/Java/jdk1.7.0_21(注意/的方向)
十五、 修改配置参考:http://pengbin6755198.blog.163.com/blog/static/2325493920142107215867/
十六、 注意:
fs.default.name
hdfs://localhost:9000
最好写成主机名,不要写localhost
十七、 如果报错:

参考http://bbs.csdn.net/topics/390752976

弄了一上午,算是配置好了!!!!!!!!!!!!!!!
以前没接触过,报错了就去网上查,现在总结一下,给你们参考吧!

笔者是新手,推荐Linux下安装的步骤,一同学写的,很经典~
http://blog.csdn.net/zhaodedong/article/details/46386173

<script type="text/javascript"> $(function () { $('pre.prettyprint code').each(function () { var lines = $(this).text().split('\n').length; var $numbering = $('<ul/>').addClass('pre-numbering').hide(); $(this).addClass('has-numbering').parent().append($numbering); for (i = 1; i <= lines; i++) { $numbering.append($('<li/>').text(i)); }; $numbering.fadeIn(1700); }); }); </script>

分享到:
评论

相关推荐

    win 7 64上编译 Hadoop 2.7.3 源码

    ### Win 7 64位系统上编译Hadoop 2.7.3源码的知识点 #### 一、背景介绍 在当前大数据处理技术快速发展的背景下,Hadoop作为主流的大数据处理框架之一,被广泛应用于各类场景之中。对于开发者来说,能够熟练地在自己...

    hadoop win7环境搭建

    ### Hadoop 在 Win7 环境下的安装与配置 Hadoop 是一个开源软件框架,用于分布式存储和处理大规模数据集。本文档旨在提供在 Windows 7 操作系统上搭建 Hadoop 的详细步骤,帮助读者顺利搭建并测试 Hadoop 环境。 #...

    win7下编译过的hadoop jar包--hadoop-2.7.2.zip

    这个“win7下编译过的hadoop-2.7.2.zip”文件是为了适应Windows操作系统,使用户能在本地环境中学习和测试Hadoop功能。 首先,我们需要了解Hadoop的组件。Hadoop主要由两个核心部分组成:Hadoop Distributed File ...

    hadoop2.6(x64)Win7上远程调试hadoop 集群

    3. **在Win7上安装Hadoop**: - 安装Java运行环境(JRE):Hadoop依赖Java,确保安装了JDK 1.7或更高版本。 - 下载Hadoop 2.6的x64位版本,解压到本地文件夹。 - 配置环境变量,包括`HADOOP_HOME`,`JAVA_HOME`和...

    win7下编译过的hadoop2.7.2

    但是,通过一些特定的步骤,可以在Windows系统上编译和使用Hadoop,而提供的“win7下编译过的hadoop2.7.2”文件正是为了简化这一过程。 首先,我们来看一下Hadoop在Windows上的编译步骤。在Windows 7环境下编译...

    win10、7下安装hadoop,解决依赖性问题文件,直接合并bin文件

    在Windows 10和Windows 7操作系统中安装Hadoop是一项技术性的任务,因为涉及到处理依赖性问题。Hadoop是Apache开源项目,主要用于大数据处理和分布式计算。在这个过程中,我们需要确保所有必要的组件都正确配置,...

    win7下hadoop job提交

    以上就是在Windows 7环境下提交Hadoop Job的全过程,涉及到Java环境配置、Hadoop安装与配置、MapReduce编程、Job提交和监控等多个环节。通过这个过程,你可以更好地理解Hadoop的工作原理和分布式计算的基本概念。

    win7下eclipse配置hadoop的插件

    标题中提到的关键是"win7下eclipse配置hadoop的插件",这意味着我们要在Windows 7操作系统上,利用Eclipse进行Hadoop开发的环境配置。这通常包括以下几个步骤: 1. **下载Hadoop插件**:这里提到的`hadoop-eclipse-...

    win7下编译过的hadoop jar包

    win7下编译过的hadoop jar包 hadoop1.1.2 hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件,需要自己用ant编译。

    win7(x64)和win10(x64)编译的hadoop的bin

    【标题】"win7(x64)和win10(x64)编译的hadoop的bin" 涉及的知识点主要集中在Hadoop的编译与平台兼容性上,尤其是对于Windows 7和10 64位操作系统的支持。Hadoop是一个开源的分布式计算框架,它允许在大量计算机...

    win7 hadoop

    在Windows 7上搭建Hadoop单节点环境是一个学习Hadoop基础知识的重要步骤。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大规模...通过上述步骤,你应该能够成功地在Win7上建立一个简单的Hadoop单节点环境。

    win7安装hadoop及eclipse调试mapreduce的配置方法

    【标题】: "win7环境下Hadoop安装及Eclipse调试MapReduce配置教程" 【描述】: "本教程详细讲解在Windows 7操作系统中如何安装Hadoop,并配置Eclipse进行MapReduce程序的调试,涵盖可能出现的问题及其解决方案。" ...

    Hadoop在win7详细安装

    【Hadoop在win7详细安装】的文档主要涵盖了在Windows 7环境下安装和配置Hadoop所需的基本步骤,其中涉及到的IT知识点包括: 1. **VirtualBox的安装与配置**: - VirtualBox是一款强大的免费虚拟机软件,因其体积...

    Windows上安装Hadoop

    本文将详细介绍如何在Windows环境中搭建Hadoop,并在Vista或Win7系统上安装SSH服务,以便远程管理和操作Hadoop集群。 首先,Hadoop是Apache开源项目,主要用于处理和存储大量数据,其核心包括HDFS(Hadoop ...

    hadoop-2.7.2-win10_x64.7z

    描述中提到,这是一个“完整包”,意味着它包括了Hadoop运行所需的所有基本组成部分,用户下载后应能直接在Win10环境下启动和使用。这对于初学者或那些不想经历编译过程的人来说是一个方便的资源。 标签 "hadoop" ...

    win10下编译过的hadoop jar包--hadoop-2.7.2.zip

    在win10下编译Hadoop 2.7.2,首先需要安装Java开发工具包(JDK),因为Hadoop是用Java编写的。然后,下载Hadoop源码,使用Apache Maven或Gradle等构建工具进行编译。编译过程中可能需要配置环境变量,如HADOOP_HOME...

    64位winutils.exe, 用于win7下操作hadoop

    Hadoop 2.2 Windows下eclipse开发hadoop程序会报错,原因是因为hadoop2.2没有发布winutils.exe造成的,现编译发布出来; 把此文件放到hadoop/bin下,在环境变量中配置 HADOOP_HOME 即可。 ERROR [main] util.Shell ...

    win7编译过的hadoo2.6.1包括hadoop.dll和winutils.exe

    总之,这个win7编译过的Hadoop 2.6.1版本是为在Windows 7环境下运行Hadoop设计的,包含了运行和管理Hadoop集群所需的关键组件,使得开发者和数据工程师可以在Windows平台上利用Hadoop的强大功能进行大数据处理和分析...

    Windows本地安装Hadoop所需文件.zip

    在Windows环境下搭建Hadoop集群,对于初学者来说可能是一项挑战,但通过本地安装方式,可以大大简化这个过程。本压缩包“Windows本地安装Hadoop所需文件.zip”包含了在Windows系统上运行Hadoop所需的关键组件和配置...

    win10下hadoop的使用

    首先,从提供的压缩包中解压“win10下hadoop2.7.2安装包”,这通常包含Hadoop的二进制文件、配置文件以及可能的Windows特定补丁。Hadoop的二进制包通常包括`bin`, `sbin`, `etc`, `lib`等目录,它们分别存储可执行...

Global site tag (gtag.js) - Google Analytics