`

Hadoop碰到的问题

 
阅读更多

1.cygwin的安装:  

  网上有很多相关的资料,有一篇讲得特别详细!这里先记下了!方便以后查!
  地址:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4% A8/blog/item/8832551c7598551f314e15c2.html 

2. hadoop的入门实例:

  下一面的博文讲得也十分详细,几乎是一步一步的讲解,特别适合入!

  地址:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/a0ebb1db953a772033fa1c9a.html

 

3. 在安装的过过程中还是遇到了两个问题:

 第一个:在安装cygwin的时候,win7系统是要设置密码的。在对cygwin进行ssh配置时,老是提示要输入密码,我刚开始时没注意,总是回车忽略,结果总是失败!后来再详细了看了第一篇博文时,才知道win7系统要设置密码。

 

 第二个问题:Java jdk路径有空格的问题。

 本人的电脑上的jdk路径:D:\Program Files\Java\jdk1.6.0_26,根据上面第二篇博文说的,要对Program Files改成 'Program Files' ,在实验时被证明是不行的。改成双引号也不行。网上有说用转义字符,貌似也不行,至少在我的电脑上是不行的。

 解决方法:

  方法一:重新安装JDK,设置成没有空格的路径。个人觉得这个很麻烦!没有尝试,但是应该可以行得通。

  方法二:Windows下的JDK映射到Cygwin中,命令如下:

     LN  -s  /cygdrive/c/Program\ Files/Java/<jre name>  /usr/local/<jre name>

     其中,

     /cygdrive/c/Program\ Files/Java/<jre name>表示在Windows中的JDK路径,

     /usr/local/<jre name>表示你想映射到的Cygwin路径。

    然后在把JAVA_HOME配置成 export  JAVA_HOME="/usr/local/<jre name>"

   我的设置是:

          在cygwin下面执行:

    LN  -s  /cygdrive/d/Program\ Files/Java/jdk1.6.0_26  /usr/local/jdk

   然后在hadoop-env.sh里面对应的选项修成:

     # The java implementation to use.  Required.
     export JAVA_HOME="/usr/local/jdk"

   就可以了。

分享到:
评论

相关推荐

    Hadoop使用常见问题以及解决方法

    但是在使用 Hadoop 时,经常会遇到一些常见的问题,本文将对这些问题进行总结和解决。 Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES 在 Hadoop 中,Shuffle Error 是一个常见的问题,主要是由于系统默认的...

    hadoop常见问题及解决方法

    hadoop常见问题及解决方法 Hadoop是大数据处理的重要工具,但是在安装和使用Hadoop时,可能会出现一些常见的问题,这些问题可能会导致Hadoop无法正常工作,或者无法达到预期的性能。下面是Hadoop常见的问题及解决...

    hadoop常见问题及解决办法

    然而,在使用Hadoop时,经常会遇到一些常见的问题,这些问题可能会导致Hadoop集群无法正常工作或者性能下降。因此,本文总结了一些常见的问题及解决办法,以帮助用户更好地使用Hadoop。 问题1:Shuffle Error: ...

    hadoop集群遇到的问题及其解决方法

    ### Hadoop集群遇到的问题及其解决方法 #### 异常一:DataNode无法连接到NameNode **问题描述:** 在Hadoop集群部署过程中,经常会出现DataNode无法成功连接到NameNode的情况,导致集群无法正常启动。 **原因分析...

    hadoop节点问题.docx

    在Hadoop集群环境中,启动过程中可能会遇到某些关键节点未能正常启动的问题。例如,在启动Hadoop集群时,可能会遇到NameNode无法正常启动的情况。此类问题可能由多种因素引起,包括配置错误、节点ID不匹配等。本文将...

    hadoop中文乱码问题

    【Hadoop中文乱码问题详解】 在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储(HDFS)和分布式计算(MapReduce)的能力。然而,在处理包含中文字符的数据时,用户可能会遇到中文乱码的问题...

    hadoop winutils hadoop.dll

    在使用winutils.exe和hadoop.dll时,可能会遇到一些常见问题,如找不到相关文件的错误、权限问题或版本不兼容等。解决这些问题通常需要检查环境变量设置、确保使用与Hadoop版本匹配的winutils.exe和hadoop.dll,以及...

    hadoop2.7.3 Winutils.exe hadoop.dll

    此外,当遇到性能问题或错误时,了解这些组件可以帮助定位问题所在,进行调试和优化。 总的来说,Hadoop 2.7.3的Winutils.exe和hadoop.dll是Windows环境下运行Hadoop的基础,它们使得大数据处理的技术能够在非Linux...

    hadoop的dll文件 hadoop.zip

    安装或使用Hadoop的dll文件时,可能会遇到一些常见问题,如版本不兼容、路径配置错误或缺失依赖。解决这些问题通常需要检查以下几点: 1. 确保dll文件与Hadoop版本兼容。 2. 检查Java环境是否正确配置,包括JDK版本...

    hadoop使用distcp问题解决

    hadoop使用distcp问题解决 然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。 遇到问题处理

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    - **启动Hadoop时的权限问题**:由于Hadoop的配置通常要求由特定的非`root`用户(如`hadoop`用户)来运行服务,因此当Hadoop安装目录的所有者为`root`时,会导致Datanode在启动时遇到权限问题。 #### 三、解决方案 ...

    成功安装-安装hadoop遇到的问题

    这篇博文"成功安装-安装hadoop遇到的问题"可能提供了一些在实际操作中可能会遇到的难点和解决方案。虽然没有具体的描述内容,但我们可以根据常见的安装问题进行深入探讨。 首先,Hadoop的安装通常涉及到以下几个...

    hadoop2.7.7对应的hadoop.dll,winutils.exe

    在Windows上安装Hadoop时,可能会遇到一些特有的问题,如找不到`hadoop.dll`和`winutils.exe`这两个关键文件。这些文件对于Hadoop在Windows上的正确运行至关重要。 `hadoop.dll`是Hadoop在Windows上运行所需的一个...

    hadoop.dll & winutils.exe For hadoop-2.6.0

    由于Hadoop最初是为Unix-like系统设计的,因此在Windows上的部署和配置通常会遇到一些挑战,`hadoop.dll`的出现正是为了缓解这些问题,使得Hadoop可以在Windows平台顺利运行。 `winutils.exe`是另一个对Windows用户...

    hadoop/bin/hadoop.dll

    在Windows环境下配置Hadoop,可能会遇到一些特定于操作系统的挑战,因为Hadoop最初是为Linux设计的。"hadoop.dll"可能是为了使Hadoop在Windows上运行而编译的一个特定版本,用于支持Hadoop命令行工具或其他依赖项。...

    hadoop环境缺少的hadoop.dll ,winutils.exe包

    在搭建Hadoop环境的过程中,经常会遇到一些特定的依赖问题,比如缺少`hadoop.dll`和`winutils.exe`这两个关键组件。本文将详细介绍这两个文件及其在Hadoop生态系统中的作用,以及如何解决它们缺失的问题。 首先,`...

    win环境 hadoop 3.1.0安装包

    - Windows环境下运行Hadoop可能会遇到权限问题,确保以管理员身份运行命令提示符。 - Hadoop在Windows上运行效率较低,推荐在Linux环境下使用Hadoop以获得更好的性能。 通过以上步骤,你可以在Windows环境中成功...

    hadoop2.6.5中winutils+hadoop

    此外,Windows上的Hadoop安装和调试可能遇到更多问题,如文件权限问题、线程问题等,需要开发者具备一定的解决问题的能力。 总的来说,`winutils.exe`和`hadoop.dll`是Hadoop在Windows上运行的基石,它们使得开发者...

    hadoop基本问题.zip

    本资料“hadoop基本问题.zip”聚焦于解答Hadoop初学者在学习过程中可能会遇到的一些常见问题,旨在帮助他们更好地理解和应用Hadoop。下面我们将深入探讨Hadoop的核心组件、工作原理以及解决常见问题的方法。 一、...

    hadoop插件apache-hadoop-3.1.0-winutils-master.zip

    9. **故障排查**:在Windows上运行Hadoop可能会遇到一些特定的问题,比如文件权限问题、路径格式问题等。熟悉日志文件和错误代码对于解决问题至关重要。 总之,`apache-hadoop-3.1.0-winutils-master.zip`提供了一...

Global site tag (gtag.js) - Google Analytics