1.cygwin的安装:
网上有很多相关的资料,有一篇讲得特别详细!这里先记下了!方便以后查!
地址:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4% A8/blog/item/8832551c7598551f314e15c2.html
2. hadoop的入门实例:
下一面的博文讲得也十分详细,几乎是一步一步的讲解,特别适合入!
地址:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/a0ebb1db953a772033fa1c9a.html
3. 在安装的过过程中还是遇到了两个问题:
第一个:在安装cygwin的时候,win7系统是要设置密码的。在对cygwin进行ssh配置时,老是提示要输入密码,我刚开始时没注意,总是回车忽略,结果总是失败!后来再详细了看了第一篇博文时,才知道win7系统要设置密码。
第二个问题:Java jdk路径有空格的问题。
本人的电脑上的jdk路径:D:\Program Files\Java\jdk1.6.0_26,根据上面第二篇博文说的,要对Program Files改成 'Program Files' ,在实验时被证明是不行的。改成双引号也不行。网上有说用转义字符,貌似也不行,至少在我的电脑上是不行的。
解决方法:
方法一:重新安装JDK,设置成没有空格的路径。个人觉得这个很麻烦!没有尝试,但是应该可以行得通。
方法二:将Windows下的JDK映射到Cygwin中,命令如下:
LN -s /cygdrive/c/Program\ Files/Java/<jre name> /usr/local/<jre name>
其中,
/cygdrive/c/Program\ Files/Java/<jre name>表示在Windows中的JDK路径,
/usr/local/<jre name>表示你想映射到的Cygwin路径。
然后在把JAVA_HOME配置成 export JAVA_HOME="/usr/local/<jre name>"
我的设置是:
在cygwin下面执行:
LN -s /cygdrive/d/Program\ Files/Java/jdk1.6.0_26 /usr/local/jdk
然后在hadoop-env.sh里面对应的选项修成:
# The java implementation to use. Required.
export JAVA_HOME="/usr/local/jdk"
就可以了。
分享到:
相关推荐
但是在使用 Hadoop 时,经常会遇到一些常见的问题,本文将对这些问题进行总结和解决。 Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES 在 Hadoop 中,Shuffle Error 是一个常见的问题,主要是由于系统默认的...
hadoop常见问题及解决方法 Hadoop是大数据处理的重要工具,但是在安装和使用Hadoop时,可能会出现一些常见的问题,这些问题可能会导致Hadoop无法正常工作,或者无法达到预期的性能。下面是Hadoop常见的问题及解决...
然而,在使用Hadoop时,经常会遇到一些常见的问题,这些问题可能会导致Hadoop集群无法正常工作或者性能下降。因此,本文总结了一些常见的问题及解决办法,以帮助用户更好地使用Hadoop。 问题1:Shuffle Error: ...
### Hadoop集群遇到的问题及其解决方法 #### 异常一:DataNode无法连接到NameNode **问题描述:** 在Hadoop集群部署过程中,经常会出现DataNode无法成功连接到NameNode的情况,导致集群无法正常启动。 **原因分析...
在Hadoop集群环境中,启动过程中可能会遇到某些关键节点未能正常启动的问题。例如,在启动Hadoop集群时,可能会遇到NameNode无法正常启动的情况。此类问题可能由多种因素引起,包括配置错误、节点ID不匹配等。本文将...
【Hadoop中文乱码问题详解】 在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储(HDFS)和分布式计算(MapReduce)的能力。然而,在处理包含中文字符的数据时,用户可能会遇到中文乱码的问题...
在使用winutils.exe和hadoop.dll时,可能会遇到一些常见问题,如找不到相关文件的错误、权限问题或版本不兼容等。解决这些问题通常需要检查环境变量设置、确保使用与Hadoop版本匹配的winutils.exe和hadoop.dll,以及...
此外,当遇到性能问题或错误时,了解这些组件可以帮助定位问题所在,进行调试和优化。 总的来说,Hadoop 2.7.3的Winutils.exe和hadoop.dll是Windows环境下运行Hadoop的基础,它们使得大数据处理的技术能够在非Linux...
安装或使用Hadoop的dll文件时,可能会遇到一些常见问题,如版本不兼容、路径配置错误或缺失依赖。解决这些问题通常需要检查以下几点: 1. 确保dll文件与Hadoop版本兼容。 2. 检查Java环境是否正确配置,包括JDK版本...
hadoop使用distcp问题解决 然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。 遇到问题处理
- **启动Hadoop时的权限问题**:由于Hadoop的配置通常要求由特定的非`root`用户(如`hadoop`用户)来运行服务,因此当Hadoop安装目录的所有者为`root`时,会导致Datanode在启动时遇到权限问题。 #### 三、解决方案 ...
这篇博文"成功安装-安装hadoop遇到的问题"可能提供了一些在实际操作中可能会遇到的难点和解决方案。虽然没有具体的描述内容,但我们可以根据常见的安装问题进行深入探讨。 首先,Hadoop的安装通常涉及到以下几个...
在Windows上安装Hadoop时,可能会遇到一些特有的问题,如找不到`hadoop.dll`和`winutils.exe`这两个关键文件。这些文件对于Hadoop在Windows上的正确运行至关重要。 `hadoop.dll`是Hadoop在Windows上运行所需的一个...
由于Hadoop最初是为Unix-like系统设计的,因此在Windows上的部署和配置通常会遇到一些挑战,`hadoop.dll`的出现正是为了缓解这些问题,使得Hadoop可以在Windows平台顺利运行。 `winutils.exe`是另一个对Windows用户...
在Windows环境下配置Hadoop,可能会遇到一些特定于操作系统的挑战,因为Hadoop最初是为Linux设计的。"hadoop.dll"可能是为了使Hadoop在Windows上运行而编译的一个特定版本,用于支持Hadoop命令行工具或其他依赖项。...
在搭建Hadoop环境的过程中,经常会遇到一些特定的依赖问题,比如缺少`hadoop.dll`和`winutils.exe`这两个关键组件。本文将详细介绍这两个文件及其在Hadoop生态系统中的作用,以及如何解决它们缺失的问题。 首先,`...
- Windows环境下运行Hadoop可能会遇到权限问题,确保以管理员身份运行命令提示符。 - Hadoop在Windows上运行效率较低,推荐在Linux环境下使用Hadoop以获得更好的性能。 通过以上步骤,你可以在Windows环境中成功...
此外,Windows上的Hadoop安装和调试可能遇到更多问题,如文件权限问题、线程问题等,需要开发者具备一定的解决问题的能力。 总的来说,`winutils.exe`和`hadoop.dll`是Hadoop在Windows上运行的基石,它们使得开发者...
本资料“hadoop基本问题.zip”聚焦于解答Hadoop初学者在学习过程中可能会遇到的一些常见问题,旨在帮助他们更好地理解和应用Hadoop。下面我们将深入探讨Hadoop的核心组件、工作原理以及解决常见问题的方法。 一、...
9. **故障排查**:在Windows上运行Hadoop可能会遇到一些特定的问题,比如文件权限问题、路径格式问题等。熟悉日志文件和错误代码对于解决问题至关重要。 总之,`apache-hadoop-3.1.0-winutils-master.zip`提供了一...