使用kerberos的hadoop集群,如果在kerberos配置文件正确,但访问hdfs报错:
WARN ipc.Client: Exception encountered while connecting to the server : javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
Bad connection to FS. command aborted. exception: Call to localhost/127.0.0.1:8020 failed on local exception: java.io.IOException: javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]
那就看看你的java版本,是否大于等于jdk 6 update 26。
换成jdk 6 25的就能解决。
分享到:
相关推荐
Hadoop2.0与Kerberos的结合是一种提升Hadoop集群安全性的配置方式,它通过使用Kerberos认证协议来实现服务间的认证。Kerberos是一种网络认证协议,它允许一台主机证明它的身份给另一台主机,而无需共享密钥。以下是...
Kerberos支持使用AES-256算法进行数据加密,这要求集群中的所有节点以及Hadoop用户机器上都安装了Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy File。具体步骤如下: 1. 下载JCE文件...
2.1 使用软件版本信息介绍 2.2 节点架构介绍 2.3 基础系统环境准备 第三章 Kerberos框架搭建 3.1 Kerberos Server搭建 3.2 Kerberos Client搭建 3.3 规划principal 第四章 配置HDFS和Kerberos的集成 第五章 配置YARN...
- **跨语言支持**:增加了对Java以外的语言支持,如Python和C++,使得非Java开发者也能轻松使用Hadoop。 这两个版本的组合包意味着用户可以同时体验到2.2.0和2.7.1带来的不同特性和改进。对于开发者来说,这有助于...
本压缩包文件包含了实现Hadoop与Kerberos快速集成所需的所有必要组件和脚本,使得这个过程变得简单高效。 首先,`hadoop-2.7.2.tar.gz`是Hadoop的二进制发行版,其中包含了Hadoop的核心组件,如HDFS(Hadoop ...
Java整合Spring和Hadoop HDFS是一项常见的任务,特别是在大数据处理和分布式存储的场景下。这里,我们将深入探讨这个主题,了解如何将这三个关键技术融合在一起。 首先,Java是编写应用程序的通用编程语言,它提供...
6. `kinit`: Kerberos身份验证工具,Hadoop常使用Kerberos进行安全认证。 7. `klist`: 显示Kerberos票证信息的工具。 8. `ktutil`: Kerberos密钥表管理工具,用于导入、导出和编辑Kerberos密钥表。 此外,可能还...
2. **Hadoop在Windows上的挑战**:Hadoop原本是为Linux设计的,但在Windows上运行需要额外的配置,如安装Cygwin或使用Windows-specific版本,如这里提供的2.6.5版本。 3. **配置环境变量**:`readme`文件将指导你...
在Linux系统中,Hadoop可以直接使用shell脚本来操作,但在Windows环境下,由于缺乏与Hadoop交互所需的某些系统工具,需要额外的组件。`hadoop.dll`是一个动态链接库文件,用于Windows平台上的Hadoop Java API调用。...
3. 安全性保障:启用Hadoop的安全模式,如Kerberos认证,保护数据安全。 总之,Hadoop 2.7.2在Linux环境下的应用,不仅为我们提供了高效的数据存储和处理能力,还通过丰富的生态系统组件满足了多样化的大数据需求。...
标题和描述中提到的是Hadoop 3.1.3版本的安装包以及对应的Java开发工具包(JDK)8u212的Linux 64位版本,同时附带了已经预配置好的Hadoop配置文件。这些文件是用于在Linux环境中搭建和运行Hadoop分布式文件系统...
它包含了Hadoop运行所需的函数库,使得Java编写的Hadoop程序能够调用操作系统级别的功能,如文件系统操作、网络通信等。在Windows上,由于与Linux系统的差异,需要这样的DLL文件来桥接Java和底层操作系统。 2. **...
Hadoop是大数据处理领域的一个核心框架,其设计目标是实现分布式存储和计算,使得海量数据的处理变得...不同版本的Hadoop Common在功能、性能和安全性方面有所差异,用户应根据实际需求选择合适的版本进行部署和使用。
6. **兼容性**:确保使用的Hadoop版本与其他依赖库(如Hive、Pig等)兼容,避免版本冲突。 总的来说,Hadoop 2.7.4的Windows版本提供了一套完整的开发和测试环境,使得开发者能够在Windows平台上进行Hadoop相关的...
Java Web程序调用Hadoop 2.6是一个关键的技术整合,它允许Web应用程序与Hadoop分布式文件系统(HDFS)和MapReduce框架交互,以处理大规模数据。在本示例中,我们将深入探讨如何实现这一集成,以及涉及的关键概念和...
在大数据处理领域,Hadoop是一个不可或缺的开源框架,主要用于存储和处理海量数据。要与Hadoop集群进行交互,开发人员通常需要将特定的Java库(jar...因此,在选择jar包时,务必了解你的Hadoop环境,并选择匹配的版本。
标题 "hadoop2.6 hadoop.dll+winutils.exe" 提到的是Hadoop 2.6版本中的两个关键...不过,值得注意的是,尽管可以这样做,但在生产环境中,由于Windows的兼容性和性能问题,更推荐使用原生的Linux环境来运行Hadoop。
在Java编程环境中,Hadoop分布式文件系统(HDFS)提供了丰富的Java API,使得开发者能够方便地与HDFS进行交互,包括文件的上传、下载、读写等操作。本篇文章将详细探讨如何使用HDFS Java API来实现文件上传的功能。 ...
7. **运行MapReduce程序**:在Windows上,开发者可以使用Java编写MapReduce程序,并通过Hadoop的`hadoop jar`命令提交执行。同时,Hadoop也支持其他编程语言如Python(通过Pydoop)和Scala(通过Scalding或Spark)。...
在Linux环境中,通过修改`hadoop-env.sh`文件,设置`JAVA_HOME`指向JDK 1.8的安装路径,从而确保Hadoop使用正确的Java环境运行。 在集群模式下,还需配置 slaves 文件,列出所有数据节点的主机名,并确保所有节点间...