`

cdh4安全机制之单元测试

 
阅读更多
昨天我从抛异常的切入点去读代码,发现比较晕。然后今天从单元测试的角度去切入:
common的


hdfs的


mapreduce的




首先有些单元测试是跑不起来的。如hdfs下面的单元测试就跑步起来。@董的博客 说是环境的问题,要linux环境。报的错:

2013-06-07 12:17:13,922 WARN  [main] util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable


从其他的单元测试来看,common来看主要是user group token,但是这些基本没怎么看到授权的过程。和kerberos结合的过程也没怎么看明白。 hdfs就看到FsPermission了,但是单元测试的时候是直接构造这个FsPermission的,没看到是怎么来的。mapreduce这个只是测试了下token的cache,感觉对我的意义不大。

总的来说看了之后我感觉意义不大,我现在是比较明白验证的过程了,验证只是这3个,user group 和token。但是这些是怎么授权的,我表示还是比较迷茫,而且和kerberos结合的地方也还不清楚。



貌似auth这个项目有不少安全机制相关的东西,也看了些和kerberos相关的东西,我先看卡这个项目。

看了半天的auth项目的代码,让我很郁闷,这个和hadoop的安全机制其实是没有关系的。只是平常的http的权限控制,当然这个权限也可以用kerberos来做。而且这个http的权限验证的token是会写cookie和去cookie中区验证的。我表示很郁闷。。。。。。
  • 大小: 21.2 KB
  • 大小: 3.3 KB
  • 大小: 8.9 KB
0
3
分享到:
评论

相关推荐

    CDH安全技术方案.docx

    TLS提供了传输层的加密,Kerberos实现了强大的身份验证,Sentry提供了细粒度的数据访问控制,而Hive的集成则将这些安全机制应用到实际的数据操作中。这样的方案为CDH环境提供了全面的安全保障,是大数据平台安全运营...

    cloudera CDH4 installation guide 4.0(pdf)

    相较于早期版本,CDH4在性能、安全性和易用性方面进行了显著提升,支持更广泛的操作系统,并对Hadoop生态系统的多个组件进行了集成和优化。 ### 支持的操作系统 在安装CDH4前,了解其支持的操作系统至关重要。CDH4...

    CDH5.9.0宽表性能测试

    ### CDH5.9.0宽表性能测试分析 #### 一、测试环境与配置 在本次测试中,我们使用的部署环境为Cloudera Distribution Including Hadoop (CDH) 5.9.0版本。该环境的具体配置如下: - **DataNode节点**:共有5个节点...

    CDH4.3.0 HDFS 读写性能测试

    标题“CDH4.3.0 HDFS 读写性能测试”指的是针对Cloudera Distribution Including Apache Hadoop(CDH)版本4.3.0的HDFS(Hadoop Distributed File System)进行的一项性能评估。HDFS是Apache Hadoop项目的核心组件之...

    hadoop-cdh4-0.3.zip

    1. **Hadoop CDH4**: CDH4是Cloudera公司的Hadoop发行版,包含了一系列经过测试和集成的Hadoop生态组件,如HDFS、MapReduce、YARN、HBase、Hive等,提供了企业级的稳定性和安全性。 2. **Presto**: Presto是一个高...

    CDH+集群安全启动和关闭.doc

    ### CDH集群安全启动与关闭知识点详解 #### 一、CDH集群简介 Cloudera Distribution Including Apache Hadoop (CDH) 是一个基于Apache Hadoop的企业级大数据平台,由Cloudera公司提供支持和服务。CDH集成了众多...

    CDH之ZK升级.doc

    ### CDH之ZK升级知识点详解 #### 一、背景介绍 在大数据处理与分析领域,Cloudera Distribution Including Hadoop (CDH) 是一款非常流行的企业级Hadoop发行版,它集成了众多开源项目来提供高效的数据处理能力。...

    CDH6.3.2之升级spark-3.3.1.doc

    2. **测试验证**:在正式环境中部署前,应在测试环境中进行全面的功能和性能测试。 3. **安全设置**:如果集群中有安全设置(如Kerberos认证),需要确保新的Spark版本也支持这些设置。 4. **资源管理**:升级后可能...

    presto-hive-cdh4-0.69.zip

    《Presto-Hive-CDH4:大数据SQL查询引擎的开源之旅》 Presto,这个由Facebook开源的大数据查询引擎,以其高效、灵活和可扩展性在大数据领域赢得了广泛的认可。尤其在处理PB级别的大规模数据时,Presto展现出了卓越...

    CDH6.3.2集成flink1.14.5 parcel

    "Parcel"是CDH中用于分发和管理软件包的一种机制,类似于RPM或DEB包。 在描述中提到“实测可用,自己编译的”,意味着这个集成已经过实际测试,证明可以正常工作,并且Flink 1.14.5是作者自行编译以适应CDH 6.3.2...

    cdh hadoop官方安装文档

    3. **安装CDH4之前的准备工作(BEFORE YOU INSTALL CDH4 ON A CLUSTER)** 4. **支持的操作系统(SUPPORTED OPERATING SYSTEMS FOR CDH4)** 5. **CDH4安装流程(CDH4 INSTALLATION)** 6. **CDH4与MapReduce(CDH4 ...

    CDH6.3.2安装包下载

    由于CSDN上传文件大小限制,大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载,我打包了CDH6.3.2 搭建所需要的各种安装文件,包括: manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-...

    cdh6.3.2 集成 Phoenix

    在大数据处理领域,CDH(Cloudera Distribution Including Apache Hadoop)是一款广泛使用的开源大数据平台,它包含了Hadoop生态系统中的多个组件,如HDFS、YARN、MapReduce、Hive等。而Phoenix是一个针对HBase的SQL...

    CDH5.12&CDH6.0安装文档.zip

    总结,CDH5.12和CDH6.0的安装过程虽然大体相似,但CDH6.0引入了更多新特性,对系统的安全性和性能进行了优化。熟练掌握这两个版本的安装,对于理解和管理大数据集群至关重要。通过不断的学习和交流,我们可以更好地...

    ubuntu-CDH6.3.2完整安装包网盘下载地址

    CDH6.3.2完整安装包网盘下载,包含 CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha1、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha256、CDH-6.3.2-1....

    CDH5.12.0资源下载

    CDH5.12.0

    Cloudera CDH集群运维手册

    9. **版本升级与维护**:随着新版本的发布,手册还会介绍如何安全地升级CDH,以保持系统的最新功能和安全性。 10. **最佳实践**:手册最后可能会总结一些运维的最佳实践,帮助读者避免常见错误,提升运维效率。 这...

    适配CDH6.3.2的Spark3.2.2

    9. **安全性**:Spark3.2.2加强了与Kerberos的集成,提供了更好的身份验证和授权机制,以满足企业级的安全需求。 10. **监控和诊断**:新增了更丰富的指标和日志,帮助用户监控和诊断Spark作业的运行状况,更快定位...

    CDH7.1.5离线安装包下载

    CDH7及以上版本已经更名为CDP 本资源打包了CDH7.1.5 搭建所需要的各种安装文件,包括: cm7.2.4-redhat7.tar.gz manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7....

    CDH6离线安装 -

    CDH6引入了新的部署机制和架构调整,包括服务的管理和集群的监控,这些都与之前的版本有所不同。 在开始离线安装之前,需要准备操作系统环境,确保满足安装前的环境要求。这通常包括安装JDK、Python等基础组件,并...

Global site tag (gtag.js) - Google Analytics