`
heipark
  • 浏览: 2094681 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

cloudera cdh中hadoop-client包的作用

 
阅读更多

hadoop-client是为了让开发者可以很方便的使用当前节点hadoop的jar包,ch4版本的hadoop将目录分为“/usr/lib/hadoop-hdfs”、“/usr/lib/hadoop-mapreduce”,“/usr/lib/hadoop-yarn”等多个目录,这样引用jar包也会比较麻烦。通过yum安装hadoop-client后会生成软链接:

 

  • MRv1:/usr/lib/hadoop/client-0.20
  • YARN:/usr/lib/hadoop/client

如果你的java应用需要引用这些系统jar包只需要下面的调用就可以了:

 

java -cp /usr/lib/hadoop/client/*:your.jar com.xx.xxx Main

当然你也可以使用maven将hadoop相关依赖jar都打到你的项目里面。 

 

--end

分享到:
评论
1 楼 lookqlp 2014-03-07  
请问,client不是集群的一个节点吧?   安装client的时候是独立安装的吗

相关推荐

    hadoop-2.6.0-cdh5.10.0.tar.gz

    这个版本的Hadoop由Cloudera公司作为CDH(Cloudera Distribution Including Apache Hadoop)的一部分进行打包和维护,CDH是一个企业级的大数据平台。 在Hadoop 2.x系列中,最重要的改进是引入了YARN(Yet Another ...

    impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip

    在IT行业中,Impala、Hive和HBase是大数据处理领域的重要组件,它们与Hadoop紧密相连,构建了CDH(Cloudera Distribution Including Apache Hadoop)生态系统的一部分。本压缩包"impala依赖cdh版本的hadoop-hbase-...

    phoenix-4.14.0-cdh5.13.2-client.jarphoenix-4.14.0-cdh5.13.2-ser

    在4.14.0这个版本中,Phoenix与CDH(Cloudera Distribution Including Apache Hadoop)5.13.2兼容,这是一款流行的Hadoop发行版。 描述中提到的问题在于,当使用Phoenix异步创建索引时,所有索引名称会被转换为大写...

    apache atlas2.1.0 整合CDH6.3.2编译安装包

    这个压缩包是针对CDH(Cloudera Distribution Including Apache Hadoop)6.3.2 版本进行整合编译的,CDH是一个广泛使用的Hadoop生态系统的企业级发行版。 CDH 6.3.2 包含了Hadoop生态系统中的多个组件,如HDFS、...

    hadoop-CDH4.6-install.docx

    Cloudera Distribution Including Apache Hadoop (CDH) 是一个经过测试、集成、支持的企业级 Hadoop 发行版。CDH4 是该系列的一个重要版本,提供了许多新特性和改进。 **CDH4 新特性** - **HDFS HA (High ...

    apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz

    Cloudera Data Hub (CDH) 是一个集成了多个大数据处理组件的平台,包括 Hadoop、HBase 和其他相关服务。CDH 5.14.2 是这个平台的一个特定版本,提供了对大数据处理的全面解决方案。 4. **解压后的文件结构**: - ...

    CDH5.13-phoenix-4.11.0-HBase-1.2源码包 编译可用

    本文将详细介绍如何编译CDH5.13中的Phoenix 4.11.0-HBase 1.2源码包。 首先,我们需要从Apache官方仓库获取Phoenix 4.14.0-cdh5.13.2的parcels资源,这是与CDH5.13兼容的版本。在官方下载页面...

    phoenix_cdh.rar

    本文将重点讨论在CDH(Cloudera Distribution Including Apache Hadoop)平台上,如何利用Phoenix5.0.0-cdh6.2.0版本进行高效的数据操作。 首先,理解CDH是关键。CDH是Cloudera公司提供的一个开源大数据平台,包含...

    CDH5.5.7离线部署文档

    - MySQL客户端和服务器端的RPM包分别下载自官方链接,例如MySQL-client-5.6.25-1.el6.x86_64.rpm和MySQL-server-5.6.25-1.el6.x86_64.rpm,这些文件将用于搭建数据库管理系统,用于Cloudera Manager的后端存储。...

    Docker搭建大数据平台CDH

    docker run --name cdh --hostname=quickstart.cloudera --privileged=true -t -i -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:...

    cdh5.3.10离线安装手册

    个人总结的cdh安装手册 可以从cdh上下载: CDH-5.3.10-1.cdh5.3.10.p0.19-el6.parcel ...MySQL-client-5.5.50-1.el6.x86_64.rpm MySQL-devel-5.5.50-1.el6.x86_64.rpm MySQL-server-5.5.50-1.el6.x86_64.rpm

    hadoop-ms.docx

    ### Hadoop核心组件及其运作机制 ...以上知识点涵盖了Hadoop的基础架构、核心组件的功能及其实现机制,以及在实际部署和运维过程中需要注意的关键细节。这些知识对于理解和应用Hadoop技术至关重要。

    hadoop 2.5.0 编译snappy

    注意,这里特别提到不支持CDH(Cloudera Distribution Including Apache Hadoop)版本,因为CDH通常包含了预编译的Snappy库和其他特定的配置,直接使用编译的Snappy可能会导致兼容性问题,从而出现错误。 在实际...

    zookeeper-3.4.5-cdh5.15.2.tar.gz

    在大数据领域,Zookeeper扮演着至关重要的角色,特别是在CDH(Cloudera Distribution Including Apache Hadoop)这样的企业级Hadoop发行版中,Zookeeper 3.4.5-cdh5.15.2是其重要组成部分。 Zookeeper的核心特性...

    Cloudera Manager API v14 中文

    - **作用**:此命令将为集群中的所有相关服务配置使用 Kerberos,同时触发 GenerateCredentials 命令为所有角色创建 Kerberos 密钥表。 - **背景**:在没有 Kerberos 认证的情况下,任何客户端都可以连接到 Hadoop ...

    CDH6.2-完整版安装文档.doc

    CDH(Cloudera Distribution Including Apache Hadoop)是Cloudera公司提供的一款全面的大数据平台,包含了多个开源项目,如Hadoop、Spark、HBase等,用于构建、管理和运行大规模数据处理应用。在CDH6.2版本中,我们...

    CDH5.4.7安装部署手册

    - **CDH (Cloudera Distributed Hadoop)**: 这是由Cloudera公司重新打包并发布的一个Hadoop发行版。相比于原生Hadoop, CDH在稳定性、兼容性和易用性方面都有所提升,适用于大规模的数据处理场景。 - **Cloudera ...

    hbase-1.2.0-cdh5.14.2.tar.gz

    在CDH(Cloudera Distribution Including Apache Hadoop)5.14.2这个关键版本中,HBase的1.2.0版本扮演了重要的角色。这个版本不仅为企业提供了稳定的数据存储和处理能力,而且是许多用户依赖的关键基础设施。然而,...

    第一个Mapreduce程序.pdf

    编写MapReduce程序通常需要以下jar包:hadoop-client, hadoop-common, hadoop-hdfs, hadoop-mapreduce-client-core和commons-cli。这些jar包可以通过Maven的pom文件来导入,从而确保代码能够正常编译和运行。 接...

Global site tag (gtag.js) - Google Analytics