`
Taoo
  • 浏览: 293856 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop 2.0.1-alpha上部署 oozie-3.2.0

 
阅读更多
不知道为什么bin/addwar.sh里面说只支持0.20.x,
于是修改这个文件,addhadoopjar函数里面添加内容,修改后的函数为:

#get the list of hadoop jars that will be injected based on the hadoop version
function getHadoopJars() {
  version=$1
  hadoopVer=$version
  if [ "${version}" = "0.20.1" ]; then
    #List is separated by ":"
    hadoopJars="hadoop*core*.jar"
  elif [ "${version}" = "0.20.2" ]; then
    #List is separated by ":"
    hadoopJars="hadoop*core*.jar"
  elif [ "${version}" = "0.20.104" ]; then
    #List is separated by ":"
    hadoopJars="hadoop*core*.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar"
  elif [ "${version}" = "0.20.200" ]; then
    #List is separated by ":"
    hadoopJars="hadoop*core*.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar:commons-configuration-*.jar"
  elif [ "${version}" = "2.0.1-alpha" ]; then
    #List is separated by ":"
    hadoopJars="hadoop-common-${version}.jar:hadoop-hdfs-${version}.jar:hadoop-mapreduce-${version}.jar:hadoop-mapreduce-client-app-${version}.jar:hadoop-mapreduce-client-common-${version}.jar:hadoop-mapreduce-client-core-${version}.jar:hadoop-mapreduce-client-hs-${version}.jar:hadoop-mapreduce-client-jobclient-${version}.jar:hadoop-mapreduce-client-shuffle-${version}.jar::hadoop-yarn-api-${version}.jar:hadoop-yarn-applications-distributedshell-${version}.jar:hadoop-yarn-common-${version}.jar:hadoop-yarn-server-common-${version}.jar:hadoop-yarn-server-nodemanager-${version}.jar:hadoop-yarn-server-resourcemanager-${version}.jar:hadoop-yarn-server-web-proxy-${version}.jar:hadoop-yarn-site-${version}.jar::hadoop-archives-${version}.jar:hadoop-distcp-${version}.jar:hadoop-extras-${version}.jar:hadoop-rumen-${version}.jar:hadoop-streaming-${version}.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar:commons-configuration-*.jar"
  else
    echo
    echo "Exiting: Unsupported Hadoop version '${hadoopVer}', supported versions: 0.20.1, 0.20.2, 0.20.104 0.20.200 and 2.0.1-alpha"
    echo
    cleanUp
    exit -1;
  fi
}

分享到:
评论

相关推荐

    spark-3.2.0-bin-hadoop3-without-hive

    《Spark 3.2.0 与 Hadoop 3 的集成——无 Hive 版本解析》 Spark,作为大数据处理领域的重要工具,以其高效的内存计算和分布式数据处理能力备受青睐。Spark 3.2.0 是一个重要的版本更新,它在性能、稳定性和功能上...

    spark-3.2.0-bin-hadoop3.2.tgz

    4. **Kubernetes集成**:Spark 3.2.0增强了对Kubernetes的原生支持,可以更方便地在Kubernetes集群上部署和运行Spark作业。 5. **新功能**:引入了新的DataFrame API,如`explode`函数的改进,以及支持时间旅行...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip

    这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.zip" 包含的是Sqoop 1.4.6版本,针对Hadoop 2.0.4-alpha版本优化的二进制发行版。 **Sqoop 的核心功能:** 1. **数据导入**:Sqoop 提供了命令行接口,可以将结构...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

    这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本,它已针对 Hadoop 2.0.4-alpha 版本进行了优化。让我们深入了解一下 Sqoop 的核心功能、工作原理以及如何在 Hadoop 环境中...

    hadoop-3.2.0.tar.gz

    在解压并分析`hadoop-3.2.0`这个压缩包时,我们可以找到源代码、配置文件、文档、示例程序等多个组成部分,这对于深入理解和使用Hadoop 3.2.0至关重要。通过阅读源代码,开发者可以了解其实现原理;配置文件则帮助...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha

    标题 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha" 指的是Sqoop的一个特定版本,即1.4.6,同时这个版本是为与Hadoop 2.0.4-alpha兼容而编译的。Hadoop 2.0.4-alpha是Hadoop 2.x系列的一个早期版本,引入了YARN(Yet ...

    sqoop-1.4.6.bin-hadoop-2.0.4-alpha版本的压缩包,直接下载到本地,解压后即可使用

    Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。sqoop是什么? sqoop是个传输数据的工具。 ...

    sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar

    这个压缩包 "sqoop-1.4.2.bin__hadoop-2.0.0-alpha.tar" 提供的是 Sqoop 1.4.2 版本,适用于与 Hadoop 2.0.0-alpha 版本集成。以下是对这个版本 Sqoop 的详细介绍以及相关的知识点: 1. **Sqoop 的作用**:Sqoop 是...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha安装包

    Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将关系数据库管理系统(RDBMS)中的数据导入Hadoop分布式文件系统(HDFS),转换Hadoop MapReduce中的数据,然后将数据导出回RDBMS...

    hadoop-3.2.0部署及相关工具

    1. **安装插件**:将hadoop-eclipse-plugin库导入Eclipse的插件目录,或者通过Eclipse的Marketplace搜索并安装。 2. **配置插件**:在Eclipse的Window > Preferences > Hadoop Map/Reduce界面,设置Hadoop的安装...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip

    这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.zip" 包含了 Sqoop 1.4.6 版本,该版本是为 Hadoop 2.0.4-alpha 版本定制的。Sqoop 的主要功能是让大数据分析师和开发人员能够方便地导入和导出数据,它弥补了...

    hadoop-2.0.5-alpha.tar.gz

    根据提供的文件信息:“hadoop-2.0.5-alpha.tar.gz”,我们将深入探讨与该版本Hadoop相关的知识点。 ### Hadoop 2.0.5-alpha 版本概述 Hadoop 是一个开源软件框架,用于分布式存储和处理大规模数据集。它能够通过...

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    为了方便开发者在Eclipse或MyEclipse这样的集成开发环境中高效地进行Hadoop应用开发,Hadoop-Eclipse-Plugin应运而生。这个插件允许开发者直接在IDE中对Hadoop集群进行操作,如创建、编辑和运行MapReduce任务,极大...

    hadoop_sqoop-1.4.6.bin__hadoop-2.0.4-alpha.rar limux用

    首先,我们来看一下标题中的"hadoop_sqoop-1.4.6.bin__hadoop-2.0.4-alpha.rar",这表明我们将要操作的是Hadoop_Sqoop的1.4.6版本,这是针对Hadoop 2.0.4-alpha版本的一个特别打包。这个rar压缩文件包含了所有必要的...

    flink-1.0.3-bin-hadoop27-scala_2

    《Apache Flink 1.0.3:大数据处理框架与Hadoop 2.7和Scala 2的结合》 Apache Flink是一个开源流处理和批处理框架,它在大数据领域扮演着重要的角色。标题中的“flink-1.0.3-bin-hadoop27-scala_2”揭示了我们讨论...

    hadoop-3.0.0-alpha1-src.tar.gz 源码

    这个源码压缩包“hadoop-3.0.0-alpha1-src.tar.gz”包含了Hadoop项目在3.0.0-alpha1版本的全部源代码,这对于开发者、研究人员和学习者来说是一个宝贵的资源。它允许用户深入理解Hadoop的内部工作原理,定制化开发,...

    Apache Hadoop---Oozie.docx

    Apache Hadoop 中,Oozie 是一个至关重要的组件,它是一个开源的工作流调度引擎,专门设计用于管理和协调在Hadoop生态系统中的各种作业。Oozie 由Cloudera公司贡献给Apache社区,它是一个基于工作流引擎的系统,能够...

    hbase-hadoop2-compat-1.2.12-API文档-中文版.zip

    赠送jar包:hbase-hadoop2-compat-1.2.12.jar; 赠送原API文档:hbase-hadoop2-compat-1.2.12-javadoc.jar; 赠送源代码:hbase-hadoop2-compat-1.2.12-sources.jar; 赠送Maven依赖信息文件:hbase-hadoop2-compat-...

    HadoopIntellijIDEAPlugin-hadoop3.0.0-alpha2

    标题中的“HadoopIntellijIDEAPlugin-hadoop3.0.0-alpha2”指的是一个针对IntelliJ IDEA集成开发环境的插件,该插件专为Hadoop 3.0.0-alpha2版本设计。Hadoop是一个开源的分布式计算框架,主要用于处理和存储大量...

Global site tag (gtag.js) - Google Analytics