`
Taoo
  • 浏览: 293864 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

oozie运行hive以及hive的udf

 
阅读更多

一,
执行hiveAction除了需要配置oozie.hive.defaults外,还需要配置几个hive的参数。
这点我不是很理解,以为只要在hive-site.xml里面配置了,就完事了,结果不行,还需要单独配置,而且oozie.hive.defaults不配置还不行。
配置如下:
<property>
    <name>oozie.hive.defaults</name>
    <value>my-hive-default.xml</value>
</property>

<property>
  <name>hive.metastore.local</name>
  <value>false</value>
  <description>controls whether to connect to remove metastore server or open a new metastore server in Hive Client JVM</description>
</property>

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://xx.xx.xx.xx:9083</value>
  <description>host and port for the thrift metastore server</description>
</property>

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/hive/warehouse0</value>
  <description>location of default database for the warehouse</description>
</property>




二,
执行hive的udf时,不需要在hive脚本里面写add /xxx/xxx/xxx/HIVE_UDF.jar.
只要保证这个HIVE_UDF.jar在sharelib里面,或者file指定应该也行(这个没试,猜的)。
那个create temporary function xxxxx as 'yyy';还是要在脚本里面写的。
分享到:
评论
1 楼 yxl040840219 2012-10-09  
能说下详细的流程么? 我在配置是 出现
Error: E0701 : E0701: XML schema error, cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found for element 'hive'.

相关推荐

    Hive编程指南+HIVE从入门到精通+Hive高级编程+Apache Oozie

    4. **视图与UDF**: 视图简化了复杂查询,而用户自定义函数(UDF)允许用户扩展Hive的功能。 5. **Hive与Hadoop的交互**: 了解如何在Hadoop集群上部署和配置Hive,以及如何通过HDFS交互数据。 **Hive从入门到精通** ...

    apache-hive-2.3.9-bin.tar大数据HIVE.zip

    6. **存储过程(UDF,UDAF,UDTF)**:Hive支持用户自定义函数(UDF),用户定义聚合函数(UDAF)和用户定义表生成函数(UDTF),允许扩展Hive的功能。 7. **连接Hadoop生态系统**:Hive与Hadoop生态系统的其他组件...

    Hive编程指南-2013.12.pdf

    除了基本功能,Hive还支持UDF(用户自定义函数)、UDAF(用户自定义聚合函数)和UDTF(用户自定义表生成函数),允许用户扩展HQL的功能。此外,Hive on Tez或Hive on Spark等执行引擎的引入,进一步提高了查询性能。...

    hive面试题(Hadoop)

    - Azkaban和Oozie都是流行的工作流调度工具,它们能够帮助管理和自动化执行一系列Hive SQL和其他相关任务。 #### 监控机制 - 使用相应的监控工具或界面来跟踪和监控任务执行的状态。 ### ORC与Parquet列式存储的...

    大数据面试二:hive

    - Hive 支持处理 JSON 数据,但需要借助 UDF(用户自定义函数)如 LATERAL VIEW 或使用 Hive 的内置 JSON 解析函数进行解析。 理解并掌握这些知识点对于在大数据面试中展示对Hive的深入理解和应用能力至关重要。...

    data-request-lgd:带Oozie Client的Spring Web应用程序

    数据请求LGD 基于Spring Boot的REST API,用于提交和监视Oozie工作流程 Oozie工作流程是通过OozieClient API提交...pig包含了Oozie工作流程,HiveQL脚本,猪作业脚本和猪的UDF工作 包含执行刷新/无效语句的jar的impala

    大数据、云计算系统高级架构师课程学习路线图.pdf

    Sqoop、Flume、Oozie 是大数据领域中常用的数据协作框架,本部分课程旨在帮助学员掌握 Sqoop、Flume、Oozie 的核心技术,涵盖了 Sqoop 的功能、使用原则、将 RDBMS 数据导入 Hive 表中、将 HDFS 上文件导出到 RDBMS ...

    7-2+BIGO海量数据的Ad-Hoc分析实践与改进.pdf

    同时,他们还处理了反引号、双引号、隐式转换、创建表差异、创建视图等问题,以及各种自定义函数(UDF)的兼容性问题。 在实现Presto的高可用性方面,BIGO改进了原有的架构,引入了Proxy服务器和负载均衡机制。原来...

    hadoop-2.9.0.tar.gz

    在Hadoop 2.9.0中,Pig可能有性能提升和新的UDF(用户自定义函数)支持。 8. ZooKeeper:ZooKeeper是一个分布式协调服务,用于管理大型分布式系统的配置信息、命名服务和同步。Hadoop 2.9.0中,ZooKeeper可能提供了...

    hadoop权威指南(第2版)PDF

    本书不仅涵盖了这些核心技术,还讲解了Hadoop集群的安装、配置、管理和监控,以及如何解决实际运行中遇到的问题。此外,书中还介绍了其他相关的项目,如Zookeeper(分布式协调服务)、Sqoop(数据导入导出工具)和...

    Hadoop权威指南中文第二版

    此外,Pig的性能优化、UDF(用户定义函数)的使用以及Pig与Hive等其他工具的集成也是可能讨论的主题。 除了以上核心内容,书中的其他章节可能还会涉及Hadoop生态系统的其他组件,如HBase(分布式数据库)、Hive...

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    技术点3 使用Oozie 定期执行数据导入活动 2.2.3 从数据库中拉数据 技术点4 使用MapReduce 将数据导入数据库 技术点5 使用Sqoop 从MySQL 导入数据 2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将...

    国内第一部hadoop面试葵花宝典

    4. Hive:提供SQL-like查询接口,用于处理结构化数据,学习HQL语法和Hive表的管理是基础。 5. Pig:Pig Latin语言简化了大规模数据处理,理解其工作流和UDF(用户定义函数)的编写。 6. HBase:基于HDFS的NoSQL...

    【面试宝典】2021年超全超详细的最新大数据开发面试题,附答案解析(一版).pdf

    - 使用Oozie、Azkaban等工具实现Hive查询的调度。 **4. ORC、Parquet等列式存储的优点** - 支持列级别数据压缩。 - 加速查询响应时间。 - 减少磁盘I/O。 **5. 数据建模使用的模型** - 星型模型、雪花模型等。 *...

    hadoop_the_definitive_guide_3nd_edition

    Apache Oozie 182 6. How MapReduce Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 Anatomy of a MapReduce Job Run 187 Classic MapReduce ...

    Spark分布式内存计算框架视频教程

    8.Oozie和Hue集成调度Spark 应用 第五章、SparkStreaming 模块 1.Streaming流式应用概述 2.Streaming 计算模式 3.SparkStreaming计算思路 4.入门案例 5.SparkStreaming工作原理 6.DStream及函数 7.集成Kafka 8.案例...

    思科—大数据

    2. **开发效率的提升**:通过使用Hive和Pig的用户定义函数(UDF)库,开发人员的工作效率得到了显著提高。 3. **作业调度的简化**:Cisco TES的使用极大地简化了作业调度和流程协调的过程。 4. **内部人才培养**:思科...

Global site tag (gtag.js) - Google Analytics