hive官方https://cwiki.apache.org/confluence/display/Hive/LanguageManual+LateralView
说
Prior to Hive 0.6.0, lateral view did not support the predicate push-down optimization. In Hive 0.5.0 and earlier, if you used a WHERE clause your query may not have compiled. A workaround was to add set hive.optimize.ppd=false; before your query. The fix was made in Hive 0.6.0; see https://issues.apache.org/jira/browse/HIVE-1056: Predicate push down does not work with UDTF's.
在0.5.0版本前使用hive.optimize.ppd=false是能解决where条件不识别的。但我在使用0.9.0版本时使用了该参数,导致where不识别。
不使用参数日志:
Starting Job = job_201312261829_7430, Tracking URL = http://master:50030/jobdetails.jsp?jobid=job_201312261829_7430
Kill Command = /home/hadoop/hadoop-1.0.3/libexec/../bin/hadoop job -Dmapred.job.tracker=master:8021 -kill job_201312261829_7430
Hadoop job information for Stage-1: number of mappers: 90; number of reducers: 287
使用该参数日志:
Starting Job = job_201312261829_7433, Tracking URL = http://master:50030/jobdetails.jsp?jobid=job_201312261829_7433
Kill Command = /home/hadoop/hadoop-1.0.3/libexec/../bin/hadoop job -Dmapred.job.tracker=master:8021 -kill job_201312261829_7433
Hadoop job information for Stage-1: number of mappers: 4363; number of reducers: 999
所以在新版本的hive中使用hive.optimize.ppd=true;默认值即可
分享到:
相关推荐
- `set hive.optimize.ppd=true;` 开启谓词下推功能。谓词下推是一种优化技术,它将查询条件尽可能地推送到数据源层进行过滤,从而减少不必要的数据传输和处理开销。 2. **动态分区参数**: - `set hive.exec....
- 在 Hive 3.x 版本中,默认情况下不允许运行时修改 `hive.query.redaction.rules` 这样的配置项,因为这类参数通常涉及到安全性和系统稳定性,更改可能会导致不可预知的行为。 3. **版本兼容性问题**: - 当从旧...
* 设置倾斜的阈值:set hive.optimize.skewjoin = true;set hive.skewjoin.key = skew_key_threshold; * 对异常值赋一个随机值来分散Key:select userid, name from user_info a join (select case when userid is ...
解决安装hive后,没有hive-site.xml的问题;把这个文件复制到conf的目录下,根据自己的配置更改下里面的部分内容就可以了
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
总结,Ranger 2.1.0 Hive 插件是大数据环境中的重要安全组件,通过提供细粒度的权限管理、数据屏蔽和审计功能,它极大地增强了 Hive 的安全性,同时也为企业的数据治理提供了有力的支持。在实际使用中,应根据具体...
在本案例中,"ranger-2.0.0-hive-plugin.tar.gz" 是Apache Ranger为Hive服务编译好的插件包,旨在简化Ranger在Hive上的部署过程,避免用户自行编译可能遇到的复杂性和时间消耗。 Ranger Hive 插件的主要功能包括: ...
'org.elasticsearch.hadoop.hive.EsStorageHandler' WITH SERDEPROPERTIES ( 'serialization.format'='1' ) LOCATION 'hdfs://nameservice1/user/hive/warehouse/es_mapping/app_enterprise_business_tags_es1222'...
hive-site.xml 这是一份我本地配置的好用的,hadoop2.7.3 搭建hive-site.xml可以参考一下,希望对您有帮助啊
spark下安装hive标准配置文档。Ubuntu安装hive,并配置mysql作为元数据库时候需要的标准hive-site.xml配置文件,可以根据这个文件联系我的博文内容就行修改,避免入坑。实现快捷启动hive。
appender.DRFB.filePattern = ${sys:hive.log.dir}/${sys:hive.log.fileAudit}.%d{yyyy-MM-dd}_%i.gz appender.DRFB.layout.type = PatternLayout appender.DRFB.layout.pattern = %d{ISO8601} %-5p [%t]: %c{2} ...
hive的驱动包,支持使用jdbc的方式连接hive组件,可在客户端使用sql进行数据库操作
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...
Hive Hook 是 Atlas 提供的一个关键组件,用于实现在 Apache Hive 操作时的元数据跟踪和审计。当你在处理 Hive 数据时,Hive Hook 可以捕获对表、分区等对象的创建、更新和删除操作,将这些元数据事件上报给 Atlas,...
对于Map阶段的内存溢出,尤其是由于MapJoin引起的,应设置`hive.auto.convert.join = false`,将MapJoin转换为Reduce端的Common Join。此外,可以调整以下参数以减少内存压力: - `hive.exec.reducers.bytes.per....
总之,"apache-atlas-2.0.0-hive-hook.tar.gz"这个压缩包提供了Apache Atlas的一个关键组件,即与Hive的集成,这对于实现全面的数据治理策略,特别是在Hadoop生态系统中,具有极大的价值。通过利用这个工具,企业...
hive-site.xml hive-site.xmlhive-site.
hive-jdbc.jar 此资源已经上传很久了,软件版本不断升级,所以下载需谨慎 hive应该自带jdbc的,或者请使用maven库中库