`
zhaomengsen
  • 浏览: 210479 次
  • 性别: Icon_minigender_1
  • 来自: 河北
社区版块
存档分类
最新评论

set hive.exec.mode.local.auto=true

 
阅读更多
0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。不过,有时hive的输入数据量是非常小的。在这种情况下,为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。对于大多数这种情况,hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集,执行时间会明显被缩短。

        如此一来,对数据量比较小的操作,就可以在本地执行,这样要比提交任务到集群执行效率要快很多。



配置如下参数,可以开启Hive的本地模式:
hive> set hive.exec.mode.local.auto=true;(默认为false)


当一个job满足如下条件才能真正使用本地模式:
1.job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)
3.job的reduce数必须为0或者1

可以设置这三个参数
hive> set hive.exec.mode.local.auto=true;
hive> set hive.exec.mode.local.auto.inputbytes.max=50000000;
hive> set hive.exec.mode.local.auto.tasks.max=10;

参看
http://blog.csdn.net/wisgood/article/details/17383247
分享到:
评论

相关推荐

    Hive脚本任务参数优化配置.doc

    - `set hive.exec.mode.local.auto=true;` 开启自动本地模式,当数据量较小时,Hive作业可以在单个节点上运行,提高资源利用率。 - `set hive.exec.dynamic.partition.mode=nonstrict;` 设置动态分区模式为非严格...

    Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht

    Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht

    hive优化.docx

    * 设置动态分区模式:set hive.exec.dynamic.partition.mode=nonstrict; * 设置分区的个数:set hive.exec.max.dynamic.partitions=3000; Hive优化方法可以有效解决数据倾斜问题,提高Hive的性能和效率。

    hive参数配置说明大全

    该参数决定了如果hive.exec.mode.local.auto为true时,默认的输入文件大小阈值。如果输入文件大小小于该阈值,则Hive将自动在本地模式运行,默认值为134217728L(128MB)。 3. hive.exec.mode.local.auto.tasks.max...

    hive-exec-2.1.1.jar

    hive-exec-2.1.1 是 Apache Hive 的一部分,特别是与 Hive 的执行引擎相关的组件。Apache Hive 是一个构建在 Hadoop 之上的数据仓库基础设施,它允许用户以 SQL(结构化查询语言)的形式查询和管理大型数据集。Hive ...

    【hive on spark Error】return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

    ERROR : FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. 前言报错信息异常分析配置改动后记 前言 在成功消除Cloudare管理界面上那些可恶的警告之后,我又对yarn...

    hive-exec-*.jar包

    Missing Hive Execution Jar: /hive/hive1.2.1/lib/hive-exec-*.jar

    hive-exec-3.1.2.jar

    guava-27.0-jre.jar 编译的hive-exec-3.1.2.jar

    seatunnel 支持hive jdbc

    driver = "org.apache.hive.jdbc.HiveDriver" user = "hive" password = "hive" table = ods_wjw_jb_gxy_hz_glk query = "select a,b,c from ods_wjw_jb_gxy_hz_glk" fetch_size = 300 } }

    hive-exec-2.1.1-cdh6.3.1.jar

    hive-exec-2.1.1-cdh6.3.1.jar

    hive配置文件信息修改

    例如,你可以修改`metastore.uris`来设置Hive元数据存储的位置,`hive.exec.local.scratchdir`定义本地临时文件目录,`hive.exec.mode.local.auto`控制是否自动切换到本地模式等。修改这些配置可以影响Hive的性能和...

    hive常见的优化方案ppt

    6. **启用MapReduce严格模式**:`hive.exec.mapreduce.strict.mode`开启后,Hive会拒绝一些可能导致性能下降或资源浪费的查询,如未指定分区的查询和无`LIMIT`的`ORDER BY`。 7. **单个Reducer处理多组聚合**:`...

    cdh6.3.2升级hive至3.x后登陆HiveServer2连接失败.doc

    [HiveServer2-Handler-Pool: Thread-55]: Error opening session: org.apache.hive.service.cli.HiveSQLException: Failed to open new session: java.lang.IllegalArgumentException: Cannot modify hive.query....

    test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr

    标题中的“test_hive.rar_ThriftHive.php_hive_hive php_php hive_php hive Thr”暗示了我们讨论的主题是关于使用PHP通过Thrift接口与Hive数据仓库进行交互的一个库,具体来说,是一个名为“ThriftHive.php”的文件...

    hive on spark mr 数据开发常见问题解决

    - `hive.exec.orc.skip.corrupt.data=true` 5. **Map端内存溢出** 对于Map阶段的内存溢出,尤其是由于MapJoin引起的,应设置`hive.auto.convert.join = false`,将MapJoin转换为Reduce端的Common Join。此外,...

    Hive优化方法整理

    1. 对于 join 操作,如果出现数据倾斜,应当设置 set hive.exec.reducers.max=200;set mapred.reduce.tasks= 200;以增大 Reduce 个数。 2. 对于 group by 操作,如果出现数据倾斜,应当设置 set hive.groupby....

    Flume采集Nginx日志到新版Hive.rar

    此外,Hive的SerDe(序列化/反序列化)库需要与日志格式匹配,比如使用`org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe`来处理常见的Nginx日志格式。 在Hive中创建表结构,以匹配Nginx日志字段: ```sql ...

Global site tag (gtag.js) - Google Analytics