hive> select count(url) from track_log;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
2016-03-21 22:23:20,892 WARN [main] conf.Configuration (Configuration.java:loadProperty(2360)) - file:/tmp/hadoop/hive_2016-03-21_22-23-14_888_6634347513296177843-1/-local-10002/jobconf.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval; Ignoring.
2016-03-21 22:23:20,988 WARN [main] conf.Configuration (Configuration.java:loadProperty(2360)) - file:/tmp/hadoop/hive_2016-03-21_22-23-14_888_6634347513296177843-1/-local-10002/jobconf.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts; Ignoring.
2016-03-21 22:23:21,267 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1011)) - mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive
2016-03-21 22:23:21,268 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1011)) - mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize
2016-03-21 22:23:21,268 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1011)) - mapred.min.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize
2016-03-21 22:23:21,269 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1011)) - mapred.min.split.size.per.rack is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack
2016-03-21 22:23:21,272 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1011)) - mapred.min.split.size.per.node is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node
2016-03-21 22:23:21,273 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1011)) - mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces
2016-03-21 22:23:21,275 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1011)) - mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative
2016-03-21 22:23:21,926 WARN [main] conf.HiveConf (HiveConf.java:initialize(1155)) - DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.uris if you are connecting to a remote metastore.
Execution log at: /tmp/hadoop/hadoop_20160321222323_ebcc54d6-c8ba-4b9b-9709-79002fb51018.log
Job running in-process (local Hadoop)
2016-03-21 22:23:27,242 null map = 0%, reduce = 0%
2016-03-21 22:23:29,282 null map = 100%, reduce = 100%
Ended Job = job_local1262919648_0001
Execution completed successfully
MapredLocal task succeeded
OK
126134
Time taken: 15.171 seconds, Fetched: 1 row(s)
出现这个原因是Hadoop 的 CORE-site.xml 等配置错误了。恢复配置文件就行了。
[hadoop@master hadoop]$ rm -rf conf
[hadoop@master hadoop]$ sudo rm -rf conf
[hadoop@master hadoop]$ ls
conf.cloudera.hdfs conf.cloudera.mapreduce
[hadoop@master hadoop]$ sudo mkdir conf
[hadoop@master hadoop]$ sudo cp conf.cloudera.hdfs/* conf/
[hadoop@master hadoop]$ sudo cp conf.cloudera.mapreduce/* conf/
文件恢复 OK了!
相关推荐
Hive错误之 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误分析_xiaohu21的博客-CSDN博客.mht
在Hive中,表分区是指将一个大表分割成多个小表,每个小表都有其自己的存储位置和索引。表分区可以提高数据查询的效率,因为可以根据查询条件来选择相应的分区进行查询。Hive提供了多种方式来创建表分区,包括静态...
然而,在Hive 3.0+版本中,由于采用了Log4j2作为默认的日志框架,开启审计日志的过程与Hive 1.0中使用Log4j有所不同。 在Hive 3.0+中,我们需要编辑`hive-log4j2.properties`配置文件来实现审计日志功能。以下是一...
在Hive on Spark MR(MapReduce)数据开发中,开发者经常遇到各种问题,这些问题往往阻碍了工作效率。...同时,定期审查和更新这个知识库,确保它包含最新的错误信息和解决方案,将使整个开发团队受益。
HIVE与传统数据库有很多不同之处: * 数据存储:HIVE使用Hadoop分布式文件系统(HDFS)存储数据,而传统数据库使用关系数据库管理系统(RDBMS) * 数据处理:HIVE使用MapReduce处理数据,而传统数据库使用SQL查询 *...
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。(1)解析器(SQL Parser):将SQL字符串转换成抽象语法树AST,这一步一般都用第三方...对于Hive来说,就是MR/Spark。
使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...
在大数据处理领域,Hive是一个非常重要的工具,它提供了一个基于Hadoop的数据仓库基础设施,用于数据查询、分析和管理大规模数据集。本教程将详细讲解如何在Linux环境下安装Hive客户端,以便进行数据操作和分析。 ...
Hive 是一个基于 Hadoop 的数据仓库工具,它允许用户使用 SQL 类似的查询语言(称为 HiveQL)来处理和分析存储在 Hadoop 分布式文件系统(HDFS)中的大数据集。Hive 提供了一个数据层,使得非编程背景的用户也能方便...
和HIVE不同,HBASE能够在它的数据库上实时运行,而不是运行MapReduce任务。HBASE的行是key/value映射的集合,这个映射通过row-key来唯一标识。HBASE利用Hadoop的基础设施,可以利用通用的设备进行水平的扩展。 ...
压缩包中的“hive远程连接工具和jar”很可能包含了所有这些必要的JAR文件,这使得用户无需手动搜索和添加,可以直接使用SQuirreL SQ Client连接到远程Hive环境。这些JAR包可能包括: 1. `hive-jdbc.jar` - 包含Hive...
- 需要确保Hive与Hadoop版本兼容,否则可能遇到运行错误。 - Hive的性能在Windows上可能不如在Linux下,因为Hadoop和Hive主要设计用于Linux环境。 以上就是关于“hive_windows可执行文件”的详细解读,涵盖了...
总之,Hive与HBase的整合使得用户可以在Hive的SQL环境中处理和查询存储在HBase中的大数据,从而实现离线分析和实时查询的无缝对接。在实际应用中,要注意配置的正确性,确保所有依赖的服务正常运行,并且数据导入和...
本文将详细讨论如何使用Spring Boot、MyBatis和Druid来实现MySQL与Hive之间的多数据源切换,以满足不同业务场景的需求。 首先,Spring Boot是Spring框架的一种轻量级实现,它简化了配置并提供了快速开发新应用的...
此外,Hive 1.1.0版本引入了多项改进,例如优化的查询执行计划、对ACID(原子性、一致性、隔离性、持久性)事务的支持以及增强的错误处理机制等。 总的来说,Hive驱动1.1.0是连接和操作Hadoop集群上的Hive数据仓库...
### Spark或MR引擎插入的数据,Hive表查询数据为0的问题解析 #### 问题背景与现象 在大数据处理场景中,经常会遇到使用不同执行引擎(如Spark、MapReduce (MR) 或 Tez)进行数据处理的情况。其中一种常见的问题是...
在Hive 2.1.1版本中,ORC(Optimized Row ...总之,当Hive在读取ORC格式数据时出现“数组越界”错误,可以考虑更新相关的jar包,特别是执行引擎和ORC处理库。同时,保持集群的维护和更新是避免这类问题的有效策略。
8. **监控与优化**:升级后,密切关注 Hive 4.0 的运行状况,通过 Ambari 的监控功能检查资源使用、错误日志和性能指标。根据实际情况进行调优,如修改配置、增加资源或优化查询。 9. **用户培训**:Hive 4.0 可能...
在大数据处理领域,Hive、Hadoop和Spark是三个至关重要的组件。它们分别扮演着不同的角色,协同工作以实现高效的数据存储、管理和分析。本文将详细介绍如何在这些工具的环境中进行配置文件信息的修改,以优化系统...