源:
评:
set hive.mapred.mode=nonstrict
Temp数据为 2017-01-01 ~10-10日每日 增量金钱
统计 01-01~10-10 每日 全量金钱
select sum(nvl(b.money,0)),max(a.date)
from Temp a
left join Temp b
on (true)
where b.time <= a.time
group by a.time
-------
hive严格模式
hive提供了一个严格模式,可以防止用户执行那些可能产生意想不到的不好的效果的查询。即某些查询在严格
模式下无法执行。通过设置hive.mapred.mode的值为strict,可以禁止3中类型的查询。
1)带有分区的表的查询
如果在一个分区表执行hive,除非where语句中包含分区字段过滤条件来显示数据范围,否则不允许执行。换句话说,
就是用户不允许扫描所有的分区。进行这个限制的原因是,通常分区表都拥有非常大的数据集,而且数据增加迅速。
如果没有进行分区限制的查询可能会消耗令人不可接受的巨大资源来处理这个表:
hive> SELECT DISTINCT(planner_id) FROM fracture_ins WHERE planner_id=5;
FAILED: Error in semantic analysis: No Partition Predicate Found for Alias "fracture_ins" Table "fracture_ins
如下这个语句在where语句中增加了一个分区过滤条件(也就是限制了表分区):
hive> SELECT DISTINCT(planner_id) FROM fracture_ins
> WHERE planner_id=5 AND hit_date=20120101;
... normal results ...
2)带有orderby的查询
对于使用了orderby的查询,要求必须有limit语句。因为orderby为了执行排序过程会讲所有的结果分发到同一个reducer中
进行处理,强烈要求用户增加这个limit语句可以防止reducer额外执行很长一段时间:
hive> SELECT * FROM fracture_ins WHERE hit_date>2012 ORDER BY planner_id;
FAILED: Error in semantic analysis: line 1:56 In strict mode,
limit must be specified if ORDER BY is present planner_id
只需要增加limit语句就可以解决这个问题:
hive> SELECT * FROM fracture_ins WHERE hit_date>2012 ORDER BY planner_id
> LIMIT 100000;
... normal results ...
3)限制笛卡尔积的查询
对关系型数据库非常了解的用户可能期望在执行join查询的时候不使用on语句而是使用where语句,这样关系数据库的执行
优化器就可以高效的将where语句转换成那个on语句。不幸的是,hive不会执行这种优化,因此,如果表足够大,那么这个查询就会
出现不可控的情况:
hive> SELECT * FROM fracture_act JOIN fracture_ads
> WHERE fracture_act.planner_id = fracture_ads.planner_id;
FAILED: Error in semantic analysis: In strict mode, cartesian product
is not allowed. If you really want to perform the operation,
+set hive.mapred.mode=nonstrict+
下面这个才是正确的使用join和on语句的查询:
hive> SELECT * FROM fracture_act JOIN fracture_ads
> ON (fracture_act.planner_id = fracture_ads.planner_id);
... normal results ...
分享到:
相关推荐
即,left join 将返回左表中的所有记录,并将右表中的匹配记录关联起来。如果左表中的记录在右表中没有匹配记录,将返回 null。例如: SELECT * FROM `xs` LEFT JOIN `cj` ON xs.id = cj.id 该语句将返回 xs 表中...
WHERE和HAVING子句通常与JOIN条件一起优化,但如果WHERE条件排除了LEFT JOIN生成的NULL行,可以转换为等值JOIN,从而提高效率。 RIGHT JOIN 与LEFT JOIN类似,只是角色互换,返回右表的所有行。转换规则与LEFT JOIN...
inner join 又称等值连接,是指从两个表中返回满足条件的记录。例如: ``` SELECT * FROM ctarticle AS a INNER JOIN ctclass AS b ON a.classid = b.classid; ``` 这个语句将从ctarticle表和ctclass表中返回满足...
// 添加等值条件 userWrapper.leftJoin(User.class, "orders", "user_id", "id"); // 左连接 User 表与 Orders 表 List<User> userList = userMapper.selectList(userWrapper); // 执行查询 ``` 3. **连表查询...
#### 使用LEFT JOIN结合WHERE条件 **WHERE**子句用于进一步筛选已经由JOIN操作生成的结果集。与`ON`不同的是,`WHERE`是在生成的临时表上进行过滤。 **示例**: 继续以上场景,如果我们只想查看资产类型组名为...
本文将详细介绍MySQL中Join的使用方法,以实现不同表之间的数据关联查询。在数据库查询中,Join是非常...Equi-join是一种基础连接方式,通过等值条件来连接表。这些知识点对于深入理解并运用MySQL Join查询至关重要。
在MySQL 8.0.18中,增加了Hash Join新功能,它适用于未创建索引的字段,做等值关联查询。在之前的版本里,如果连接的字段没有创建索引,查询速度会是非常慢的,优化器会采用BNL(块嵌套)算法。 Hash Join算法是把...
本讲主要涵盖了四个关键知识点:等值连接(Equijoin)、非等值连接(Non-equijoin)、外连接(Outer join)以及自连接(Self join)。下面我们将详细探讨这些概念及其在实际操作中的应用。 首先,等值连接是通过...
INNER JOIN也称为等值连接,它只返回两个表中匹配的记录。如果表中没有匹配项,则该记录不会出现在结果集中。 **语法示例:** ```sql SELECT * FROM TableA INNER JOIN TableB ON TableA.KeyColumn = TableB.Key...
在SQL查询中,左连接(LEFT JOIN)是一种重要的联接类型,它用于返回左表(在JOIN语句中首先列出的表)中的所有记录,即使右表(JOIN语句后的表)中没有匹配的记录。如果右表中没有匹配,则结果是NULL。在这个场景中...
相比于Product Join(也称为Nested Loop Join),Merge Join通常提供更高的效率,尤其是在处理大量数据和等值条件的Join时。 总的来说,Teradata在执行JOIN操作时,通过LEFT Outer Join处理不匹配的记录,优化数据...
- **定义:** 内连接也称为等值连接,它用于返回两个表中基于连接条件的匹配行。如果表中没有匹配,则不会返回任何一行。 - **特点:** 具有排他性,即只有当连接条件成立时才会返回相应的行。 **应用场景:** - 当...
根据文件中提供的信息,我们可以详细探讨MySQL中的不同连接类型,包括左连接(LEFT JOIN)、右连接(RIGHT JOIN)、内连接(INNER JOIN)以及等值连接的概念和它们之间的异同。 首先,我们需要明确什么是“连接”...
- **非等值连接**:连接条件不是基于两个表中列的值相等,而是基于某种比较运算,如大于、小于等。 - **自连接**:一个表与自身进行连接,通常用于处理层级关系或者找到相关记录,如本例中的推荐人关系。 3. **...
也就是说,它只包括那些在连接条件中定义的字段上满足等值条件的记录。例如,在提到的员工表和产品销售业绩表的例子中,内连接会返回那些既有员工信息又有销售业绩的记录。SQL语句中的内连接写法通常是直接在WHERE...
- **不等连接**:使用非等于运算符比较列值,返回满足条件的行。 - **自然连接**:除了比较等值外,还会自动去除重复列,只保留匹配列。 示例: ```sql SELECT a.*, p.* FROM authors AS a INNER JOIN ...
- **非等值连接**:非等值连接则涉及到基于不等于某个值的条件进行连接,例如,`ON employees.salary > departments.budget`。 4. **其他连接类型** - **内连接(INNER JOIN)**:返回两个表中匹配的行,忽略不...
- 左外连接(LEFT OUTER JOIN 或 LEFT JOIN):返回左表的所有行和与之匹配的右表行,如果右表没有匹配项,则显示NULL。 - 右外连接(RIGHT OUTER JOIN 或 RIGHT JOIN):返回右表的所有行和与之匹配的左表行,...