本月博客排行
-
第1名
龙儿筝 -
第2名
lerf -
第3名
fantaxy025025 - johnsmith9th
- xiangjie88
- zysnba
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
gashero - wy_19921005
- vipbooks
- benladeng5225
- e_e
- wallimn
- javashop
- ranbuijj
- fantaxy025025
- jickcai
- gengyun12
- zw7534313
- qepwqnp
- 解宜然
- ssydxa219
- zysnba
- sam123456gz
- sichunli_030
- arpenker
- tanling8334
- gaojingsong
- kaizi1992
- xpenxpen
- 龙儿筝
- jh108020
- wiseboyloves
- ganxueyun
- xyuma
- xiangjie88
- wangchen.ily
- Jameslyy
- luxurioust
- lemonhandsome
- mengjichen
- jbosscn
- zxq_2017
- lzyfn123
- nychen2000
- forestqqqq
- wjianwei666
- ajinn
- zhanjia
- Xeden
- hanbaohong
- java-007
- 喧嚣求静
- mwhgJava
- kingwell.leng
最新文章列表
Elasticsearch-RoaringBitmap es v6.2.4的大数据精准去重计数实现版
Elasticsearch-RoaringBitmap es v6.2.4的大数据精准去重计数实现版
本人参照其他人的开源版本实现的es v6.2.4的大数据精准去重计数plugin
https://gitee.com/weihonghong/Elasticsearch-RoaringBitmap
用elasticsearch聚合函数实现distinct查询
1.等价的sql
SELECT DISTINCT field1,field2 FROM test_index.test_type
等价于
SELECT field1,field2 FROM test_index.test_type GROUP BY field1,field2
2.而group by的查询,在es中我们可以用Aggregation(聚合)去实现,等价的DSL查询语 ...
set hive.groupby.skewindata与数据倾斜
hive和其它关系数据库一样,支持count(distinct)操作,但是对于大数据量中,如果出现数据倾斜时,会使得性能非常差,解决办法为设置数据负载均衡,其设置方法为设置hive.groupby.skewindata参数
hive (default)> set hive.groupby.skewindata;
hive.groupby.skewindata=false
默 ...
浅谈group by和distinct
group by和distinct只了去重意义一样,但是group by应用范围更广泛些,如分组汇总或者从聚合函数里筛选数据等。
譬如:统计每id数并且只显示数大于3
select id ,count(id) from table_name group by id having count(*)>3;
distinct做不到。
...
关于MySQL count(distinct) 逻辑的另一个bug
背景
上一篇博文(链接)介绍了count distinct的一个bug。解决完以后发现客户的SQL语句仍然返回错误结果(0), 再查原因,发现了另外一个bug。也就是说,这个SQL语句触发了两个bug -_-
这里只说第二个,将问题简化后复现如下,影响已知的所有版本 。
drop table if exists tb;
set tmp_table_siz ...
关于MySQL count(distinct) 逻辑的一个bug
背景
客户报告了一个count(distinct)语句返回结果错误,实际结果存在值,但是用count(distinct)统计后返回的是0。
将问题简化后复现如下,影响已知的所有版本。
drop table if exists tb;
set tmp_table_size=1024;
create table tb(id int aut ...
sql DISTINCT 关键字去掉重复的列
sql DISTINCT 关键字去掉重复的列
DISTINCT关键字主要用来从SELECT语句的结果集中去掉重复的记录。如果用户没有指定DISTINCT关键字,那么系统将返回所有符合条件的记录组成结果集,其中包括重复的记录。
记录一下工作中用到的Sql语句吧,下面sql实现了去掉重复列Id后显示的数据。
SELECT DISTINCT u.id,u.display_name ...
sql语句union、union all与distinct的相同点
引用
1、sql语句的叠加可以使用union all
2、如果需要对叠加的记录进行去重复可以使用union
3、但是如果使用union而不是union all,很有可能会为了去重复项而进行排序的操作。在处理大结果集的时要记住,使用union字句大致是使用了union all后的结果进行了distinct操作。
select distinct depton from(
select depton ...
ThinkPHP中结果唯一性的作法
最近给朋友些一个OA,遇到一个问题,查询月内维护到期的单位,因为朋友要求是在维护记录表里查询,所以会查询出很多条相同单位的不同信息,为了显示的比较清楚,朋友说能不能每个单位只显示一条,琢磨了很久,才想起有个叫distinct的东西,翻开ThinkPHP手册看了下,恍然大悟。
代码如下:
$financelist = $finance->relation(tru ...
java.sql.SQLException: ORA-00932: 数据类型不一致: 应为 -, 但却获得 CLOB
select distinct a.id,
a.currentHandle,
a.progressAndPlan,
a.customerService,
c.fullname as customerServiceName,
d.fullnam ...
解决distinct中使用多个字段的方法
在用distinct进行查询的时候,可以列出不重复的记录,对于单个字段来说distinct使用很简单,但是对于多个字段来说,distinct使用起来久没辙了,今天为了解决这个问题,查找了大量网文,终于让我给找着了,呵呵。下面是摘抄作者的:
下面就提供了一种方法可以在使用distinct的时候同时使用多个字段。
select 要使用字段1,要使用字段2 from 表名 where id ...
DISTINCT和GROUP BY的区别
有时候进行分组查询的时候 可以用DISTINCT和GROUP BY 、所以难免需要比较一下、
搜了一下 感觉这个比较权威 记一下
http://yangtingkun.itpub.net/post/468/227628
------------------------------------------------------------------------------------------ ...