- 浏览: 555472 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (340)
- Spring (4)
- Hibernate (2)
- Linux (34)
- Oracle (145)
- Eclipse (1)
- UML (1)
- HTML&&JAVASCRIPT (11)
- JAVA (33)
- 设计模式 (1)
- 版本控制 (1)
- wrap框架 (3)
- IBATIS (5)
- Ruby (1)
- DWR (1)
- MINA (11)
- JBPM (2)
- 缓存技术 (4)
- 网络 (3)
- 应用服务器 (1)
- GWT (5)
- 杂谈 (2)
- ICE (4)
- XML (2)
- ArcGis (2)
- Flex (8)
- junit单元测试 (1)
- SNMP (1)
- 存储 (1)
- office (1)
- MongoDB (0)
- Greenplum (3)
- 管理点滴 (1)
- C++ (6)
- 网络入门 (3)
- Tomcat (7)
- JMX (0)
- webservice (1)
- Oracle的10046事件 (1)
- Library cache内部机制详解 (1)
- expdp通过dblink来导入 (1)
最新评论
-
yuanliangding:
有没有关于mock的更多知识。
基于mock对象和JUnit框架简化Spring Web组件单元测试 -
saup007:
ssh端口不是22,怎么搞呢?
Greenplum 学习笔记 -
springmvc-freemarker:
java开源项目源码实例下载
Apache上全部JAVA开源项目简介 -
bobbell:
哇塞,你真厉害,整理的非常全面。我是一个java barcod ...
Greenplum 学习笔记 -
wsj55133245513324:
这不是bug,你将日志级别从debug提升到INFO 就好了 ...
Spring,smppapi,apache mina, ssl快速实现安全的smpp(5)
Join是一种试图将两个表结合在一起的谓词,一次只能连接2个表,表连接也可以被称为表关联。在后面的叙述中,我们将会使用”row source”来代替”表”,因为使用row source更严谨一些,并且将参与连接的2个row source分别称为row source1和row source 2。Join过程的各个步骤经常是串行操作,即使相关的row source可以被并行访问,即可以并行的读取做join连接的两个row source的数据,但是在将表中符合限制条件的数据读入到内存形成row source后,join的其它步骤一般是串行的。有多种方法可以将2个表连接起来,当然每种方法都有自己的优缺点,每种连接类型只有在特定的条件下才会发挥出其最大优势。 row source(表)之间的连接顺序对于查询的效率有非常大的影响。通过首先存取特定的表,即将该表作为驱动表,这样可以先应用某些限制条件,从而得到一个较小的row source,使连接的效率较高,这也就是我们常说的要先执行限制条件的原因。一般是在将表读入内存时,应用where子句中对该表的限制条件。 在后面的介绍中,都已: 连接类型:
排序 - - 合并连接(Sort Merge Join, SMJ) 如果row source已经在连接关联列上被排序,则该连接操作就不需要再进行sort操作,这样可以大大提高这种连接操作的连接速度,因为排序是个极其费资源的操作,特别是对于较大的表。预先排序的row source包括已经被索引的列(如a.col3或b.col4上有索引)或row source已经在前面的步骤中被排序了。尽管合并两个row source的过程是串行的,但是可以并行访问这两个row source(如并行读入数据,并行排序). SMJ连接的例子: SQL> explain plan for Query Plan 排序是一个费时、费资源的操作,特别对于大表。基于这个原因,SMJ经常不是一个特别有效的连接方法,但是如果2个row source都已经预先排序,则这种连接方法的效率也是蛮高的。 嵌套循环(Nested Loops, NL) 内部连接过程: 在上面的连接过程中,我们称Row source1为驱动表或外部表。Row Source2被称为被探查表或内部表。 在NESTED LOOPS连接中,Oracle读取row source1中的每一行,然后在row sourc2中检查是否有匹配的行,所有被匹配的行都被放到结果集中,然后处理row source1中的下一行。这个过程一直继续,直到row source1中的所有行都被处理。这是从连接操作中可以得到第一个匹配行的最快的方法之一,这种类型的连接可以用在需要快速响应的语句中,以响应速度为主要目标。 如果driving row source(外部表)比较小,并且在inner row source(内部表)上有唯一索引,或有高选择性非唯一索引时,使用这种方法可以得到较好的效率。NESTED LOOPS有其它连接方法没有的的一个优点是:可以先返回已经连接的行,而不必等待所有的连接操作处理完才返回数据,这可以实现快速的响应时间。 如果不使用并行操作,最好的驱动表是那些应用了where 限制条件后,可以返回较少行数据的的表,所以大表也可能称为驱动表,关键看限制条件。对于并行查询,我们经常选择大表作为驱动表,因为大表可以充分利用并行功能。当然,有时对查询使用并行操作并不一定会比查询不使用并行操作效率高,因为最后可能每个表只有很少的行符合限制条件,而且还要看你的硬件配置是否可以支持并行(如是否有多个CPU,多个硬盘控制器),所以要具体问题具体对待。 NL连接的例子: Query Plan
根据2个row source的连接条件的中操作符的不同,可以将连接分为等值连接(如WHERE A.COL3 = B.COL4)、非等值连接(WHERE A.COL3 > B.COL4)、外连接(WHERE A.COL3 = B.COL4(+))。上面的各个连接的连接原理都基本一样,所以为了简单期间,下面以等值连接为例进行介绍。
SELECT A.COL1, B.COL2
FROM A, B
WHERE A.COL3 = B.COL4;
为例进行说明,假设A表为Row Soruce1,则其对应的连接操作关联列为COL 3;B表为Row Soruce2,则其对应的连接操作关联列为COL 4;
目前为止,无论连接操作符如何,典型的连接类型共有3种:
排序 - - 合并连接(Sort Merge Join (SMJ) )
嵌套循环(Nested Loops (NL) )
哈希连接(Hash Join)
内部连接过程:
1) 首先生成row source1需要的数据,然后对这些数据按照连接操作关联列(如A.col3)进行排序。
2) 随后生成row source2需要的数据,然后对这些数据按照与sort source1对应的连接操作关联列(如B.col4)进行排序。
3) 最后两边已排序的行被放在一起执行合并操作,即将2个row source按照连接条件连接起来
下面是连接步骤的图形表示:
MERGE
/\
SORTSORT
||
Row Source 1Row Source 2
select /*+ ordered */ e.deptno, d.deptno
from emp e, dept d
where e.deptno = d.deptno
order by e.deptno, d.deptno;
-------------------------------------
SELECT STATEMENT [CHOOSE] Cost=17
MERGE JOIN
SORT JOIN
TABLE ACCESS FULL EMP [ANALYZED]
SORT JOIN
TABLE ACCESS FULL DEPT [ANALYZED]
这个连接方法有驱动表(外部表)的概念。其实,该连接过程就是一个2层嵌套循环,所以外层循环的次数越少越好,这也就是我们为什么将小表或返回较小row source的表作为驱动表(用于外层循环)的理论依据。但是这个理论只是一般指导原则,因为遵循这个理论并不能总保证使语句产生的I/O次数最少。有时不遵守这个理论依据,反而会获得更好的效率。如果使用这种方法,决定使用哪个表作为驱动表很重要。有时如果驱动表选择不正确,将会导致语句的性能很差、很差。
Row source1的Row 1 ---------------- Probe ->Row source 2
Row source1的Row 2 ---------------- Probe ->Row source 2
Row source1的Row 3 ---------------- Probe ->Row source 2
…….
Row source1的Row n ---------------- Probe ->Row source 2
从内部连接过程来看,需要用row source1中的每一行,去匹配row source2中的所有行,所以此时保持row source1尽可能的小与高效的访问row source2(一般通过索引实现)是影响这个连接效率的关键问题。这只是理论指导原则,目的是使整个连接操作产生最少的物理I/O次数,而且如果遵守这个原则,一般也会使总的物理I/O数最少。但是如果不遵从这个指导原则,反而能用更少的物理I/O实现连接操作,那尽管违反指导原则吧!因为最少的物理I/O次数才是我们应该遵从的真正的指导原则,在后面的具体案例分析中就给出这样的例子。
SQL> explain plan for
select a.dname,b.sql
from dept a,emp b
where a.deptno = b.deptno;
-------------------------
SELECT STATEMENT [CHOOSE] Cost=5
NESTED LOOPS
TABLE ACCESS FULL DEPT [ANALYZED]
TABLE ACCESS FULL EMP [ANALYZED]
哈希连接(Hash Join, HJ)
这种连接是在oracle 7.3以后引入的,从理论上来说比NL与SMJ更高效,而且只用在CBO优化器中。
较小的row source被用来构建hash table与bitmap,第2个row source被用来被hansed,并与第一个row source生成的hash table进行匹配,以便进行进一步的连接。Bitmap被用来作为一种比较快的查找方法,来检查在hash table中是否有匹配的行。特别的,当hash table比较大而不能全部容纳在内存中时,这种查找方法更为有用。这种连接方法也有NL连接中所谓的驱动表的概念,被构建为hash table与bitmap的表为驱动表,当被构建的hash table与bitmap能被容纳在内存中时,这种连接方式的效率极高。
HASH连接的例子:
SQL> explain plan for select /*+ use_hash(emp) */ empno from emp, dept where emp.deptno = dept.deptno; Query Plan |
要使哈希连接有效,需要设置HASH_JOIN_ENABLED=TRUE,缺省情况下该参数为TRUE,另外,不要忘了还要设置hash_area_size参数,以使哈希连接高效运行,因为哈希连接会在该参数指定大小的内存中运行,过小的参数会使哈希连接的性能比其他连接方式还要低。
总结一下,在哪种情况下用哪种连接方法比较好:
排序 - - 合并连接(Sort Merge Join, SMJ):
a) 对于非等值连接,这种连接方式的效率是比较高的。
b) 如果在关联的列上都有索引,效果更好。
c) 对于将2个较大的row source做连接,该连接方法比NL连接要好一些。
d) 但是如果sort merge返回的row source过大,则又会导致使用过多的rowid在表中查询数据时,数据库性能下降,因为过多的I/O。
嵌套循环(Nested Loops, NL):
a) 如果driving row source(外部表)比较小,并且在inner row source(内部表)上有唯一索引,或有高选择性非唯一索引时,使用这种方法可以得到较好的效率。
b) NESTED LOOPS有其它连接方法没有的的一个优点是:可以先返回已经连接的行,而不必等待所有的连接操作处理完才返回数据,这可以实现快速的响应时间。
哈希连接(Hash Join, HJ):
a) 这种方法是在oracle7后来引入的,使用了比较先进的连接理论,一般来说,其效率应该好于其它2种连接,但是这种连接只能用在CBO优化器中,而且需要设置合适的hash_area_size参数,才能取得较好的性能。
b) 在2个较大的row source之间连接时会取得相对较好的效率,在一个row source较小时则能取得更好的效率。
c) 只能用于等值连接中
笛卡儿乘积(Cartesian Product)
当两个row source做连接,但是它们之间没有关联条件时,就会在两个row source中做笛卡儿乘积,这通常由编写代码疏漏造成(即程序员忘了写关联条件)。笛卡尔乘积是一个表的每一行依次与另一个表中的所有行匹配。在特殊情况下我们可以使用笛卡儿乘积,如在星形连接中,除此之外,我们要尽量使用笛卡儿乘积,否则,自己想结果是什么吧!
注意在下面的语句中,在2个表之间没有连接。
SQL> explain plan for select emp.deptno,dept,deptno from emp,dept Query Plan |
CARTESIAN关键字指出了在2个表之间做笛卡尔乘积。假如表emp有n行,dept表有m行,笛卡尔乘积的结果就是得到n * m行结果。
发表评论
-
expdp通过dblink来导入
2011-12-14 15:01 1779create.sql: spo create.log rem ... -
Library cache内部机制详解
2011-12-14 14:55 885Library cache内部机制详解 http://www ... -
Oracle的10046事件
2011-12-14 14:53 2092Oracle的10046事件,可以跟踪应用程序所执行的SQL语 ... -
REDO LOG MEMBER STATUS 和 REDO LOG GROUP STATUS
2011-12-14 14:51 924V$LOG 中列出的是REDO LOG GROUP STA ... -
oracle的exp/imp使用方法学习(转)
2011-08-30 08:54 954exp/imp两个命令可以说是oracle中最常用的命令了 ... -
oracle几个awr报告
2011-08-09 14:25 890工作中,碰到的数据库慢的几个awr报告 -
Oracle Profile 使用详解
2011-06-21 14:41 966一、目的: Oracle系统中的profile可以用来对 ... -
ORA-27013
2011-04-13 14:25 1509很新的一个bug,看下你的 memory_target是不是& ... -
ACLE表连接方式分析及常见用法
2011-03-23 09:14 1108摘要: 针对在数据仓库 ... -
ORACLE 外部表应用
2011-03-09 14:58 1061SQL> create or replace direc ... -
How to convert a 32-bit database to 64-bit database on Linux
2011-02-18 14:09 1207How to convert a 32-bit databas ... -
expdp impdp 数据库导入导出命令详解
2011-02-16 09:10 1947一、创建逻辑目录,该命令不会在操作系统创建真正的目录,最 ... -
Oracle手工解/锁表
2011-01-25 14:15 2486手工锁表:lock table tbl_t1 in row ... -
oracle动态性能视图
2011-01-22 10:47 855Oracle动态性能视图个人整理 -
RBO规则介绍
2011-01-17 16:45 1057•无条件使用索引•使用内置的优先级别决定访问路径•比较难以 ... -
关于排序、sort_area_size、临时表空间
2011-01-13 15:30 1113简单陈述一下:针对每 ... -
创建索引ORACLE 需要做的工作
2011-01-13 14:53 1313一. 先来看一下创建索引要做哪些操作:1. 把inde ... -
重建索引的条件
2011-01-12 16:43 946如果索引存在碎片,那每个索引数据块上的索引数据就更少,会导致我 ... -
TKPROF使用学习
2011-01-10 17:38 713Tkprof工具可用来格式化sql trace产生的文件, ... -
利用USE_INDIRECT_DATA_BUFFERS突破32位的2G内存限制
2011-01-09 09:35 1604对于绝大部分32位系统上的32位数据库,内存最大的设置都不能超 ...
相关推荐
- **连接谓词**:定义表与表之间连接关系的谓词,例如`WHERE cust.cno = invoice.cno`。 为了提高查询效率,通常会为本地谓词创建索引。这是因为本地谓词可以显著减少查询时需要处理的数据量,而连接谓词则主要用于...
本文档详细介绍了MySQL中表与表之间连接的各种方式,以及如何构建查询语句来从多个表中检索数据。掌握这些知识点对于数据库开发人员来说至关重要,因为它们是构建高效、可扩展数据库应用的基础。
在SQL语言中,多表连接主要用于合并多个表中的记录,根据它们之间的关系来获取所需信息。下面将详细解释多表连接的概念以及在给定的例子中所用到的各种连接类型。 1. **内连接(INNER JOIN)** 内连接返回两个表中...
这里的`ON`子句定义了表之间连接的具体条件。 #### 复杂多表查询 当涉及三个或更多表时,查询可能会变得更加复杂。例如: ```sql SELECT table1.column1, table2.column2 FROM table1, table2, table3 WHERE ...
等值连接是指两个表之间的连接,条件是两个表中的某一列的值相等。例如,选择两个表中的所有记录,其中每个记录的某一列的值相等。 非等值连接 非等值连接是指两个表之间的连接,条件是两个表中的某一列的值不相等...
内连接是指在两个或多个表之间的连接,返回的是与连接条件相匹配的数据行。外连接则返回的是左表、右表或两个表中的所有数据行,而不仅仅是与连接条件相匹配的行。交叉连接则返回的是连接表中所有数据行的笛卡尔积。...
- 这种连接方法通常在两个大表之间进行,并且它们都有良好的排序顺序时效率较高。 3. 哈希连接(Hash Join) 哈希连接适用于处理大规模数据,尤其是在内存足够的情况下。它的工作步骤如下: - 创建一个哈希表,将...
以下条件下hash join可能有优势:两个巨大的表之间的连接。在一个巨大的表和一个小表之间的连接。可以用ordered提示来改变CBO默认的驱动表,或者用USE_HASH(table_name1 table_name2)提示来强制使用hash join。 ...
本项目“MFC编写的X,Y坐标之间三角形拓扑相互连接”显然是一个图形用户界面(GUI)程序,它能够处理二维空间中的坐标,并以三角形为基本单元进行图形渲染和拓扑连接。下面将详细介绍这个项目可能涉及的关键知识点。 ...
- 这种连接方式非常适合于处理大型表之间的连接,尤其是在缺乏索引或查询条件较为模糊的情况下。 - 通常情况下,散列连接比排序合并连接更快,因为它不需要对整个表进行排序。 **缺点:** - 构建散列表需要大量的...
在数据库中,连接(JOIN)是将两个或更多表的数据合并到一起的关键操作,基于这些表之间的共同列(键)。在我们的场景中,"用户信息表"和"订单信息表"可能有共同的列,如用户ID,通过这个ID我们可以将用户的详细信息...
### SQL Server 表连接知识点详解 #### 一、引言 ...内连接关注于两表之间的交集,而左连接和右连接则分别侧重于保留左表或右表中的所有信息。理解这些连接的区别对于编写高效的SQL查询至关重要。
相等连接是最基础的连接类型,它基于两个表中相同意义的列之间的相等条件。例如,在查询员工信息及其所在部门时,可以使用`WHERE`子句指定`EMP.DEPTNO`等于`DEPT.DEPTNO`的条件,这将只返回部门编号在两个表中都存在...
**表的连接**是将两个或多个表中的数据合并在一起,基于这些表之间的相关字段。在SQL中,常见的连接类型有内连接(INNER JOIN)、左连接(LEFT JOIN)、右连接(RIGHT JOIN)和全连接(FULL JOIN)。实验中使用的是内连接...
- 当两个巨大的表之间进行连接时,或者在一个巨大的表和一个小表之间进行连接时。 **优化技巧**: - 确保`HASH_AREA_SIZE`初始化参数足够大,对于Oracle 9i版本,建议使用SQL工作区自动管理。 - 使用`USE_HASH...
本次实验主要包括属性表的创建、编辑、表与表之间的连接以及超链接的设置等环节。 #### 实验过程及步骤 ##### 一、属性表的一般编辑 1. **新建属性表** - 在ArcCatalog中新建一个dBASE表,命名为`id_far`。 - ...
**解答:** 这里涉及到三个表之间的连接。 ```sql SELECT e.ename 姓名, e.empno 员工编号, e1.ename 经理姓名, e1.empno 经理编号 FROM emp e, emp e1, dept d WHERE e.mgr = e1.empno AND (d.loc = 'NEWYORK' OR d....