- 浏览: 1098990 次
- 性别:
- 来自: 南京
博客专栏
-
Oracle管理和开发
浏览量:353153
最新评论
-
Simon.Ezer:
请问对于“如果非主键字段值发生改变,则不会同步过去”这种情况, ...
创建增量同步Oracle物化视图问题 -
dahai639:
挺好的,支持一下
Oracle的pipelined函数实现高性能大数据处理 -
zealotpz:
不错,原来是用户oracle 的所属组的问题
以sysdba身份登录oracle报ORA-1031权限不足错误之完美分析 -
mikixiyou:
zhangyuslam 写道如果担心全局索引失效,可以使用如下 ...
Oracle分区表的分区交互技术实现数据快速转移 -
sea0108:
...
Oracle sql loader使用速成
在plsql开发中,会涉及到一些大数据量表的数据处理,如将某记录数超亿的表的记录经过处理转换插入到另外一张或几张表。
常规的操作方法固然可以实现,但时间、磁盘IO、redo日志等等都非常大。Oracle 提供了一种高级函数,可以将这种数据处理的性能提升到极限。这种函数称为管道函数。
在实际项目中,管道函数会和表函数、数据流函数(即表函数和CURSOR结合)、数据集合、并行度一起使用,达到大数据处理的性能顶峰。
(miki西游 @mikixiyou 原文链接: http://mikixiyou.iteye.com/blog/1673672 )
下面是一个例子,将表t_ss_normal的记录插入到表t_target中,插入过程中有部分转换操作。
我分成四个方法来实现这个数据处理操作。
第一个方法,也是最常规的方法,代码如下:
create table T_SS_NORMAL ( owner VARCHAR2(30), object_name VARCHAR2(128), subobject_name VARCHAR2(30), object_id NUMBER, data_object_id NUMBER, object_type VARCHAR2(19), created DATE, last_ddl_time DATE, timestamp VARCHAR2(19), status VARCHAR2(7), temporary VARCHAR2(1), generated VARCHAR2(1), secondary VARCHAR2(1) ); / create table T_TARGET ( owner VARCHAR2(30), object_name VARCHAR2(128), comm VARCHAR2(10) );
这是源表和目标表的表结构。现在源表有200W条,其数据来自dba_objects视图。
create or replace package pkg_test is procedure load_target_normal; end pkg_test; create or replace package body pkg_test is procedure load_target_normal is begin insert into t_target (owner, object_name, comm) select owner, object_name, 'xxx' from t_ss_normal; commit; end; begin null; end pkg_test;
一个insert into select语句搞定这个数据处理,简单。
第二方法,采用管道函数实现这个数据处理。
create type obj_target as object( owner VARCHAR2(30), object_name VARCHAR2(128), comm varchar2(10) ); / create or replace type typ_array_target as table of obj_target; / create or replace package pkg_test is function pipe_target(p_source_data in sys_refcursor) return typ_array_target pipelined; procedure load_target; end pkg_test;
首先创建两个自定义的类型。obj_target的定义和t_target的表结构一致,用于存储每一条目标表记录。typ_array_target用于管道函数的返回值。
接着定义一个管道函数。
普通函数的结尾加一个pipelined关键字,就是管道函数。这个函数的返回参数类型为集合,这是为了使其能作为表函数使用。表函数就是在from子句中以table(v_resultset)调用的,v_resultset就是一个集合类型的参数。
最后定义一个调用存储过程。
在包体中定义该管道函数和调用存储过程。管道函数pipe_target的传入参数一个sys_refcursor类型。这是一个游标,可以理解为使用select * from table才能得到的结果集。
你也可以不用这个传入的游标,取而代之,在函数中定义一个游标,也一样使用。
function pipe_target(p_source_data in sys_refcursor) return typ_array_target pipelined is r_target_data obj_target := obj_target(null, null, null); r_source_data t_ss%rowtype; begin loop fetch p_source_data into r_source_data; exit when p_source_data%notfound; r_target_data.owner := r_source_data.owner; r_target_data.object_name := r_source_data.object_name; r_target_data.comm := 'xxx'; pipe row(r_target_data); end loop; close p_source_data; return; end; procedure load_target is begin insert into t_target (owner, object_name, comm) select owner, object_name, comm from table(pipe_target(cursor(select * from t_ss_normal))); commit; end;
关键字 pipe row 的作用是将obj_target插入到typ_array_target类型的数组中,管道函数自动返回这些数据。
因为源表的数据量会非常大,所以在fetch取值时会使用bulk collect ,实现批量取值。这样做可以减少plsql引擎和sql引擎的控制转换次数。这种转换称为上下文切换。
function pipe_target_array(p_source_data in sys_refcursor, p_limit_size in pls_integer default c_default_limit) return typ_array_target pipelined is r_target_data obj_target := obj_target(null, null, null); type typ_source_data is table of t_ss%rowtype index by pls_integer; aa_source_data typ_source_data; begin loop fetch p_source_data bulk collect into aa_source_data; exit when aa_source_data.count = 0; for i in 1 .. aa_source_data.count loop r_target_data.owner := aa_source_data(i).owner; r_target_data.object_name := aa_source_data(i).object_name; r_target_data.comm := 'xxx'; pipe row(r_target_data); end loop; end loop; close p_source_data; return; end; procedure load_target_array is begin insert into t_target (owner, object_name, comm) select owner, object_name, comm from table(pipe_target_array(cursor (select * from t_ss_normal), 100)); commit; end;
还可以使用并行度,使得管道函数可以多进程同时执行。并行度还有一个好处,就是将数据插入方式从常规路径转换为直接路径。直接路径可以大量减少redo日志的生成量。
function pipe_target_parallel(p_source_data in sys_refcursor, p_limit_size in pls_integer default c_default_limit) return typ_array_target pipelined parallel_enable(partition p_source_data by any) is r_target_data obj_target := obj_target(null, null, null); type typ_source_data is table of t_ss%rowtype index by pls_integer; aa_source_data typ_source_data; begin loop fetch p_source_data bulk collect into aa_source_data; exit when aa_source_data.count = 0; for i in 1 .. aa_source_data.count loop r_target_data.owner := aa_source_data(i).owner; r_target_data.object_name := aa_source_data(i).object_name; r_target_data.comm := 'xxx'; pipe row(r_target_data); end loop; end loop; close p_source_data; return; end; procedure load_target_parallel is begin execute immediate 'alter session enable parallel dml'; insert /*+parallel(t,4)*/ into t_target t (owner, object_name, comm) select owner, object_name, comm from table(pipe_target_array(cursor (select /*+parallel(s,4)*/ * from t_ss_normal s), 100)); commit; end;
在测试过程中,我测试200W记录的操作,时间从24秒降到到8秒,重做日志也降低更多。
在此数据处理操作中,涉及到集合(collection)、表函数、管道函数、流函数、bulk collect、游标等知识点。
PLSQL集合类型的使用总结
使用bulk collect insert实现大数据快速迁移
Oracle的pipelined函数提升数据输出性能
以前写的这三篇文章,都详细介绍了这些知识点,更多可以去参考oracle官方文档。
发表评论
-
Oracle分区表的分区交互技术实现数据快速转移
2013-01-22 11:48 14810有一个需求,将某业务表的某个时间点之前的记录转移到它的历史 ... -
等待事件enq TX row lock contention分析
2013-01-17 17:16 33298在Oracle数据库性能报告AWRRPT分析时,发现top ... -
Oracle的UNDO表空间管理总结
2013-01-14 15:06 12992UNDO是Oracle中的一个很 ... -
Oracle在不同windows系统中的迁移
2013-01-09 15:41 3807在Windows操作系统环境下 ... -
Oracle 10.2.0.1在windows 2008上安装失败经历
2013-01-07 10:29 8706这两天遇到这个一个项目上的数据库迁移的问题。原来的环境是数据库 ... -
所有的物化视图刷新脚本
2012-12-28 13:59 0select 'execute dbms_mview.refr ... -
Oracle数据库的SQL性能问题分析
2012-12-27 15:31 5289在Oracle 10.2.0.4数据库中,有一个SQL执行缓慢 ... -
db block gets和consistent gets的分析
2012-12-26 18:09 0在Oracle的文档中有这样一段解释: db block g ... -
创建增量同步Oracle物化视图问题
2012-12-25 14:07 15316我们采用Oracle的物化视图增量刷新机制定时将数据库A上的某 ... -
查归档日志文件每小时生成量
2012-12-18 16:13 10794在O racle数据库中,通过v$archived_lo ... -
如何删掉临时表空间的文件
2012-12-18 15:40 0Unlike Oracle datafiles which m ... -
Oracle sql性能诊断暨event 10046和10053使用
2012-12-17 10:24 0早上em grid control监控显示数据库的负载增加,其 ... -
查LOB字段占用的空间大小
2012-12-13 16:00 4584查询Oracle表中LOB字段的占用空间大小。表中每一个LOB ... -
Oracle Data Guard的重做日志传输和应用状况监控
2012-12-04 14:05 4081这是一个用来监控Oracle Data Guard环境下从主库 ... -
Oracle sql loader使用速成
2012-11-30 14:14 4955Oracle SQL LOADER是Oracle的 ... -
Oracle 11g2的监听器配置
2012-11-29 14:34 4391Oracle的监听器服务注册 ... -
Deleting archivelog on physical standby with RMAN in Oracle 10g
2012-11-28 13:25 0Turns out to be quite easy ... -
to_char将number转成string的小技巧
2012-11-27 14:14 10639很多数据转换处理操作时,会遇到将0.007007040000转 ... -
to_date转成字符串时ORA-01843 not a valid month 问题分析
2012-11-26 16:38 29315(注,本文三度易稿) 在开发Oracle SQL或PL/SQL ... -
Data Guard 10g 的保护级别为RESYNCHRONIZATION问题
2012-11-25 11:01 1923Oracle的data guard创建完成 ...
相关推荐
3. **结束标志**:通过一个空的`RETURN`语句表示函数处理完成。 4. **实时性**:适用于需要实时反馈处理进度或数据流的应用场景。 #### 三、创建步骤 ##### 1. 创建类型对象 在创建管道函数之前,首先需要定义一...
在Python编程中,"pipeline管道模型"是一种常用的设计模式,尤其在数据处理、机器学习以及网络编程等领域。这种模式允许我们将一系列独立的操作串联起来,形成一个连续的数据处理流程。在这个"pipeline管道模型...
事件处理使用 Apache Spark 作为处理引擎,Spark 是一个开源的数据处理框架,提供了高性能的数据处理能力。 Sliding Window Sliding Window 是流处理 pipeline 的关键组件,该组件负责将事件数据分组和聚合,并...
通过这种方式,我们可以利用zeromq的并行管道模式,构建出高性能的分布式数据处理系统。 总结来说,zeromq的并行管道模式是一种强大的工具,尤其适合处理大量数据和分布式计算任务。通过Java和jeromq库,我们可以...
Apache Spark 是一个基于内存的统一数据处理引擎,可以实现在大规模数据集上的高性能数据处理。Apache Spark 的出现填补了 Hadoop 生态系统中的空白,提供了一个高效、灵活、可扩展的数据处理解决方案。 在 Adtech...
通过使用Oracle数据库的Pipeline Table Functions,我们不仅能够实现在数据库内部的Map-Reduce处理,还能够充分利用Oracle数据库的强大功能和性能优势。这种方式不仅可以简化大数据处理的工作流程,还能显著提高处理...
Doris PipeLine设计文档还提出了如何对Doris进行PipeLine改造的方案,包括整体执行引擎的框架、Pipeline的调度模块和Work Thread的实现等。该设计文档为Doris执行引擎的改造提供了重要的参考价值。 知识点: 1. ...
它提供高性能、高可用性和安全性,支持复杂的数据处理和事务处理需求。 4. 数据转换:在文中,数据转换是指将DBF文件中的数据迁移到Oracle数据库的过程。这个过程通常涉及到数据清洗、格式匹配、错误处理等步骤,...
如果需要在客户端实时的输出函数执行过程中的一些信息,在oracle9i以后可以使用管道函数(pipeline function)。 关键字PIPELINED表明这是一个oracle管道函数,oracle管道函数的返回值类型必须为集合 --创建一个集合...
### Pipeline ADC概述与关键...综上所述,Pipeline ADC是一种结合了高速度与高精度特点的模数转换技术,广泛应用于需要高性能数据采集的场合。通过对其关键技术的理解和掌握,可以帮助我们更好地应对实际工程中的挑战。
PySpark的核心是DataFrame,它提供了一种类似SQL的API来操作数据,同时保持了高性能。你可以使用`select()`, `filter()`, `groupBy()`, `join()`, `agg()`等方法对数据进行筛选、分组、聚合等操作。DataFrame还支持...
Pipeline ADC是一种常用的模数转换器架构,它通过将模拟信号分解成多个阶段来实现高精度的数字化。下面我们将详细介绍Pipeline ADC的设计指南。 一、Pipeline ADC的基本原理 Pipeline ADC的工作原理是将模拟信号...
《Spark大数据处理技术》这本书是大数据领域的一部经典之作,主要涵盖了Spark的核心特性和在大数据处理中的应用。Spark作为一个快速、通用且可扩展的数据处理引擎,已经在诸多行业中得到了广泛的应用。下面将对Spark...
文件名称“McsfPipeline”可能是指该数据处理平台的具体实现或模块,其中“Mcsf”可能是项目、团队或技术的缩写,而“Pipeline”直接对应了数据处理流程。这可能是一个核心组件,负责数据的获取、处理和传输,或者是...
在处理复杂的项目时,往往需要处理多个参数化变量,以便根据不同的环境或需求灵活配置构建过程。本篇文章将深入探讨如何在Jenkins Pipeline中管理多个参数化变量,从而提高自动化构建的灵活性和可维护性。 1. **...
- **批量处理**: 如果数据量大,可以考虑批量插入,减少与数据库的交互次数,提高效率。 - **错误处理**: 必须处理任何可能的数据库异常,如连接丢失或SQL执行失败,确保系统稳定运行。 5. **性能优化**: - **...
Spool则是Oracle中的一个缓冲区,用于临时存储输出数据,它可以在数据处理过程中提高性能和效率。 6. 数据交换技术的应用场景 在大庆油田公司的数据管理实践中,从早期的纸质记录到现在的Oracle数据库管理,数据...
1. IDL语言基础:IDL具有丰富的数学函数库和图像处理功能,支持向量和数组操作,使得处理大规模遥感数据变得高效。其语法简洁,易于学习,是遥感领域常用的编程工具之一。 2. 遥感影像数据:高分遥感影像通常包含多...
- **性能优化**:考虑到Oracle和Hadoop的处理机制不同,可能需要对数据处理逻辑进行优化,比如减少不必要的数据传输,合理设置Hadoop集群的参数。 - **数据完整性**:确保在迁移过程中数据的完整性和一致性,避免...