`
suifeng
  • 浏览: 184522 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

newniu ETL框架

阅读更多

前言

ETL工具能够在方面优化

  1.  
    1. 体系结构
    2. 系统性能
    3. 开发效率
    4. 维护成本
说明:以前的活动结束.


newniu ETL框架

源数据库(db1):Table1,Table2, ...,TablesN---------->  目的数据库(db2):TableX
源数据库(db1):视图   ------------newniu ETL---------->  目的数据库(db2)视图

要求:db1和db2中建立的视图结构完全一致的,包括:列名,列的数据类型, 列的含义;

newniu ETL 功能
  1. 根据表名生成视图
  2. 根据视图进行ETL
  3. 四种同步机制 : 初始化同步,增量同步,变更同步1(不保留历史数据),变更同步2(保留历史数据)

你的工作

  1. 整理出哪些表需要ETL
  2. 整理出建立视图的SQL语句
  3. 配置抽取ETL策略
  4. 让newniu ETL完成剩下的工作

工具 

pl/sql, powerdesign, excel, ultraedit

 

 

一,部署

 

1, 创建用户, 使用用户里面的预览脚本

2, 切换用户, 用创建的用户登陆

3, 创建数据库,  使用整个数据的预览脚本-------创建dw数据仓库 <<DW---构建.SQL>>

4, 创建db link,  使用下面的db link脚本

5, 创建存储过程和触发器, 使用 数据库-->创建触发器存储过程 菜单里面生成到脚本

 

 

二,开发

6, 数据插入etl_tables, 数据来源于 <<核心初始数据.xls>> 

6.1 在 pl/sql中执行 <<核心初始数据.xls>>-->要抽取的表信息---> 插入的sql语句

6.2 然后对数据区解锁, 将excel中的数据copy过去(包括序号列), 更新-->提交

 

7, 执行存储过程 pro_etl_views_insert 生成 etl_views里面的数据---->查看etl_views里是否成功生成数据

 

8, 修改etl_views里数据, 使其是正确到数据-----------------特别注意 8 修改后 要执行 9和10项才能生效

//8.1  远程表表名后面跟@db_link_name----db中的表

8.2  dw中的加上限制条件 dw_data_age = 0,  下面有更新的SQL语句

8.3  录入db的视图, 将 核心初始数据.xls--->db的视图信息--->sql语句,   

copy到pl/sql中执行,  对数据区解锁, 然后把excel中的数据 copy到 pl/sql里面去(包括序号列), 勾选-->提交

 

9, 执行存储过程 PRO_CREATE_ETL_VIEWS 创建视图 ---->查看view是否成功创建

 

10, 执行存储过程 PRO_ETL_ETLS_INSERT 自动生成 ETL_ETLS里面的数据---->查看ETL_ETLS里是否成功生成数据

 

 

三,运行

11, 执行 pro_etl_by_init 进行 全量抽取(初始同步) --删除以前最新的再重新导入

12, 执行 pro_etl_by_add 进行 增量抽取(增量同步)

 

13, 执行 pro_etl_by_change_with_update 进行 变更抽取(变更同步)---采用更新同步方式

14, 执行 pro_etl_by_change_with_insert 进行 变更抽取(变更同步) ---采用插入方式, 保留历史版本

 

 

 

3
5
分享到:
评论
11 楼 suifeng 2009-02-06  
gurudk 写道

没看内容,冲你这份勇气,顶一把!

多谢.
10 楼 gurudk 2009-02-06  
没看内容,冲你这份勇气,顶一把!
9 楼 suifeng 2009-02-06  
Azi 写道

这个也牛?que

呵呵, 小牛, 小牛, 与大牛还有很大的距离.
8 楼 Azi 2009-02-06  
这个也牛?que
7 楼 suifeng 2009-02-05  
trydofor 写道

"潜力型选手,思维前卫,有胆量,有做为."
准备冲击IT领域的诺贝尔吧


多谢鼓励
6 楼 trydofor 2009-02-05  
"潜力型选手,思维前卫,有胆量,有做为."
准备冲击IT领域的诺贝尔吧
5 楼 suifeng 2009-02-05  
juvenshun 写道

呵呵,我想知道你当月工资有多少

呵呵, 惭愧, 2K+, 不过毕业不到两年, 潜力很大.
4 楼 juvenshun 2009-02-05  
呵呵,我想知道你当月工资有多少
3 楼 suifeng 2009-02-05  
ah_fu 写道

果然是无知者无畏ETL这么庞大的体系就被你这一个小程序就搞定了?你或许在某个场景下的某个具体需求中,高效地解决了问题,但是放眼到整个体系,微不足道。对于个人来说,不是某一时刻多牛,关键的是能否持续进步。谦虚且能持续进步的人,才能称得上牛。

一周开发出来的程序是小了点, 3张表, 3个视图, 7个存储过程, 逐渐扩展了.
2 楼 suifeng 2009-02-05  
嗯, 谦虚是必要的
同时提高国人的编程士气也是必要的, IT界一直是外国领导的(尤其是美国)
偶就想搞一点由中国人领导的东西出来.
1 楼 ah_fu 2009-02-05  
果然是无知者无畏
ETL这么庞大的体系就被你这一个小程序就搞定了?
你或许在某个场景下的某个具体需求中,高效地解决了问题,但是放眼到整个体系,微不足道。

对于个人来说,不是某一时刻多牛,关键的是能否持续进步。谦虚且能持续进步的人,才能称得上牛。

相关推荐

    kernel-devel-4.18.0-553.45.1.el8-10.x86-64.rpm

    Rocky Linux 8.10内核包

    Simulink中三阶单环多位量化Σ-Δ调制器的设计与实现-音频带ADC的应用(复现论文或解答问题,含详细可运行代码及解释)

    内容概要:本文档详细介绍了如何在Simulink中设计一个满足特定规格的音频带ADC(模数转换器)。首先选择了三阶单环多位量化Σ-Δ调制器作为设计方案,因为这种结构能在音频带宽内提供高噪声整形效果,并且多位量化可以降低量化噪声。接着,文档展示了具体的Simulink建模步骤,包括创建模型、添加各个组件如积分器、量化器、DAC反馈以及连接它们。此外,还进行了参数设计与计算,特别是过采样率和信噪比的估算,并引入了动态元件匹配技术来减少DAC的非线性误差。性能验证部分则通过理想和非理想的仿真实验评估了系统的稳定性和各项指标,最终证明所设计的ADC能够达到预期的技术标准。 适用人群:电子工程专业学生、从事数据转换器研究或开发的技术人员。 使用场景及目标:适用于希望深入了解Σ-Δ调制器的工作原理及其在音频带ADC应用中的具体实现方法的人群。目标是掌握如何利用MATLAB/Simulink工具进行复杂电路的设计与仿真。 其他说明:文中提供了详细的Matlab代码片段用于指导读者完成整个设计流程,同时附带了一些辅助函数帮助分析仿真结果。

    计算机课后习题.docx### 【计算机科学】研究生入学考试计算机组成原理专项题库设计:考研复习资源集成与优化

    内容概要:该题库专为研究生入学考试计算机组成原理科目设计,涵盖名校考研真题、经典教材课后习题、章节题库和模拟试题四大核心模块。名校考研真题精选多所知名高校的计算机组成原理科目及计算机联考真题,并提供详尽解析,帮助考生把握考研命题趋势与难度。经典教材课后习题包括白中英《计算机组成原理》(第5版)和唐朔飞《计算机组成原理》(第2版)的全部课后习题解答,这两部教材被众多名校列为考研指定参考书目。章节题库精选代表性考题,注重基础知识与重难点内容,帮助考生全面掌握考试大纲要求的知识点。模拟试题依据历年考研真题命题规律和热门考点,精心编制两套全真模拟试题,并附标准答案,帮助考生检验学习成果,评估应试能力。 适用人群:计划参加研究生入学考试并报考计算机组成原理科目的考生,尤其是需要系统复习和强化训练的学生。 使用场景及目标:①通过研读名校考研真题,考生可以准确把握考研命题趋势与难度,有效评估复习成效;②通过经典教材课后习题的练习,考生可以巩固基础知识,掌握解题技巧;③通过章节题库的系统练习,考生可以全面掌握考试大纲要求的各个知识点,为备考打下坚实基础;④通过模拟试题的测试,考生可以检验学习成果,评估应试能力,为正式考试做好充分准备。 其他说明:该题库不仅提供详细的题目解析,还涵盖了计算机组成原理的各个方面,包括计算机系统概述、数据表示与运算、存储器分层、指令系统、中央处理器、总线系统和输入输出系统等。考生在使用过程中应结合理论学习与实践操作,注重理解与应用,以提高应试能力和专业知识水平。

    __UNI__DB9970A__20250328141034.apk.1

    __UNI__DB9970A__20250328141034.apk.1

    minio-rsc-Rust资源

    rust for minio

    4-4-台区智能融合终端功能模块型式规范(试行).pdf

    国网台区终端最新规范

    《基于YOLOv8的化工管道焊缝缺陷检测系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    python源码-1个机器学习相关资源

    一个简单的机器学习代码示例,使用的是经典的鸢尾花(Iris)数据集,通过 Scikit-learn 库实现了一个简单的分类模型。这个代码可以帮助你入门机器学习中的分类任务。

    pyqt离线包,pyqt-tools离线包

    pyqt离线包,pyqt-tools离线包

    《基于YOLOv8的船舶机舱灭火系统状态监测系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。

    SQL常用日期和时间函数整理及使用示例

    SQL常用日期和时间函数整理及在sqlserver测试示例 主要包括 1.查询当前日期GETDATE 2.日期时间加减函数DATEADD 3 返回两个日期中指定的日期部分之间的差值DATEDIFF 4.日期格式转换CONVERT(VARCHAR(10),GETDATE(),120) 5.返回指定日期的年份数值 6.返回指定日期的月份数值 7.返回指定日期的天数数值

    GSDML-V2.3-Turck-BL20-E-GW-EN-20160524-010300.xml

    GSDML-V2.3-Turck-BL20_E_GW_EN-20160524-010300.xml

    T_CPCIF 0225-2022 多聚甲醛.docx

    T_CPCIF 0225-2022 多聚甲醛.docx

    《基于YOLOv8的智能仓储货物堆码倾斜预警系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计.zip

    《基于YOLOv8的智能仓储货物堆码倾斜预警系统》(包含源码、可视化界面、完整数据集、部署教程)简单部署即可运行。功能完善、操作简单,适合毕设或课程设计

    蚕豆脱壳机设计.zip

    蚕豆脱壳机设计.zip

    附件2-2:台区智能融合终端入网专业检测单位授权委托书.docx

    台区终端电科院送检文档

    Y6一39一No23.6D离心通风机 CAD().zip

    Y6一39一No23.6D离心通风机 CAD().zip

    django自建博客app

    django自建博客app

    附件3-4:台区智能融合终端全性能试验增值税发票开具确认单.docx

    台区终端电科院送检文档

    非开挖水平定向钻机动力头装置设计.zip

    非开挖水平定向钻机动力头装置设计.zip

Global site tag (gtag.js) - Google Analytics