ETL,Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换和加载。
大多数据仓库的数据架构可以概括为:
数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)
ETL贯穿其各个环节。
一、数据抽取:
可以理解为是把源数据的数据抽取到ODS或者DW中。
1. 源数据类型:
关系型数据库,如Oracle,Mysql,Sqlserver等;
文本文件,如用户浏览网站产生的日志文件,业务系统以文件形式提供的数据等;
其他外部数据,如手工录入的数据等;
2. 抽取的频率:
大多是每天抽取一次,也可以根据业务需求每小时甚至每分钟抽取,当然得考虑源数据库系统能否承受;
3. 抽取策略:
个人感觉这是数据抽取中最重要的部分,可分为全量抽取和增量抽取。
全量抽取适用于那些数据量比较小,并且不容易判断其数据发生改变的诸如关系表,维度表,配置表等;
增量抽取,一般是由于数据量大,不可能采用全量抽取,或者为了节省抽取时间而采用的抽取策略;
如何判断增量,这是增量抽取中最难的部分,一般包括以下几种情况:
a) 通过时间标识字段抽取增量;源数据表中有明确的可以标识当天数据的字段的流水表,
如createtime,updatetime等;
b) 根据上次抽取结束时候记录的自增长ID来抽取增量;无createtime,但有自增长类型字段的流水表,
如自增长的ID,抽取完之后记录下最大的ID,
下次抽取可根据上次记录的ID来抽取;
c) 通过分析数据库日志获取增量数据,无时间标识字段,无自增长ID的关系型数据库中的表;
d) 通过与前一天数据的Hash比较,比较出发生变化的数据,这种策略比较复杂,在这里描述一下,
比如一张会员表,它的主键是memberID,而会员的状态是有可能每天都更新的,
我们在第一次抽取之后,生成一张备用表A,包含两个字段,第一个是memberID,
第二个是除了memberID之外其他所有字段拼接起来,再做个Hash生成的字段,
在下一次抽取的时候,将源表同样的处理,生成表B,将B和A左关联,Hash字段不相等的
为发生变化的记录,另外还有一部分新增的记录,
根据这两部分记录的memberID去源表中抽取对应的记录;
e) 由源系统主动推送增量数据;例如订单表,交易表,
有些业务系统在设计的时候,当一个订单状态发生变化的时候,是去源表中做update,
而我们在数据仓库中需要把一个订单的所有状态都记录下来,
这时候就需要在源系统上做文章,数据库触发器一般不可取。我能想到的方法是在业务系统上做些变动,
当订单状态发生变化时候,记一张流水表,可以是写进数据库,也可以是记录日志文件。
当然肯定还有其他抽取策略,至于采取哪种策略,需要考虑源数据系统情况,
抽取过来的数据在数据仓库中的存储和处理逻辑,抽取的时间窗口等等因素。
二、数据清洗:
顾名思义,就是把不需要的,和不符合规范的数据进行处理。数据清洗最好放在抽取的环节进行,
这样可以节约后续的计算和存储成本;
当源数据为数据库时候,其他抽取数据的SQL中就可以进行很多数据清洗的工作了。
数据清洗主要包括以下几个方面:
1. 空值处理;根据业务需要,可以将空值替换为特定的值或者直接过滤掉;
2. 验证数据正确性;主要是把不符合业务含义的数据做一处理,比如,把一个表示数量的字段中的字符串
替换为0,把一个日期字段的非日期字符串过滤掉等等;
3. 规范数据格式;比如,把所有的日期都格式化成YYYY-MM-DD的格式等;
4. 数据转码;把一个源数据中用编码表示的字段,通过关联编码表,转换成代表其真实意义的值等等;
5. 数据标准,统一;比如在源数据中表示男女的方式有很多种,在抽取的时候,直接根据模型中定义的值做转化,
统一表示男女;
6. 其他业务规则定义的数据清洗。。。
三、数据转换和加载:
很多人理解的ETL是在经过前两个部分之后,加载到数据仓库的数据库中就完事了。
数据转换和加载不仅仅是在源数据-->ODS这一步,ODS-->DW, DW-->DM包含更为重要和复杂的ETL过程。
1. 什么是ODS?
ODS(Operational Data Store)是数据仓库体系结构中的一个可选部分,
ODS具备数据仓库的部分特征和OLTP系统的部分特征,
它是“面向主题的、集成的、当前或接近当前的、 不断变化的”数据。---摘自百度百科
其实大多时候,ODS只是充当了一个数据临时存储,数据缓冲的角色。一般来说,
数据由源数据加载到ODS之后,会保留一段时间,当后面的数据处理逻辑有问题,需要重新计算的时候,
可以直接从ODS这一步获取,而不用再从源数据再抽取一次,减少对源系统的压力。
另外,ODS还会直接给DM或者前端报表提供数据,比如一些维表或者不需要经过计算和处理的数据;
还有,ODS会完成一些其他事情,比如,存储一些明细数据以备不时之需等等;
2. 数据转换(刷新):
数据转换,更多的人把它叫做数据刷新,就是用ODS中的增量或者全量数据来刷新DW中的表。
DW中的表基本都是按照事先设计好的模型创建的,如事实表,维度表,汇总表等,
每天都需要把新的数据更新到这些表中。
更新这些表的过程(程序)都是刚开始的时候开发好的,每天只需要传一些参数,如日期,来运行这些程序即可。
3. 数据加载:
个人认为,每insert数据到一张表,都可以称为数据加载,至于是delete+insert、truncate+insert、
还是merge,这个是由业务规则决定的,这些操作也都是嵌入到数据抽取、转换的程序中的。
四、ETL工具:
在传统行业的数据仓库项目中,大多会采用一些现成的ETL工具,如Informatica、Datastage、微软SSIS等。
这三种工具我都使用过,优点有:图形界面,开发简单,数据流向清晰;缺点:局限性,不够灵活,
处理大数据量比较吃力,查错困难,昂贵的费用;
选择ETL工具需要充分考虑源系统和数据仓库的环境,当然还有成本,如果源数据系统和数据仓库都采用
ORACLE,那么我觉得所有的ETL,都可以用存储过程来完成了。。
在大一点的互联网公司,由于数据量大,需求特殊,ETL工具大多为自己开发,
或者在开源工具上再进行一些二次开发,在实际工作中,
一个存储过程,一个shell/perl脚本,一个java程序等等,都可以作为ETL工具。
五、ETL过程中的元数据:
试想一下,你作为一个新人接手别人的工作,没有文档,程序没有注释,
数据库中的表和字段也没有任何comment,你是不是会骂娘了?
业务系统发生改变,删除了一个字段,需要数据仓库也做出相应调整的时候,
你如何知道改这个字段会对哪些程序产生影响?
。。。。
源系统表的字段及其含义,源系统数据库的IP、接口人,数据仓库表的字段及其含义,
源表和目标表的对应关系,一个任务对应的源表和目标表,任务之间的依赖关系,
任务每次执行情况等等等等,这些元数据如果都能严格的管控起来,上面的问题肯定不会是问题了。。。
分享到:
相关推荐
- **ETL(提取、转换、加载)过程**:C#可以用来编写脚本,从各种数据源(如数据库、日志文件等)抽取数据,进行预处理,并将结果加载到数据仓库。 - **数据清洗**:在数据预处理阶段,C#可以用来处理缺失值、异常...
10. **集成服务**:SQL Server Integration Services(SSIS)是ETL(提取、转换、加载)工具,用于数据清洗、数据迁移和数据仓库构建。熟悉SSIS的包设计和执行是数据治理的重要技能。 11. **分析服务**:SQL Server...
基于arm64版本的docker-compose文件
台区终端电科院送检文档
埃夫特机器人Ethernet IP 通讯配置步骤
rv320e机器人重型关节行星摆线减速传动装置研发
气缸驱动爬杆机器人的设计().zip
56tgyhujikolp[
内容概要:本文档提供了基于OpenCV的数字身份验证系统的Python代码示例,涵盖人脸检测、训练和识别三个主要功能模块。首先,通过调用OpenCV的CascadeClassifier加载预训练模型,实现人脸检测并采集多张人脸图像用于后续训练。接着,利用LBPH(局部二值模式直方图)算法对面部特征进行训练,生成训练数据集。最后,在实际应用中,系统能够实时捕获视频流,对比已有的人脸数据库完成身份验证。此外,还介绍了必要的环境配置如依赖库安装、文件路径设置以及摄像头兼容性的处理。 适合人群:对计算机视觉感兴趣的研发人员,尤其是希望深入了解OpenCV库及其在人脸识别领域的应用者。 使用场景及目标:适用于构建安全认证系统的企业或机构,旨在提高出入管理的安全性和效率。具体应用场景包括但不限于门禁控制系统、考勤打卡机等。 其他说明:文中提供的代码片段仅为基本框架,可根据实际需求调整参数优化性能。同时提醒开发者注意隐私保护法规,合法合规地收集和使用个人生物识别信息。
内容概要:本文档详细介绍了Java并发编程的核心知识点,涵盖基础知识、并发理论、线程池、并发容器、并发队列及并发工具类等方面。主要内容包括但不限于:多线程应用场景及其优劣、线程与进程的区别、线程同步方法、线程池的工作原理及配置、常见并发容器的特点及使用场景、并发队列的分类及常用队列介绍、以及常用的并发工具类。文档旨在帮助开发者深入理解和掌握Java并发编程的关键技术和最佳实践。 适合人群:具备一定Java编程经验的研发人员,尤其是希望深入了解并发编程机制、提高多线程应用性能的中级及以上水平的Java开发者。 使用场景及目标:①帮助开发者理解并发编程的基本概念和技术细节;②指导开发者在实际项目中合理运用多线程和并发工具,提升应用程序的性能和可靠性;③为准备Java技术面试的候选人提供全面的知识参考。 其他说明:文档内容详尽,适合用作深度学习资料或面试复习指南。建议读者结合实际编码练习,逐步掌握并发编程技巧。文中提到的多种并发工具类和容器,均附有具体的应用场景和注意事项,有助于读者更好地应用于实际工作中。
这个数据集包含了日常步数统计、睡眠时长、活跃分钟数以及消耗的卡路里,是个人健康与健身追踪的一部分。 该数据集非常适合用于以下实践: 数据清洗:现实世界中的数据往往包含缺失值、异常值或不一致之处。例如,某些天的步数可能缺失,或者存在不切实际的数值(如10,000小时的睡眠或负数的卡路里消耗)。通过处理这些问题,可以学习如何清理和准备数据进行分析。 探索性分析(发现日常习惯中的模式):可以通过分析找出日常生活中的模式和趋势,比如一周中哪一天人们通常走得最多,或是睡眠时间与活跃程度之间的关系等。 构建可视化图表(步数趋势、睡眠与活动对比图):将数据转换成易于理解的图形形式,有助于更直观地看出数据的趋势和关联。例如,绘制步数随时间变化的趋势图,或是比较睡眠时间和活动量之间的关系图。 数据叙事(将个人风格的追踪转化为可操作的见解):通过讲述故事的方式,把从数据中得到的洞察变成具体的行动建议。例如,根据某人特定时间段内的活动水平和睡眠质量,提供改善健康状况的具体建议。
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
nginx
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
模拟知识付费小程序,可流量主运营模式
什么是普通上传 调用接口一次性完成一个文件的上传。 普通上传2个缺点 文件无法续传,比如上传了一个比较大的文件,中间突然断掉了,需要重来 大文件上传太慢 解决方案 分片上传
英二2010-2021阅读理解 Part A 题干单词(补).pdf
2023-04-06-项目笔记-第四百五十五阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码 小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.453局变量的作用域_453- 2025-04-01