http://blog.csdn.net/tiger119/archive/2007/01/14/1482630.aspx
ETL为数据仓库服务,数据仓库用于数据分析,数据分析属于BI系统的要干的事儿。
一般中/小型ERP系统都会有不成熟的BI系统,为啥叫做不成熟?
因为它们或者有报表分析功能,但不具有OLAP(在线分析),或者有OLAP,但却没有数据挖掘和深度分析。或者干脆,来个大集成,直接利用第三方工具来达到相应的目的。
为什么会这样,究其原因,很多情况是因为没有自主的数据仓库,没有数据仓库,其它的做起来也就有些四不象了。而要建立数据仓库,首要的是:ETL。
于是,需求就应运而生了。
对了,BI是什么?OLAP是啥?什么又是数据挖掘?鉴于我只能解释其表面含义,我就不多说了。各位不妨找本数据仓库的书,翻翻前几页,一般就明白了。或者Google一把。
我们捡当下最流行的BI应用:OLAP来说说它与ETL的关系。
了解OLAP的人都知道,它的分析模型由事实表和维表组成。但往往OLTP系统中的数据库是为事务而建,而并不为分析而建,而为了BI去改动OLTP数据 库是不现实,并且,很多情况下也基本上是不可能的(当然,有些公司把不可能的任务变成可能的,但这显然是一种很僵硬的做法)。
这时候,ETL的作用就显出来了,它可以为OLAP服务,按业务主题提取分析模型进行数据抽取。
(OLAP分析需要什么样的数据支持?可以参看一下OLAP的星型模型)。
再说说数据挖掘:
这个课题实在太大,相关的书藉有很多很多,我还得花时间慢慢去学习。简单的说,这涉及ERP业务和统计学的知识。现在我暂时还没开始相关学习,但它与 ETL的关系却很明显。因为数据挖掘所要求的数据大都是高聚合的已处理的数据,所以,不管从获取难度和效率上来说,都不适合直接从OLTP中获取。
同样,需要ETL来帮忙。
因此,按本人粗浅的理解:
ETL实在是: BI系统 设计开发,项目实施 之必备良药!
有句名言讲得好:成为巨人不如站在巨人的肩膀上。
如果想对ETL有详尽的了解,不妨先了解一下现有流行的ETL工具。
分享到:
相关推荐
在学习ETL课程的笔记中,我们了解到ETL的主要目的是将分布在不同系统和格式中的数据整合、转换后,加载到数据仓库中,以支持决策制定和数据分析。 首先,OLTP(在线联机事务处理)系统主要用于处理日常业务,如订单...
【标题】: "DWS学习笔记" 【描述】: "DWS(Data Warehouse System,数据仓库系统)是用于企业数据分析的重要工具,它整合了来自不同业务系统的数据,为决策支持提供高效、一致的信息。这份学习笔记主要涵盖了DWS的...
SAP BW,全称为Business Information Warehouse,自3.5版本后被称为SAP Business Intelligence,是SAP Netweaver体系架构中的重要组成部分,...在后续的学习笔记中,会逐步探讨ETL Services中的Extraction等具体模块。
8. 大数据与云BI:随着大数据技术的发展,如Hadoop、Spark等,BI已扩展到处理PB级别的数据。同时,云BI如Amazon Redshift、Google BigQuery等,提供灵活的扩展性和成本效益。 9. 自助式BI:现代BI工具强调用户友好...
BI Kettle中文文档汇集 ELT平台操作手册-KETTLE.pdf ETL工具kettle.pdf etl工具kettle公司学习文档.pdf ETL工具kettle学习总结.pdf ... 我的kettle学习笔记.pdf 测试ETL工具都应测试哪些方面.pdf
以下是对 Pentaho 学习笔记的详细解析: **一、Pentaho 整体架构** Pentaho 包含多个组件,它们协同工作以提供完整的BI解决方案: 1. **Pentaho Data Integration (Kettle)**:Kettle 是 Pentaho 的数据提取、转换...
### 系统集成项目管理工程师学习笔记 #### 一、信息化基础知识 **1. 企业资源管理系统(ERP)** - **特点**: - 统一的系统集成:ERP将企业的核心业务流程如财务、采购、生产、库存、销售等进行集成。 - 面向...
与之相对的是联机事务处理(OLTP,Online Transaction Processing),主要处理日常的事务性工作。 #### 商业智能平台标准与应用 商业智能平台是整合多种BI工具和技术的集成解决方案,旨在为用户提供全方位的服务。...
SAP BW,全称为Business Information Warehouse,是SAP公司提供的一款企业级的、全面的、开放的、集成的解决方案,其核心目标是为企业...后续的学习笔记可能会更深入探讨ETL Services中的Extract等具体服务和技术细节。
学习SAP BW,特别是ETL Services中的Extraction部分,是掌握整个系统的关键步骤,因为它关乎数据的获取和初步处理,是构建高效数据仓库的前提。 总的来说,SAP BW是一个全面的、开放的、集成的企业级解决方案,用于...
本"玩转Oracle学习笔记"旨在帮助初学者和进阶者深入理解和掌握Oracle的各项核心功能,以及如何在实际工作中有效应用。 一、Oracle数据库基础 Oracle数据库的核心组件包括数据文件、控制文件、重做日志文件和初始化...
DataStage是一款强大的企业级ETL(Extract, Transform, Load)工具,由IBM开发,用于从各种数据源抽取、转换和加载数据到数据仓库或数据湖。在BI(Business Intelligence)领域,它扮演着核心角色,处理和整合大量...
数据仓库学习笔记 数据仓库总体设计报告 为什么要建立数据仓库 数据仓库建模与ETL实践技巧 ETL构建数据仓库五步法 标准的数据仓库建模应用之维度 对数据仓库进行数据建模 关键绩效指标:KPI的开发、实施和应用 基于...
8. **SAP BW学习笔记**:“SAP+BW+学习笔记-理论片.doc”可能包含了作者的学习心得和理论概述,是个人学习过程中的总结,对于初学者来说具有很高的参考价值。 通过这些文档的学习,新人可以逐步了解SAP BW系统的...
- 笔记与报告:鼓励团队成员编写Markdown文档或Jupyter Notebook,方便分享和讨论。 8. **云平台集成**: - 利用AWS、Google Cloud或阿里云等云服务,弹性伸缩资源,降低成本。 - 云原生技术:采用容器化...
Python 数据分析 | ETL | ML | SQLYouTubePython 数据分析 | ETL | ML | SQL这是支持 BI Insights Inc YouTube 频道视频的 Python 存储库 (repo)。该存储库包含频道中涵盖的多个主题的代码,包括数据分析、机器学习...
【bw相关培训笔记.zip】是一个压缩包,包含了多个文档,主要涵盖了SAP BW(Business Warehouse)的学习和开发知识。SAP BW是SAP公司提供的一个数据仓库解决方案,它为企业提供了一个集中的数据存储和分析平台,用于...
【信息系统项目管理师笔记精要】是一份针对信息系统项目管理师考试的重要学习资料,涵盖了国家信息化体系、企业信息化、供应链管理、商业智能以及信息系统集成等多个关键知识点。 首先,国家信息化体系由六个要素...