`
yawooh
  • 浏览: 15106 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

不同数据库之间的数据复制使用ETL来实现?

阅读更多
也许ETL对主从复制的实时性要求不高?

如果将来打造一套BI系统:
1. 数据源包括txt文件和SQL Server 2005 结构化数据并存
2. 用ETL工具比如kettle抽取数据到PostgreSQL做数据仓库
3. 将PostgreSQL数据库集群(或进一步实现主从复制)来提高容错和并发处理能力
4. 在其上架设OLAP服务器如 Mondrian
5. 在OLAP客户端使用报表工具如JPivot, BIRT等进行展现

其中第三步PostgreSQL其实是有专门工具支持集群和主从复制的,对于同型号数据库的复制,ETL似乎费力不讨好,多此一举;另外,如果是在oracle和SQL server之间用kettle做复制,这还叫复制吗?会不会这样评价:你没事在两个不同的数据库之间瞎拷贝啥呀?如果想搞点有用的东西出来,那就是用ETL抽取喽,这也不是复制啊

所以,这个问题似乎是个假问题 - 为了设计而设计。
分享到:
评论

相关推荐

    JAVA将一个数据中数据定时自动复制(抽取)到另一个数据库

    7. **数据库同步策略**:除了简单的定时全量或增量抽取,还可以考虑使用触发器、中间件或其他工具(如ETL工具)来实现更复杂的同步策略,以满足不同业务需求。 最后,对于实际项目,我们还需要考虑资源管理,如关闭...

    ETL工具实现不同数据库迁移

    在“ETL工具实现不同数据库迁移”的主题中,我们主要关注如何利用Kettle进行数据库之间的数据迁移。首先,我们需要理解Kettle的工作原理。它基于Job和Transformation两种核心元素。Job负责整体流程的调度和控制,而...

    Java实现数据库迁移同步

    总的来说,使用Java实现数据库迁移同步需要对数据库操作、JDBC以及ETL流程有深入的理解。合理的设计和实现可以确保迁移过程的高效、稳定和可靠。在实践中,你还需要考虑到数据安全、性能监控和异常处理等方面,确保...

    数据库数据如何批量复制

    数据库数据的批量复制是IT行业中一个常见的需求,特别是在数据迁移、备份、恢复或者系统复制等场景下。在处理大量数据时,手动复制显然是不现实的,因此需要利用各种工具和方法来实现数据库的批量复制。以下是一些...

    java 实现数据库服务器之间的数据传输

    实现两个数据库服务器之间的数据传输通常可以通过多种方法来完成,包括但不限于使用数据库自带的备份和恢复工具、编写自定义的ETL(Extract, Transform, Load)程序或利用专门的数据同步工具。在本案例中,采用了...

    Oracle 数据库 10g 内部的 ETL 基础架构

    除了上述工具,Oracle 10g还提供了调度服务(Scheduler),可以安排ETL任务的执行,并与其他Oracle数据库特性(如数据库复制、流技术)集成,实现数据的实时同步和更新。 在实施ETL时,还需要考虑性能优化。这可能...

    kettle 数据挖掘,组合转换 在windows和linux 使用,不同数据库之间数据同步

    Kettle,也称为Pentaho Data Integration (PDI),是一种强大的ETL(提取、转换、加载)工具,常用于数据挖掘和不同数据源之间的数据同步。以下是对Kettle使用及在Windows和Linux环境下部署的详细说明: 1. **...

    不同数据库之间的数据迁移方案设计及迁移工具选择.pdf

    总结来说,不同数据库之间的数据迁移需要考虑以下几个关键点: 1. 目标数据库的选择:根据性能、成本、社区支持和业务需求选择合适的数据库。 2. 架构设计:构建高可用性、高性能的数据库架构,如主从复制、读写...

    etl 数据分析分档

    - 用户可以创建复杂的转换流程,利用各种步骤和组件来实现数据的复杂处理。 5. **数据库连接**: - 描述了如何设置数据库连接,包括连接参数的设置,以及在转换中使用数据库的方法。 6. **SQL编辑器与数据库...

    同步两个数据库的数据

    4. **ETL(Extract, Transform, Load)过程**:提取数据,进行转换处理,然后加载到目标数据库。 在这个rar包中的“SynOTEXAM”可能是代码文件名,它可能包含一个Python、Java、SQL或其他语言编写的脚本,用于实现...

    数据库同步 数据库同步

    4. 初始化同步:首次将源数据库的数据复制到目标数据库。 5. 监控和维护:持续监控复制过程,确保数据的一致性,并解决可能出现的问题。 在实际应用中,数据库同步可能受到网络延迟、数据量大、并发操作等多种因素...

    kettle同步数据库所有的表数据到其他库.rar

    通过以上步骤,你可以利用Kettle实现数据库之间的数据同步。理解这些核心概念和操作,不仅可以解决本例中的问题,也能为其他复杂的数据集成任务提供基础。在实际应用中,还需要根据具体需求和环境进行调整,以达到...

    SQL Server 2005 盛宴系列之十七:实现SQL Server与Oracle之间数据复制.zip

    本资源"SQL Server 2005 盛宴系列之十七:实现SQL Server与Oracle之间数据复制.zip"正是针对这种需求提供的一份教程,旨在帮助用户理解和实施跨数据库的数据复制。 SQL Server 2005是微软推出的数据库管理系统,以...

    数据仓库ETL工具箱

    常见的抽取方法有全量抽取和增量抽取,前者将整个源数据复制到目标系统,后者仅抽取自上次抽取以来发生改变的数据。 2. **转换(Transform)**:在这一阶段,原始数据被清洗、规范化,并转换为适合数据仓库的格式。...

    两个数据库数据查询 1

    6. **ETL工作流**:使用工具如Apache Airflow或Luigi来管理和调度复杂的跨数据库数据处理流程,确保数据同步和更新的正确性。 7. **数据迁移**:在特定场景下,可能需要将数据从一个数据库迁移到另一个,例如升级...

    ETL数据增量抽取方案

    ETL数据增量抽取方案,即Extraction, Transformation and Loading,是一种数据处理方法,主要用于数据仓库或数据集市的构建中,其作用是实现数据的集成,将企业内不同系统、不同格式的数据整合到一起,提供统一的...

    C#实现windows服务-数据复制功能

    在本项目中,“C#实现windows服务-数据复制功能”是使用C#编程语言开发的一个服务,它的主要任务是实现在不同的数据库之间进行数据的同步和复制。 C#是一种强大的、类型安全的面向对象的编程语言,广泛用于.NET ...

    Apsara Clouder云计算技能认证:云数据库管理与数据迁移--试题.doc

    数据传输服务DTS提供了快速的数据迁移功能,可以将本地数据库或者RDS实例迁移到另一个RDS实例中,支持同异构数据源之间的数据迁移,同时提供了多种ETL特性,包括结构迁移、全量数据迁移、过滤数据迁移、增量数据迁移...

    etl数据抽取

    2. **模拟增量**:通过每天将源库中的表通过视图的方式与标准表进行对比,记录出新增、更新和删除的数据主键来实现数据的增量。 3. **实现方法**: - **插入/更新的增量**:利用 Kettle 工具中的插入/更新节点,当...

    数据仓库与数据挖掘技术ETL技术PPT学习教案.pptx

    数据抽取可以分为全量抽取和增量抽取两种,全量抽取类似于数据迁移或数据复制,它将数据源中的表或视图的数据全部从数据库中抽取出来,再进行后续的转换和加载操作。 数据清洗是对数据仓库的外部数据源所提供的数据...

Global site tag (gtag.js) - Google Analytics