`
流浪鱼
  • 浏览: 1683013 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Databus

 
阅读更多

Databus就是一个实时的低延迟数据抓取系统。
Databus提供如下功能:
来源独立:Databus支持多种数据来源的变更抓取,包括Oracle和MySQL。Oracle适配器在开源版本中有提供,MySQL适配器将在以后提供。
可扩展、高度可用:Databus能扩展到支持数千消费者和事务数据来源,同时保持高度可用性。
事务按序提交:Databus能保持来源数据库中的事务完整性,并按照事务分组和来源的提交顺寻交付变更事件。
低延迟、支持多种订阅机制:数据源变更完成后,Databus能在微秒级内将事务提交给消费者。同时,消费者使用Databus中的服务器端过滤功能,可以只获取自己需要的特定数据。
无限回溯:这是Databus最具创新性的组件之一,对消费者支持无限回溯能力。当消费者需要产生数据的完整拷贝时(比如新的搜索索引),它不会对主OLTP数据库产生任何额外负担,就可以达成目的。当消费者的数据大大落后于来源数据库时,也可以使用该功能。

源代码地址:
https://github.com/linkedin/databus

分享到:
评论
1 楼 静妙仙人 2015-10-21  
现在databus对mysql的支持怎么样?

相关推荐

    服务集成总线,DataBus

    "服务集成总线,DataBus"是一个自定义开发的工具,旨在简化各种服务的集成过程,包括WebService、WebApi、动态库以及数据库。这个工具的主要功能是将这些不同的服务资源转化并整合为一个统一的服务接口,以提高开发...

    databus-master.zip

    《数据库同步系统Databus深度解析》 在大数据领域,数据的实时同步是不可或缺的一环。今天我们将聚焦于名为"Databus"的数据库同步系统,通过深入探讨其核心原理、功能特性以及应用场景,来理解这一工具如何在数据...

    databus数据库

    ### Databus数据库与MySQL二进制日志详解 #### 一、二进制日志(Binary Log)概览 在MySQL数据库系统中,二进制日志(Binary Log)是一种非常重要的功能,它记录了所有对数据库执行更改的操作,如INSERT、UPDATE、...

    分布式数据同步系统Databus.zip

    LinkedIn最近发布了一套源无关的分布式数据同步系统Databus。简单说,就是把交易数据同步到各个不同的应用中。一个大的特色是这系统采用pull模式从log中取得数据,以达到对生产系统最小影响。 标签:...

    DMETL_Databus

    DM 数据交换平台(简称 DMETL 或 DataBus)是一种用于在网络环境中实现各种异构系统和数据源之间进行数据交换的技术平台。为了实现这一点,该平台在每个 ETL (Extract, Transform, Load) 内部嵌入了一个消息服务器。...

    SIEMENS西门子Industrial Edge Device操作手册.pdf

    Industrial Edge Device的系统组件包括Industrial Edge Runtime、Edge Device Kit (IEDK)、Industrial Edge App、Industrial Edge 系统应用程序、Databus、Databus Configurator等。 五、数据管理 Industrial Edge ...

    LinkedIn开源低延时变化数据捕获系统Databus源代码

    LinkedIn开源了其低延时变化数据捕获系统Databus,该系统可以在MySQL以及Oracle数据源上捕获数据,当下LinkedIn只开源了Oracle上的连接器。Databus作为LinkedIn生态系统中的一致性保障组件,在低延时的情况下仍然...

    pingpong-nodejs:Databus乒乓示例的Javascript实现

    Databus Ping Pong用Java语言实现 描述 该存储库包含用于构建以Javascript实现的Databus Ping Pong应用程序示例的源文件。 请参阅以获取有关此应用程序示例的更多信息。 概述 node:10.16.3-alpine Ping Pong应用程序...

    MySQL 的 Binlog 日志处理工具(Canal,Maxwell,Databus,DTS)对比.zip

    计算机技术、IT咨询、人工智能AI理论介绍,学习参考资料计算机技术、IT咨询、人工智能AI理论介绍,学习参考资料计算机技术、IT咨询、人工智能AI理论介绍,学习参考资料计算机技术、IT咨询、人工智能AI理论介绍,学习...

    databus:cassandra 中的时间序列数据可视化(NREL 的开源数据总线项目)

    数据总线 NREL 使用此存储库进行数据总线开发。 如果您要试用,请单击文档链接以开始安装 - 一般用户可以获得帮助 如果论坛中没有解决某些问题,您可以通过向我们发送电子邮件,上论坛帖子的链接,我们将确保有人...

    Elysium-DataBus

    极速数据总线执照Copyright 2021 ZhupfLicensed under the Apache License, Version 2.0 (the "License");... softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES O

    virtuoso-sparql-endpoint-quickstart:用预加载了最新DBpedia数据集的Virtuoso创建一个docker映像

    Virtuoso SPARQL端点快速入门创建并运行一个Virtuoso开源实例,其中包括一个预装有Databus集合和已安装VOS DBpedia插件的SPARQL端点。快速开始运行Virtuoso SPARQL Endpoint快速入门需要在系统上安装Docker和Docker ...

    对比 MySQL 的 Binlog 日志处理工具.docx

    本文主要对比了三个流行的MySQL Binlog处理工具:Canal、Maxwell和Databus,以及阿里云的数据传输服务DTS。 1. **Canal** Canal是一款由阿里巴巴开发的开源项目,它专注于MySQL的增量数据订阅与消费。Canal的工作...

    最新飞机即时通讯源码 PC+Android+IOS+WEB四端

    最新飞机即时通讯源码 PC+Android+IOS+WEB四端 经环境Nginx+mysql5.7+php7.3+redis+jdk1.8+etcd、kafka、minio、ssdb数据库imweb、enterprise、databus环境nginx+mysql5.7+php7.3+redis+jdk1.8+etcd、kafka、minio、...

    实时数仓 mysql的binlog实时同步工具对比.docx

    本文主要对比了三个基于MySQL binlog实现实时同步的工具:Canal、Maxwell和Databus,以及阿里云的数据传输服务DTS。 Canal是阿里巴巴开源的一款工具,主要用于MySQL的binlog订阅和消费。Canal的工作原理是模拟MySQL...

    数据处理架构

    Databus在LinkedIn中的作用是作为数据变更的传输层,独立于数据源(如Oracle、MySQL等),确保交易的语义一致性,实现有序且至少一次的交付。它能够处理数十个中继节点、数百个数据源,并保持低延迟——仅在毫秒级别...

    寻聊最新飞机即时通讯系统源码 PC+Android+IOS+WEB四端

    寻聊最新飞机即时通讯系统源码 PC+Android+IOS+WEB四端 经过测试 刚...数据库imweb、enterprise、databus 伪静态规则在下载包内 本软件或源代码仅可用于学习等合法合规的用途,禁止将本软件或源代码用于任何非法用途。

    两层PCB设计基础--学习笔记.pdf

    4. 总线绘制:通过Databus[0..7]创建总线,网络标号如Databus0~Databus7。 5. 编译检查:绘制完成后编译,查看"Message"中的Error和Warning信息。 6. 关闭ERC检查:在Place—>Directives中选择No ERC,可避免对特定...

    2023最新飞机即时通讯系统源码 PC+Android+IOS+WEB四端

    数据库imweb、enterprise、databus web 伪静态 code location / { if (!-e $request_filename){ rewrite ^(.*)$ /index.php?s=$1 last; break; } } 后台伪静态 code location /photo { proxy_pass ...

    UK532-USB2I2C.zip

    It also offers an 8bit bi-directional databus with EPP/MEM protocol, which could be used to interface HD44789 compatibl etextLCD displays for example. Programming is made easy using an API-DLL,...

Global site tag (gtag.js) - Google Analytics