最新文章列表

五种数据同步思路

数据同步:当数据源发生改变时,其他相关数据也跟着发展变化。根据需求不同可采取以下方案。 1.触发器 在数据库建立增删改的触发器。触发器将变更放到一张临时表里。oracle同步cdc 优点:实时同步 缺点:影响到业务系统,因为需要在业务系统建立触发器 2.日志 通过分析源数据库日志,来获得源数据库中的变化的数据。oracle异步cdc 优点:不影响业务系统 缺点:有一定得延时,对于没有提供日志分析 ...
phyu110 评论(0) 有3258人浏览 2018-05-10 13:44

基于Apache Flume Datahub插件将日志数据同步上云

简介 Apache Flume是一个分布式的、可靠的、可用的系统,可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。本文将介绍如何使用Apache Flume的Datahub Sink插件将日志数据实时上传到Datahub。 环境要求 JDK (1.7及以上,推荐1.7) Flume-NG 1.x Apache Maven ...
iyulang 评论(0) 有8人浏览 2017-04-17 12:22

【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

想用阿里云大数据计算服务(MaxCompute),对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景,大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移,下面我们针对每种场景分别介绍几种常用方案。   一、   异构数据源批量数据迁移到MaxCompute 1、通过大数据开发套件(DataIDE)- 数据开发做数据同步              ...
iyulang 评论(0) 有13人浏览 2017-04-13 21:28

SQL Server数据同步

 SQL server数据库在开发的过程中,有的时候可能开发库需要同步正式库或者测试库的数据,那么SQL server如何同步数据呢,一种方式使用SQL server自带图形化方式,一种为脚本方式同步,这里介绍脚本方式。   保证您使用的库已经建立了链接服务器链接到对应的正式库,如图       如何访问正式库的数据呢?方法使用 [链接服务器名]+点+数据库名+点+dbo+点+表 ...
wodeguozili 评论(0) 有1412人浏览 2016-05-31 15:31

ETL的一些概念

一、Analysis - 分析:1. What is a logical data mapping and what does it mean to the ETL team? 什么是逻辑数据映射?它对ETL项目组的作用是什么? 答:逻辑数据映射(Log ...
yqling2008 评论(0) 有1791人浏览 2015-09-17 16:57

基于Oracle Streams + Oracle AQ 捕获变更,发布变更(一)

要求:使用Oracle Streams捕获某个用户下部分表的DML操作变更,并通过Oracle的AQ(高级队列)对外发布,然后Java端通过JMS来获取变更,并执行后续同步操作。 数据库部分: 1、使用Streams要求Oracle以归档模式运行,归档日志默认存放在DB_RECOVERY_FILE_DEST指定的位置,由于该区域有大小限制, 所以,为了避免空间不足导致的后续问题,首先需要修 ...
aswang 评论(0) 有2797人浏览 2014-11-20 22:23

Oracle零碎笔记之数据同步

需求:实现Oracle数据库表记录变更后的准实时同步。   可选方案: 1、基于时间戳来检测变更 要求:   a、需同步的表均需要添加时间戳字段,并在更改数据后,同步更新时间戳   b、对于删除操作,需要额外处理。或通过触发器记录,或者不真实删除记录,仅仅设置删除标记。   c、业务层编码实现同步 缺点:   对系统增加了额外约束   同步的实时性取决于轮训的时间间隔   ...
aswang 评论(0) 有1179人浏览 2014-11-19 18:39

在oracle数据库中实现数据同步

1、分别在A数据库和B数据库上中创建一个一样的表: create table TBL_TEST (   ID          VARCHAR2(100) not null,   STATUS_NAME VARCHAR2(100),   STATE       NUMBER ); alter table TBL_TEST   add primary key (ID); 2、在B数据库服务器上创建一 ...
liuzhixiong1992 评论(0) 有1512人浏览 2014-04-03 17:23

系统间数据不同步的监控

通过MQ异步通信的两个系统,由于某种原因消息会莫名的丢失,但是想通过监控来发现两个系统数据的不同步,有什么好办法?
hope598 评论(0) 有730人浏览 2013-09-06 17:30

mysql5.5 数据双向同步的配置

两台机器的IP地址分别为:   A:192.168.0.101 B:192.168.0.102   step 1:修改A机器上mysql的配置文件 my.ini,在【mysqld】中加入如下配置 server-id=1 log-bin=E:/mysql/mysqlback binlog-do-db=backup_db max-binlog-size=104857600   ...
zhlj11 评论(0) 有667人浏览 2013-08-19 18:07

ucenter同步用户登录

ucenter同步用户登录 一般的我们在ucenter官方网站下载下来ucenter后,解压得到的文件夹内有个 advanced 文件夹document:是官方为我们提供的ucenter开发接口手册。examples:是官方提供我们的例子。好了现在开始和自己的网站相连接。    首先将examples中的config.inc.php文件,api文件夹,include文件拷贝到您网站的根目录下边, ...
wbj0110 评论(0) 有1058人浏览 2013-08-12 16:30

淘宝的数据解决方案:DataX产品说明

DataX是什么? DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的数据交换,由 ...
bluenemo 评论(0) 有1245人浏览 2013-03-15 16:27

mysql不同版本数据之间的同步工具+常用指令

升级数据库时,通常需要将旧版本中的数据同步到新版本的mysql服务中。对于MyISAM格式的,通常直接copy数据文件,然后修改文件权限(chown -R mysql:mysql data)就能解决问题。但是对于innodb格式的,这种方式是行不通的。于是我写了一个工具方便数据的备份。 操作步骤如下: 1、启动新的mysql服务    #:bin/mysqld_safe --port=3308 ...
pcpig 评论(0) 有2392人浏览 2013-03-14 17:56

sqlserver2008数据库的复制

SQLServer2008数据库的复制 方法一、 选中要复制的数据库,右键---任务---复制数据库---按操作步骤来,使用sqlserver身份验证,即可复制成功; 当传输方法为“分离和附加”时,记得一定要启动代理服务,这种方法可以一次性的复制数据库、数据表以及数据表中的数据   方法二、 选中数据库,右键---任务---生成脚本,即可以得到当前数据库的脚本文件(该文件不包括数据表中 ...
补耍狠 评论(0) 有1294人浏览 2013-03-06 12:35

MySQL主从库配置方法

MySQL主从库配置方法(针对MyISAM数据引擎) 1、主库配置(192.168.1.200) a、my.cnf中【mysqld】节配置 server-id = 1  //master服务ID,必须唯一* log-bin   = mysql-bin    //同步日志文件,必须打开* b、登录mysql创建同步账户并授予权限: grant replication slave,reload ...
boris_it 评论(0) 有1679人浏览 2013-01-06 18:35

SymmetricDS 数据同步系统

SymmetricDS 数据同步工具 (免费开源!!)   目前网上只有英文文档,看起来比较吃力。   下面博客中有详细说明: 参阅官网: http://symmetricds.codehaus.org/   http://secyaher.blog.163.com/blog/#m=0&t=1&c=fks_08406608508208406508108508509508 ...
zjgzpc 评论(20) 有6267人浏览 2012-04-05 21:56

同步数据涉及到的一些思考及解决

项目需求:数据库由于业务需要,相关表数据不一致,需要同步 设计到的问题-->> [1]同步的记录表数据由触发器来控制还是程序? [2]什么时候做 ...
悲剧了 评论(0) 有940人浏览 2011-08-12 20:28

最近博客热门TAG

Java(141747) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54918) .net(54785) Web(54513) 工作(54116) Linux(50906) Oracle(49876) 应用服务器(43288) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37268) 数据结构(36423)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics