资讯频道 → 数据库
阅读更多

29顶
2踩

数据库

转载新闻 淘宝自主研发的海量数据库OceanBase开源

2011-09-01 11:17 by 见习编辑 songshuang 评论(44) 有20396人浏览
淘宝 OceanBase 海量数据库
淘宝自主研发的海量数据库OceanBase开源了！

OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。

目前OceanBase已经应用于淘宝收藏夹，用于存储淘宝用户收藏条目和具体的商品、店铺信息，每天支持4～5千万的更新操作。等待上线的应用还包括CTU、SNS等，每天更新超过20亿，更新数据量超过2.5TB，并会逐步在淘宝内部推广。

源代码可通过TaobaoCode的SVN获得：http://code.taobao.org/project/587/viewSvn/

相关阅读：

在设计和实现OceanBase的时候暂时摒弃了不紧急的DBMS的功能，例如临时表、视图(view)，研发团队把有限的资源集中到关键点上，当前OceanBase主要解决数据更新一致性、高性能的跨表读事务、范围查询、join、数据全量及增量dump、批量数据导入。

OceanBase数据访问特点：

  • 把一段时间内的增删改等修改操作以增量形式记录下来，使得主体数据在一段时间内保持了相对稳定；
  • 把动态数据保存在独立的服务器UpdateServer的内存中；
  • 把基准数据按照主键分段(即tablet)后保存多个副本(一般是3个)到多台机器上；
  • tablet按主键分块连续存放，按主键的范围查询对应着连续的磁盘读，十分高效。

OceanBase的逻辑架构简图


项目介绍：http://code.taobao.org/trac/OceanBase/wiki/intro

  • 大小: 103.6 KB
来自: 秀码趣
29
顶
2
踩
评论 共 44 条 请登录后发表评论
44 楼 endual 2012-03-14 20:35
开源已经很不错了。
有时候，公开一个自己研究二个月才搞出来应用的产品都很舍不得。
43 楼 lenj 2011-09-06 18:03
腾讯自主研发的海量数据库 QceanBase开源
42 楼 springhill 2011-09-06 09:45
期待在淘宝更大范围的应用和积累，目前似乎不会有人会用吧，小白鼠伤不起：）
41 楼 jianpc 2011-09-06 00:12
cw550284 写道
很像hbase！！！！！！！

40 楼 transist 2011-09-05 13:51
支持开源，赞赏分享
39 楼 theoffspring 2011-09-05 09:42
比oracle还强？
38 楼 bugjiang 2011-09-03 22:08
不管好坏，至少是脚踏实地的在做了。
37 楼 witcheryne 2011-09-03 21:06
duooluu 写道
laolinshi 写道
阿里巴巴，淘宝确实代表了中国JAVA技术的最高水平。

不要乱代表好不好？

这马屁拍的...
36 楼 duooluu 2011-09-03 12:42
laolinshi 写道
阿里巴巴，淘宝确实代表了中国JAVA技术的最高水平。

不要乱代表好不好？
35 楼 lwwit 2011-09-03 09:19
支持 
34 楼 cuitengfei2006x 2011-09-02 23:22
源代码下载不了啊
33 楼 flysnail 2011-09-02 22:45
支持，人家开源出来就非常不错了，如果你觉人家不行，你来搞一个啊，
32 楼 icer3044 2011-09-02 16:52
还不能达到hadoop的高度。
31 楼 learnmore 2011-09-02 14:56
30 楼 AAA- 2011-09-02 14:06
不管是什么水平的东西，首先要支持这样的开源文化。
29 楼 CurrentJ 2011-09-02 13:40
这也能较数据库？有局限性的海量数据存取吧。呵呵
28 楼 zhanjia 2011-09-02 12:43
好的东西、好的做事方法就得支持，能应用在淘宝上面的东西，应该是不错的
27 楼 mainlove 2011-09-02 12:25
fanjing129 写道
淘宝自己敢用这个数据库吗？


有可能部分的地方用了
26 楼 syq689 2011-09-02 12:00
好，海量数据的处理，有空了解一下
25 楼 cw550284 2011-09-02 11:49
很像hbase！！！！！！！

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • OceanBase开源，国产分布式数据库未来已来。

    近年来，分布式数据库成为了一种技术潮流，就在前些日子，蚂蚁集团宣布其自研的分布式数据库 OceanBase 正式开源，今天就跟大家聊聊分布式数据库的话题。其实不只是蚂蚁的 OceanBas...

  • 蚂蚁自研数据库OceanBase基于木兰公共协议正式开源

    凌云时刻6月1日，在数据库OceanBase3.0峰会上，蚂蚁集团自主研发的分布式数据库OceanBase宣布采用木兰公共协议 MulanPubL-2.0正式开源。CEO杨冰表示，Ocea...

  • 「OceanBase 4.1 体验」｜连续多年支撑双11的国产原生分布式数据库

    OceanBase是由蚂蚁集团完全自主研发的国产原生分布式数据库，始创于2010年。是全球唯一在 TPC-C 和 TPC-H 测试上都刷新了世界纪录的国产原生分布式数据库。2010年，创始人阳振坤加入阿里巴巴，OceanBase 同年诞生。...

  • taobao开源数据库-OceanBase开源了

    OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。 OceanBase解决什么问题 许多公司...

  • OceanBase开源TB级别分布式关系型数据库OceanBase理论详解

    Oceanbase的创新点在...OceanBase是一个支持海量数据的高性能数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。OceanBase解决什么问题

  • OceanBase详解(详解OceanBase特性)

    OceanBase是阿里开发的分布式关系型(SQL)数据库，其目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量，无论是数据量还是访问量，即使采用非常昂贵的小型机甚至是大型机，单台关系数据库系统都无法承受。...

  • 第二章：OceanBase数据库产品简介

    TPC 是目前国际上唯一具有公信力的数据库功能与性能结合的公开检测标准，TPC-C测试有严格的规范， 只有通过了TPC组织的正式审计才是真正的TPC-C成绩

  • 淘宝发布开源海量数据库OceanBase揭秘

    　OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。 　OceanBase解决什么问题 　许多...

  • OceanBase-概述

    在OceanBase的产品分类里，一共有三大块，分布式数据库、工具体系、生态产品；（一个产品好不好用周边很关键）；介绍：兼容 MySQL 的单机分布式一体化数据库，具有原生分布式架构，支持金融级高可用、透明水平扩展、...

  • OceanBase将于近期开源代码！开、闭又开源，一路走来经历了哪些事情？

    蚂蚁集团自研数据库OceanBase将于近期开源代码，时间最早可锁定至6月1日。届时，广大数据库开发人员及相关从业者将可以通过OceanBase官网、GitHub等渠道下载体验OceanBase源码。

  • 【OceanBase概念】国产数据库OceanBase的那些事儿（1）初识OceanBase

    OceanBase是什么？OceanBase的应用，OceanBase的发展，数据库国产化，国产数据库，国产数据库的发展，OceanBase数据库详解，如何快速了解OceanBase数据库，什么是TPCC认证。

  • Navicat！OceanBase社区版新朋友来啦！

    Navicat Premium 16.1与Navicat for MySQL 16.1版本，将新增 OceanBase 社区版兼容功能，为用户在使用 OceanBase 社区版迁移过程中提供数据库管理开发工具新的选择。

  • 一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL

    一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL。

  • 三菱FX3G FX3S与四台E700变频器Modbus RTU通讯控制：正反转、频率设定与读取方案,三菱FX3G FX3S与四台E700变频器通讯：Modbus RTU协议实现正反转、频率设定与控制

    三菱FX3G FX3S与四台E700变频器Modbus RTU通讯控制：正反转、频率设定与读取方案,三菱FX3G FX3S与四台E700变频器通讯：Modbus RTU协议实现正反转、频率设定与控制，快速反馈与教程包含,三菱FX3G FX3S 485协议通讯四台三菱E700变频器程序资料 三菱FX3G FX3S+485bd扩展，采用modbus rtu协议，crc校验，通讯控制四台E700变频器，可以实现正反转，停止，频率的设定，频率，电流等的读取。 反馈快，使用方便，包括教程，plc和触摸屏程序，变频器参数设置和接线，别的变频器支持rtu协议也可以实现。 ,三菱FX系列PLC; 485协议通讯; 变频器E700; 通讯控制; 参数设置; 教程。,三菱PLC控制E700变频器：485协议通讯与程序设置全解

  • hyphen-nl-0.20050617-10.el7.x64-86.rpm.tar.gz

    1、文件内容：hyphen-nl-0.20050617-10.el7.rpm以及相关依赖 2、文件形式：tar.gz压缩包 3、安装指令： #Step1、解压 tar -zxvf /mnt/data/output/hyphen-nl-0.20050617-10.el7.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm 4、更多资源/技术支持：公众号禅静编程坊

  • 西门子S7-1200PLC结构化编程在5轴伺服项目中的应用：模块化设计、触摸屏控制及电气图纸实战解析,西门子S7-1200PLC结构化编程实现多轴联动与多种伺服功能应用：CAD图纸、PLC程序和触摸屏

    西门子S7-1200PLC结构化编程在5轴伺服项目中的应用：模块化设计、触摸屏控制及电气图纸实战解析,西门子S7-1200PLC结构化编程实现多轴联动与多种伺服功能应用：CAD图纸、PLC程序和触摸屏程序协同运作。,西门子S7-1200PLC结构化编程5轴伺服项目 ，包含plc程序、威纶通触摸屏程序、cad电气图纸。 可以实现以下功能，规格有： 1.三轴机械手X轴-Y轴-Z轴联动取放料PTO脉冲定位控制台达B2伺服 2.台达伺服速度模式应用+扭矩模式应用实现收放卷 3.程序为结构化编程,每一功能为模块化设计,功能:自动_手动_单步_暂停后原位置继续运行_轴断电保持_报警功能_气缸运行及报警. 4.每个功能块可以无数次重复调用，可以建成库，用时调出即可 5.上位机采样威纶通触摸屏 6.参考本案例熟悉掌握结构化编程技巧,扩展逻辑思维。 博图14以上都可以打开 ,核心关键词：西门子S7-1200PLC; 结构化编程; 5轴伺服项目; PLC程序; 威纶通触摸屏程序; CAD电气图纸; 三轴机械手; PTO脉冲定位控制; 台达B2伺服; 速度模式应用; 扭矩模式应用; 模块化设计; 轴断电保

  • 情感分析算法的关键应用领域与典型实战案例

    情感分析算法在多个领域有着广泛的应用场景和丰富的案例

  • 基于MATLAB仿真的MMC整流站与逆变站柔性互联技术研究：快速工况仿真与环流抑制控制,基于MATLAB仿真的MMC整流站与逆变站运行分析及四端柔性互联工况仿真模拟研究,21电平MMC整流站、MMC逆

    基于MATLAB仿真的MMC整流站与逆变站柔性互联技术研究：快速工况仿真与环流抑制控制,基于MATLAB仿真的MMC整流站与逆变站运行分析及四端柔性互联工况仿真模拟研究,21电平MMC整流站、MMC逆变站、两端柔性互联的MATLAB仿真模型，4端柔性互联、MMC桥臂平均值模型、MMC聚合模型（四端21电平一分钟即能完成2s的工况仿真） 1-全部能正常运行，图四和图五为仿真波形 2-双闭环控制，逆变站PQ控制，整流站站Udc Q控制 3-最近电平逼近调制+子模块电容充电 4-环流抑制控制 ,1. 21电平MMC整流站; 2. MMC逆变站; 3. MATLAB仿真模型; 4. 两端柔性互联; 5. 桥臂平均值模型; 6. 聚合模型; 7. 双闭环控制; 8. 最近电平逼近调制; 9. 子模块电容充电; 10. 环流抑制控制。,基于柔性互联的MMC系统仿真模型：多电平控制与环流抑制研究

  • 有效应对网络舆情教育培训PPT.pptx

    有效应对网络舆情教育培训PPT.pptx

Global site tag (gtag.js) - Google Analytics