资讯频道 → 数据库
阅读更多

29顶
2踩

数据库

转载新闻 淘宝自主研发的海量数据库OceanBase开源

2011-09-01 11:17 by 见习编辑 songshuang 评论(44) 有20443人浏览
淘宝 OceanBase 海量数据库
淘宝自主研发的海量数据库OceanBase开源了！

OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。

目前OceanBase已经应用于淘宝收藏夹，用于存储淘宝用户收藏条目和具体的商品、店铺信息，每天支持4～5千万的更新操作。等待上线的应用还包括CTU、SNS等，每天更新超过20亿，更新数据量超过2.5TB，并会逐步在淘宝内部推广。

源代码可通过TaobaoCode的SVN获得：http://code.taobao.org/project/587/viewSvn/

相关阅读：

在设计和实现OceanBase的时候暂时摒弃了不紧急的DBMS的功能，例如临时表、视图(view)，研发团队把有限的资源集中到关键点上，当前OceanBase主要解决数据更新一致性、高性能的跨表读事务、范围查询、join、数据全量及增量dump、批量数据导入。

OceanBase数据访问特点：

  • 把一段时间内的增删改等修改操作以增量形式记录下来，使得主体数据在一段时间内保持了相对稳定；
  • 把动态数据保存在独立的服务器UpdateServer的内存中；
  • 把基准数据按照主键分段(即tablet)后保存多个副本(一般是3个)到多台机器上；
  • tablet按主键分块连续存放，按主键的范围查询对应着连续的磁盘读，十分高效。

OceanBase的逻辑架构简图


项目介绍：http://code.taobao.org/trac/OceanBase/wiki/intro

  • 大小: 103.6 KB
来自: 秀码趣
29
顶
2
踩
评论 共 44 条 请登录后发表评论
44 楼 endual 2012-03-14 20:35
开源已经很不错了。
有时候，公开一个自己研究二个月才搞出来应用的产品都很舍不得。
43 楼 lenj 2011-09-06 18:03
腾讯自主研发的海量数据库 QceanBase开源
42 楼 springhill 2011-09-06 09:45
期待在淘宝更大范围的应用和积累，目前似乎不会有人会用吧，小白鼠伤不起：）
41 楼 jianpc 2011-09-06 00:12
cw550284 写道
很像hbase！！！！！！！

40 楼 transist 2011-09-05 13:51
支持开源，赞赏分享
39 楼 theoffspring 2011-09-05 09:42
比oracle还强？
38 楼 bugjiang 2011-09-03 22:08
不管好坏，至少是脚踏实地的在做了。
37 楼 witcheryne 2011-09-03 21:06
duooluu 写道
laolinshi 写道
阿里巴巴，淘宝确实代表了中国JAVA技术的最高水平。

不要乱代表好不好？

这马屁拍的...
36 楼 duooluu 2011-09-03 12:42
laolinshi 写道
阿里巴巴，淘宝确实代表了中国JAVA技术的最高水平。

不要乱代表好不好？
35 楼 lwwit 2011-09-03 09:19
支持 
34 楼 cuitengfei2006x 2011-09-02 23:22
源代码下载不了啊
33 楼 flysnail 2011-09-02 22:45
支持，人家开源出来就非常不错了，如果你觉人家不行，你来搞一个啊，
32 楼 icer3044 2011-09-02 16:52
还不能达到hadoop的高度。
31 楼 learnmore 2011-09-02 14:56
30 楼 AAA- 2011-09-02 14:06
不管是什么水平的东西，首先要支持这样的开源文化。
29 楼 CurrentJ 2011-09-02 13:40
这也能较数据库？有局限性的海量数据存取吧。呵呵
28 楼 zhanjia 2011-09-02 12:43
好的东西、好的做事方法就得支持，能应用在淘宝上面的东西，应该是不错的
27 楼 mainlove 2011-09-02 12:25
fanjing129 写道
淘宝自己敢用这个数据库吗？


有可能部分的地方用了
26 楼 syq689 2011-09-02 12:00
好，海量数据的处理，有空了解一下
25 楼 cw550284 2011-09-02 11:49
很像hbase！！！！！！！

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • OceanBase开源，国产分布式数据库未来已来。

    近年来，分布式数据库成为了一种技术潮流，就在前些日子，蚂蚁集团宣布其自研的分布式数据库 OceanBase 正式开源，今天就跟大家聊聊分布式数据库的话题。其实不只是蚂蚁的 OceanBas...

  • 蚂蚁自研数据库OceanBase基于木兰公共协议正式开源

    凌云时刻6月1日，在数据库OceanBase3.0峰会上，蚂蚁集团自主研发的分布式数据库OceanBase宣布采用木兰公共协议 MulanPubL-2.0正式开源。CEO杨冰表示，Ocea...

  • 「OceanBase 4.1 体验」｜连续多年支撑双11的国产原生分布式数据库

    OceanBase是由蚂蚁集团完全自主研发的国产原生分布式数据库，始创于2010年。是全球唯一在 TPC-C 和 TPC-H 测试上都刷新了世界纪录的国产原生分布式数据库。2010年，创始人阳振坤加入阿里巴巴，OceanBase 同年诞生。...

  • taobao开源数据库-OceanBase开源了

    OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。 OceanBase解决什么问题 许多公司...

  • OceanBase开源TB级别分布式关系型数据库OceanBase理论详解

    Oceanbase的创新点在...OceanBase是一个支持海量数据的高性能数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。OceanBase解决什么问题

  • OceanBase详解(详解OceanBase特性)

    OceanBase是阿里开发的分布式关系型(SQL)数据库，其目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量，无论是数据量还是访问量，即使采用非常昂贵的小型机甚至是大型机，单台关系数据库系统都无法承受。...

  • 第二章：OceanBase数据库产品简介

    TPC 是目前国际上唯一具有公信力的数据库功能与性能结合的公开检测标准，TPC-C测试有严格的规范， 只有通过了TPC组织的正式审计才是真正的TPC-C成绩

  • 淘宝发布开源海量数据库OceanBase揭秘

    　OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。 　OceanBase解决什么问题 　许多...

  • OceanBase-概述

    在OceanBase的产品分类里，一共有三大块，分布式数据库、工具体系、生态产品；（一个产品好不好用周边很关键）；介绍：兼容 MySQL 的单机分布式一体化数据库，具有原生分布式架构，支持金融级高可用、透明水平扩展、...

  • OceanBase将于近期开源代码！开、闭又开源，一路走来经历了哪些事情？

    蚂蚁集团自研数据库OceanBase将于近期开源代码，时间最早可锁定至6月1日。届时，广大数据库开发人员及相关从业者将可以通过OceanBase官网、GitHub等渠道下载体验OceanBase源码。

  • 【OceanBase概念】国产数据库OceanBase的那些事儿（1）初识OceanBase

    OceanBase是什么？OceanBase的应用，OceanBase的发展，数据库国产化，国产数据库，国产数据库的发展，OceanBase数据库详解，如何快速了解OceanBase数据库，什么是TPCC认证。

  • Navicat！OceanBase社区版新朋友来啦！

    Navicat Premium 16.1与Navicat for MySQL 16.1版本，将新增 OceanBase 社区版兼容功能，为用户在使用 OceanBase 社区版迁移过程中提供数据库管理开发工具新的选择。

  • 一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL

    一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL。

  • 【计算机求职笔试】资源

    【计算机求职笔试】资源

  • (源码)基于Apache Spark Mllib的Bronze机器学习平台.zip

    # 基于Apache Spark Mllib的Bronze机器学习平台 ## 项目简介 Bronze是一个构建在Apache Spark Mllib之上的机器学习平台，旨在提供全面的数据接入、转换、训练、测试和输出功能。该平台支持多种机器学习算法模型，并提供丰富的插件来处理数据预处理、特征工程、模型训练和验证等任务。 ## 项目的主要特性和功能 ### 数据处理流程 1. 数据采集从各种数据源（如Fake、File、HDFS）接入数据。 2. 数据预处理对数据进行清洗、转换和格式化。 3. 特征工程生成和选择特征，包括特征提取、转换和选择。 4. 模型训练使用多种分类和回归模型进行训练。 5. 模型验证对训练好的模型进行验证和评估。 6. 模型持久化将训练好的模型保存到持久化存储中。 7. 模型结果输出输出模型的最终结果。 ### 支持的算法模型 #### 分类模型 逻辑回归支持大规模特征和无限训练样例，输出类别数小于1000万。

  • 电影评论网站系统设计与实现.zip

    Java项目基于Springboot框架的课程设计，包含LW+ppt

  • 《基于yolov8的纺织品瑕疵检测项目》（包含源码、完整数据集、部署教程）简单部署即可运行。功能完善、操作简单，适合毕设或课程设计.zip

    资源内项目源码是均来自个人的课程设计、毕业设计或者具体项目，代码都测试ok，都是运行成功后才上传资源，答辩评审绝对信服的，拿来就能用。放心下载使用！源码、数据集、部署说明一站式服务，拿来就能用的绝对好资源！！！ 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.dataset.txt文件，仅供学习参考, 切勿用于商业用途。 4、如有侵权请私信博主，感谢支持

  • matlab实现全球定位系统GPS信号产生、捕获与追踪的深度研究-GPS-信号处理-伪随机码-三边测量-多路径效应修正-matlab

    内容概要：本文详细探讨了全球定位系统（GPS）的信号产生、捕获和追踪三个核心步骤，并通过Matlab源码实现相关算法。首先介绍了GPS信号产生的关键要素，包括伪随机码生成、数据编码和信号发射。接着讨论了信号捕获过程，涉及天线接收、码相位测量及其常用方法如滑动相关法。最后阐述了信号追踪的三边测量原理及误差修正措施，如电离层延迟补偿、地形效应补偿和多路径效应修正。通过具体Matlab代码示例展示了整个流程的实现，并附带了详细的运行步骤和结果分析。 适合人群：对GPS系统有兴趣的研究人员和技术爱好者，尤其是有一定编程基础并希望深入了解GPS内部机制的人群。 使用场景及目标：适用于学术研究、工程开发等领域，旨在帮助读者掌握GPS信号处理的基本理论和实践技能，提升定位精度和可靠性。 其他说明：文中提供的Matlab代码已在特定版本下测试通过，但不同版本可能存在差异。此外，还列举了一些参考文献供进一步学习。

  • 基于Andorid条形二维码识别设计.zip

    基于Andorid条形二维码识别设计实现源码，主要针对计算机相关专业的正在做毕设的学生和需要项目实战练习的学习者，也可作为课程设计、期末大作业。

Global site tag (gtag.js) - Google Analytics