资讯频道 → 数据库
阅读更多

29顶
2踩

数据库

转载新闻 淘宝自主研发的海量数据库OceanBase开源

2011-09-01 11:17 by 见习编辑 songshuang 评论(44) 有20445人浏览
淘宝 OceanBase 海量数据库
淘宝自主研发的海量数据库OceanBase开源了！

OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。

目前OceanBase已经应用于淘宝收藏夹，用于存储淘宝用户收藏条目和具体的商品、店铺信息，每天支持4～5千万的更新操作。等待上线的应用还包括CTU、SNS等，每天更新超过20亿，更新数据量超过2.5TB，并会逐步在淘宝内部推广。

源代码可通过TaobaoCode的SVN获得：http://code.taobao.org/project/587/viewSvn/

相关阅读：

在设计和实现OceanBase的时候暂时摒弃了不紧急的DBMS的功能，例如临时表、视图(view)，研发团队把有限的资源集中到关键点上，当前OceanBase主要解决数据更新一致性、高性能的跨表读事务、范围查询、join、数据全量及增量dump、批量数据导入。

OceanBase数据访问特点：

  • 把一段时间内的增删改等修改操作以增量形式记录下来，使得主体数据在一段时间内保持了相对稳定；
  • 把动态数据保存在独立的服务器UpdateServer的内存中；
  • 把基准数据按照主键分段(即tablet)后保存多个副本(一般是3个)到多台机器上；
  • tablet按主键分块连续存放，按主键的范围查询对应着连续的磁盘读，十分高效。

OceanBase的逻辑架构简图


项目介绍：http://code.taobao.org/trac/OceanBase/wiki/intro

  • 大小: 103.6 KB
来自: 秀码趣
29
顶
2
踩
评论 共 44 条 请登录后发表评论
24 楼 ray_linn 2011-09-02 11:31
不过说实话，这个解决方案的特点就是费钱，性价比低，还不如shard呢。。
23 楼 guyuanwuxin 2011-09-02 11:30
看架构图和hadoop很像哟
22 楼 ray_linn 2011-09-02 11:28
哈哈，这个概念不就是raid5的理念吗？
21 楼 laolinshi 2011-09-02 11:15
阿里巴巴，淘宝确实代表了中国JAVA技术的最高水平。
20 楼 alang 2011-09-02 10:59
这个是nosql数据库了。
19 楼 hantsy 2011-09-02 10:55
wiki 上就一个页面，TaoBao 平时就是是这样的写文档的吗？

这种概述之类的说明，就和看三个代表一样，有什么意义 。

连个 Getting Started 都没有。。。
18 楼 kailiang_song 2011-09-02 10:47
支持国产
17 楼 fanjing129 2011-09-02 10:45
淘宝自己敢用这个数据库吗？
16 楼 shong_liu 2011-09-02 09:57
应该大力支持呵呵
15 楼 kfyfly 2011-09-02 09:55
开源的另一个目的，让大家测试bug，当然这种态度还是支持淘宝
14 楼 archy123 2011-09-02 09:34
还不完善，大家一起做小白鼠吧。
13 楼 bcw104 2011-09-02 09:31
xfjt297857539 写道
中国大部分公司都在用开源的技术，却不为开源做贡献！

不是不想作贡献,是英文太差,很难沟通
12 楼 george_space 2011-09-02 09:30
支持民因企业涉足数据库行业。
11 楼 njbble 2011-09-02 09:24
这个OceanBase至少比光骗国家钱的XXXXBase好多了
10 楼 xfjt297857539 2011-09-02 09:22
中国大部分公司都在用开源的技术，却不为开源做贡献！
9 楼 luoyahu 2011-09-02 09:17
先不说这东西怎么样，看能开源的态度就要支持一下。
8 楼 zean 2011-09-02 09:05
相比之下，百度做了什么
7 楼 wangjingjun 2011-09-02 08:55
淘宝还是很强的啊，羡慕那些开发数据库的
6 楼 tywo45 2011-09-02 08:40
淘宝有好多不错的开源产品了，而且许多品质都不错！
5 楼 simen_net 2011-09-02 08:30
专门的工具解决专门的问题

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • OceanBase开源，国产分布式数据库未来已来。

    近年来，分布式数据库成为了一种技术潮流，就在前些日子，蚂蚁集团宣布其自研的分布式数据库 OceanBase 正式开源，今天就跟大家聊聊分布式数据库的话题。其实不只是蚂蚁的 OceanBas...

  • 蚂蚁自研数据库OceanBase基于木兰公共协议正式开源

    凌云时刻6月1日，在数据库OceanBase3.0峰会上，蚂蚁集团自主研发的分布式数据库OceanBase宣布采用木兰公共协议 MulanPubL-2.0正式开源。CEO杨冰表示，Ocea...

  • 「OceanBase 4.1 体验」｜连续多年支撑双11的国产原生分布式数据库

    OceanBase是由蚂蚁集团完全自主研发的国产原生分布式数据库，始创于2010年。是全球唯一在 TPC-C 和 TPC-H 测试上都刷新了世界纪录的国产原生分布式数据库。2010年，创始人阳振坤加入阿里巴巴，OceanBase 同年诞生。...

  • taobao开源数据库-OceanBase开源了

    OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。 OceanBase解决什么问题 许多公司...

  • OceanBase开源TB级别分布式关系型数据库OceanBase理论详解

    Oceanbase的创新点在...OceanBase是一个支持海量数据的高性能数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。OceanBase解决什么问题

  • OceanBase详解(详解OceanBase特性)

    OceanBase是阿里开发的分布式关系型(SQL)数据库，其目标是支持数百TB的数据量以及数十万TPS、数百万QPS的访问量，无论是数据量还是访问量，即使采用非常昂贵的小型机甚至是大型机，单台关系数据库系统都无法承受。...

  • 第二章：OceanBase数据库产品简介

    TPC 是目前国际上唯一具有公信力的数据库功能与性能结合的公开检测标准，TPC-C测试有严格的规范， 只有通过了TPC组织的正式审计才是真正的TPC-C成绩

  • 淘宝发布开源海量数据库OceanBase揭秘

    　OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。 　OceanBase解决什么问题 　许多...

  • OceanBase-概述

    在OceanBase的产品分类里，一共有三大块，分布式数据库、工具体系、生态产品；（一个产品好不好用周边很关键）；介绍：兼容 MySQL 的单机分布式一体化数据库，具有原生分布式架构，支持金融级高可用、透明水平扩展、...

  • OceanBase将于近期开源代码！开、闭又开源，一路走来经历了哪些事情？

    蚂蚁集团自研数据库OceanBase将于近期开源代码，时间最早可锁定至6月1日。届时，广大数据库开发人员及相关从业者将可以通过OceanBase官网、GitHub等渠道下载体验OceanBase源码。

  • 【OceanBase概念】国产数据库OceanBase的那些事儿（1）初识OceanBase

    OceanBase是什么？OceanBase的应用，OceanBase的发展，数据库国产化，国产数据库，国产数据库的发展，OceanBase数据库详解，如何快速了解OceanBase数据库，什么是TPCC认证。

  • Navicat！OceanBase社区版新朋友来啦！

    Navicat Premium 16.1与Navicat for MySQL 16.1版本，将新增 OceanBase 社区版兼容功能，为用户在使用 OceanBase 社区版迁移过程中提供数据库管理开发工具新的选择。

  • 一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL

    一文带你了解三大开源关系型数据库：SQLite、MySQL和PostgreSQL。

  • 《基于YOLOv8的八段锦练习指导系统》（包含源码、完整数据集、可视化界面、部署教程）简单部署即可运行。功能完善、操作简单，适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计，代码都测试ok，包含源码、数据集、可视化页面和部署说明，可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源，毕设答辩评审绝对信服的保底85分以上，放心下载使用，拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务，拿来就能用的绝对好资源！！！ 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件，仅供学习参考, 切勿用于商业用途。

  • 大语言模型教育应用中的知识冲突挑战与应对策略

    内容概要：本文详细探讨了大语言模型（LLMs）在教育应用中遇到的知识冲突问题，包括概念定义、事实陈述和逻辑推理层面的认知不一致性。文章分析了知识冲突的技术成因，如训练数据噪声、参数化知识表示的局限、推理机制的缺陷、模型架构的不足及外部知识的偏差，并探讨了这些因素对教育应用的深远影响。文中提出了多维度的解决路径，如通过数据增强优化知识表示、利用提示强化上下文连贯、开发量规完善模型评估等。此外，文章从社会文化的宏观视角剖析了知识冲突的外部驱动因素，探讨如何在多元异质、动态演进的社会建构语境中构建开放进取、兼容融通的智能教育应用体系。 适合人群：从事教育技术研究的学者、教育工作者、人工智能研究人员和技术开发者。 使用场景及目标：①帮助教育工作者理解大语言模型在教育应用中的局限性；②为技术人员提供优化大语言模型教育应用的具体策略；③促进教育人工智能技术的可靠性、适应性和普及性提升。 其他说明：文章强调了知识冲突的有效化解不仅能够提升大语言模型在教育场景中的应用价值，还将为人工智能在更广泛领域的可持续发展奠定坚实基础。

  • 《基于YOLOv8的家具鉴定系统》（包含源码、完整数据集、可视化界面、部署教程）简单部署即可运行。功能完善、操作简单，适合毕设或课程设计.zip

    资源内项目源码是来自个人的毕业设计，代码都测试ok，包含源码、数据集、可视化页面和部署说明，可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源，毕设答辩评审绝对信服的保底85分以上，放心下载使用，拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务，拿来就能用的绝对好资源！！！ 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件，仅供学习参考, 切勿用于商业用途。

  • 数据结构day1-思维导图顺序表

    数据结构day1-思维导图顺序表

  • STM32超声波红外避障小车

    STM32超声波红外避障小车项目通过STM32微控制器实现自动避障功能。硬件部分主要包括STM32开发板、超声波传感器、红外传感器、直流电机、电池模块和电机驱动模块。超声波传感器用于测量前方障碍物的距离，红外传感器帮助小车检测地面线路或障碍物。电机驱动模块通过STM32控制直流电机的转动，从而实现小车的前进、后退和转向。 在软件方面，STM32通过编写简单的避障算法，实时读取传感器数据，并根据环境信息控制小车的运动。当超声波传感器检测到障碍物时，系统会触发后退或转向操作，避免碰撞。

  • 哈尔滨工业大学DeepSeek公开课-从图灵测试到DeepSeek.pdf

    哈尔滨工业大学DeepSeek公开课-从图灵测试到DeepSeek.pdf

Global site tag (gtag.js) - Google Analytics