`
骑猪逛街666
  • 浏览: 143896 次
  • 性别: Icon_minigender_2
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

阿里下一代数据库技术:把数据库装入容器不再是神话

阅读更多
阅读原文请点击:http://click.aliyun.com/m/21816/
摘要: 张瑞,阿里集团数据库技术团队负责人,阿里巴巴研究员,Oracle ACE。双十一数据库技术总负责人,曾两次担任双十一技术保障总负责人。自2005年加入阿里巴巴以来,一直主导整个阿里数据库技术的不断革新。

回顾视频:http://yq.aliyun.com/webinar/play/220
张瑞,阿里集团数据库技术团队负责人,阿里巴巴研究员,Oracle ACE。双十一数据库技术总负责人,曾两次担任双十一技术保障总负责人。自2005年加入阿里巴巴以来,一直主导整个阿里数据库技术的不断革新。

近日,在京举行的2017中国数据库技术大会上,来自阿里巴巴集团研究员张瑞发表了题为《面向未来的数据库体系架构的思考》的主题演讲。主要介绍了阿里数据库技术团队正在建设阿里下一代数据库技术体系的想法和经验,希望能够把阿里的成果、踩过的坑以及面向未来思考介绍给与会者,为中国数据库技术的发展出一份力。

1

演讲全文:

我先介绍一下我自己,我2005年加入阿里一直在做数据库方面的工作,今天这个主题是我最近在思考阿里巴巴下一代数据库体系方面的一些想法,在这里分享给大家,希望能够抛砖引玉。大家如果能够在我今天分享后,结合自己面对的实际场景,得到一些体会,有点想法的话,我今天分享的目的就达到了。

今天我会讲以下几方面内容:首先讲一下我们在内核上的一点创新、数据库怎么实现弹性调度、关于智能化的思考、最后是曾经踩过的坑和看到未来的方向。

阿里场景下数据库所面临的问题

2

首先说一下,阿里巴巴最早一代使用的数据库技术是Oracle,后面大家也知道一件事情就是去IOE,去IOE过程中我们迈向了使用开源数据库的时代,这个时代今天已经过去,这个过程大概持续了五六年,整个阿里巴巴有一个大家都知道的开源MYSQL分支--AliSQL,我们在上面做了大量的改进,所以我这里列了一下在AliSQL上的一些改进,但今天我实际上并不想讲这个,我想讲一下面向未来的下一代数据库技术、数据库架构会往哪个方向走。

我觉得是这样的,因为今天的阿里巴巴毕竟是一个技术的公司,所以很多时候我们会看比如说Google或者是一些互联网的大的公司,他们在技术上创新点来自于哪里?来自于问题。就是说今天在座的各位和我是一样的,你所面对场景下的问题是什么、你看问题深度如何决定了你今天创造的创新有多大。

所以今天我们重新看一下阿里面临的问题是什么,相信在座的各位一定也有这样的想法,阿里所面临的问题不一定是你们的问题,但我想说今天通过阿里面临的问题,以及我们看到这些问题后所做的事情,期待能够给大家带来参考,希望大家也能够看到自己所面临的问题是什么,你将如何思考。

3

可以看到其实阿里巴巴的应用和Facebook、Google的还是有很大区别的,我们也找他们做了交流,发现跟他们的业务场景真的不一样,首先我们的主要应用是交易型的,这些应用会有些什么要求,你会看到有这些点(见图片),下面主要讲一下我们的思考。

今天数据的高可用和强一致是非常重要的,数据不一致带来的问题是非常非常巨大的,大家也用淘宝,也是阿里巴巴一些服务的用户,数据不一致带来的问题,每一个用户、甚至我的父母都会关注这些事情。

第二,今天存储成本是非常高的,所有的数据中心已经在用SSD,但数据的存储成本依然是一个大型企业面临的一个非常大的问题,这都是实实在在钱的问题。

另外刚才也提到了,数据都是有生命周期的,那么数据尤其是交易数据是有非常明显的冷和热的状态,大家一定很少看自己一年前在淘宝的购买记录,但是当下的购买记录会去看,那系统就需要经常会去读它、更新它。

还有一个特点是今天阿里的业务还是相对简单的,比如我们要在OLTP性能上做到极致性。还有一个阿里巴巴特有的点就是双十一,双十一本质上是什么,本质上就是制造了一个技术上非常大的热点效应。这对我们提出什么样的需求呢?需求就是一个极致弹性的能力,数据库实际上在这个方向是非常欠缺的,数据库怎么样去做到弹性伸缩是非常难的事情。

最后我想说说DBA,今天在座的很多人可能都是DBA,我想说一下阿里在智能化这个方向上得到的思考是什么样的,我们有海量的数据,我们也有很多经验很丰富的DBA,但这些DBA怎么样去完成下一步的转型、怎么样不成为业务的瓶颈?数据库怎么样做到自诊断、自优化。这是我们看到的问题,最后我也会来分享一下我在这方面的思考。

阅读原文请点击:http://click.aliyun.com/m/21816/
分享到:
评论

相关推荐

    2017阿里技术年度精选01

    阿里数据库技术解读 阿里下一代数据库技术:把数据库装入容器不再是神话 接下时序数据存储的挑战书,阿里 HiTSDB 诞生了 运维 49 61 77 96 超全总结 | 阿里如何应对电商故障?神秘演练细节曝光 如何高效排查系统故障?...

    2017阿里技术年度精选(上)

    5. **阿里下一代数据库技术:把数据库装入容器不再是神话** - **技术创新**:探讨了将传统的关系型数据库部署到容器化环境中的可能性及其带来的好处。 - **关键技术**:介绍了容器化数据库的实现原理,包括容器...

    2017阿里技术年度精选 上 .pdf

    文中所指“把数据库装入容器”,意味着阿里技术团队在数据库服务的容器化方面进行了探索。 6. 时序数据存储挑战:时序数据通常具有时间戳,用于记录连续时间序列上的数据点,如金融交易数据、传感器数据等。阿里...

    如何正确处理exchange数据库装载不成功的提示

    在 Exchange 控制台中,刷新组织配置和邮箱部分,应能看到数据库状态变为 "已装入"。验证用户是否能正常收发邮件,确认问题已完全解决。 总的来说,处理 Exchange 数据库装载失败的问题需要对数据库状态有深入理解...

    如何用MySQL创建数据库和数据库表

    MySQL 数据库创建和管理 MySQL 是一种关系数据库管理系统,广泛应用于 Web 应用程序中。本文将详细介绍如何使用 MySQL 创建数据库和数据库表,并对数据库表进行基本操作。 一、创建数据库 在 MySQL 中,创建...

    第-章数据库恢复技术优秀文档.ppt

    数据库恢复技术 数据库恢复技术是指将数据库从错误状态恢复到某一已知的正确状态的过程。数据库恢复技术是数据库管理系统中非常重要的一部分,因为数据库系统中的故障是不可避免的。 事务的基本概念 事务是数据库...

    命令提示符 数据库操作

    命令提示符数据库操作是指在命令提示符下进行一些数据库、表的操作的命令。下面是相关的知识点: 一、连接MYSQL * 连接到本机上的MYSQL:`mysql -h 主机地址 -u 用户名 -p 用户密码` * 连接到远程主机上的MYSQL:`...

    数据库技术-.pptx

    数据库技术是信息技术领域的重要组成部分,它涉及数据的存储、管理和访问。本节主要围绕数据库的基本概念、关系代数、数据库设计以及关系数据库语言SQL展开。 5.1 数据库基本概念 1. 数据库技术与数据库系统 ...

    软考数据库技术简答题

    根据给定的信息,我们可以整理出一系列关于数据库技术的重要知识点,主要涵盖了数据库系统的基本概念、结构、数据模型以及数据库管理系统(DBMS)的功能等方面。 ### 一、数据库技术基本概念 #### 1. 数据库特点 -...

    数据库 学习总结.docx

    数据库是现代信息技术的核心组成部分,它在各行各业中扮演着至关重要的角色,如交通运输、银行金融和工商企业等。数据库不仅仅是存储数据的仓库,而是一个有组织、可共享的大量数据集合,能够体现数据之间的关系并...

    Java网络数据库编程及其应用 (1).pdf

    Java 网络数据库编程是在 Java 平台上实现的网络数据库编程技术,主要应用于电子商务和动态网站的开发。Java 网络数据库编程技术可以将数据存储在数据库中,并提供了访问和操作数据的接口。 Java 网络数据库编程...

    数据库设计技术

    ### 数据库设计技术详解 #### 一、数据库技术概论 **1.1 数据库的定义与发展** 数据库是指按照一定的数据结构来组织、存储和管理数据的仓库。它不仅仅局限于数据的存储,更重要的是提供了多种数据管理的方式。...

    医院信息系统ORACLE数据库升级解决方案.pdf

    ORACLE数据库是医院信息系统中最常用的关系型数据库管理系统。然而,早期版本的ORACLE数据库已经不再获得技术支持,这使得医院信息系统中的数据库升级变得非常必要。ORACLE数据库升级可以带来许多好处,如提高系统...

    数据库设计报告范本.docx

    - **物理设计**:选择合适的物理结构和存取方法,确保数据库在特定环境下的高效运行。 - **实施**:创建数据库,装入数据,调试应用程序,确保系统正常运行。 5. **需求分析的重要性**:需求分析是设计过程的基石...

    海南大学《数据库》知识点总结.pdf

    关系数据库是最常见的一种数据库类型,它通过表格的形式来组织数据。关系数据库遵循一系列的规则,包括: - **原子性**:数据项不可再分。 - **唯一性**:每一行数据都有唯一的标识。 - **列同质性**:同一列的数据...

    数据库资料,数据库题型

    数据库是信息管理的核心工具,主要用于存储、组织和检索数据。本题涉及的数据库知识点主要涵盖了数据库的基本概念、数据模型、数据库设计的各个阶段以及规范化理论。 1. **E-R模型**:E-R(实体-关系)模型是数据库...

    oracle数据库管理手册

    - 将数据库装入实例:ALTER DATABASE MOUNT; - 打开一个关闭的数据库:ALTER DATABASE OPEN; **4.3 关闭数据库** - 正常关闭:SHUTDOWN NORMAL; - 立即关闭:SHUTDOWN IMMEDIATE; - 事务关闭:SHUTDOWN ...

    DB2 数据库常用命令

    ### DB2 数据库常用命令详解 #### 一、db2move — 数据库迁移与转换工具 ...通过上述命令和操作,DB2数据库管理员能够有效地管理和优化数据库性能,确保数据库系统在高负载环境下依然保持高效稳定。

Global site tag (gtag.js) - Google Analytics