资讯频道 → 数据库
阅读更多

25顶
0踩

数据库

原创新闻 Twitter 开源其 MySQL 优化成果

2012-04-10 14:08 by 副主编 wangguo 评论(17) 有12890人浏览
Twitter MySQL 优化

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

据Twitter工程博客透露，Twitter决定开源其使用的、经过优化的MySQL版本。

Twitter工程师Jeremy Cole和Davi Arnaut在博客中称：
引用
MySQL是Twitter大部分数据（如兴趣图谱、时间轴、用户数据和推文等）的主要存储技术。由于我们的规模，我们比其他公司更能推动MySQL的发展。当然，MySQL是开源软件，所以我们可以改进它，使之满足我们的需要。我们相信共享知识和开放源码有利于创新，我们已经决定在BSD许可协议下开源。



在该博客中，还列出了Twitter在MySQL上的主要改进工作，包括：

  • 添加额外的状态变量，尤其是在InnoDB内部。这使我们能够更有效地监控我们的系统，以及更好地了解处理产品工作负载时的行为。
  • 大型NUMA系统中的内存分配优化。在启动时充分分配InnoDB的缓冲池，甚至在服务器内存压力较高的情况下，确保服务器的性能。
  • 通过改善服务器端的Statement Timeout（声明超时），来减少不必要的工作。这允许服务器主动取消超时间隔大于1ms的查询。
  • 使用安全、轻量级的方法导出和恢复InnoDB缓冲池。
  • 针对SSD优化MySQL，包括页面刷新（page-flushing）行为和减少磁盘写入，以提高磁盘寿命。
目前Twitter的MySQL源码托管在Github上，基于BSD许可协议。

源码地址：https://github.com/twitter/mysql

25
顶
0
踩
评论 共 17 条 请登录后发表评论
17 楼 liang1022 2012-06-20 08:18
yangy608 写道
改数据库内核，酷毙了。。。天朝那些所谓的大公司敢吗？？？

牛頓說：我之所以偉大，是因為我站在巨人的肩膀上。
天朝那些所謂的大公司也許發揮的淋漓盡致
16 楼 _Chaos_ 2012-04-12 23:27
jamcode 写道
yangy608 写道
改数据库内核，酷毙了。。。天朝那些所谓的大公司敢吗？？？

。。。。。如今技术论坛也沦为一些弱类愤青码工FK下天朝的地方。大家都清楚的事情就不必再啰嗦了。。。事实，其实没你想像的那么酷毙和ZB

听在淘宝待过的朋友说他们也自己优化了MySql
15 楼 jamcode 2012-04-12 17:03
yangy608 写道
改数据库内核，酷毙了。。。天朝那些所谓的大公司敢吗？？？

。。。。。如今技术论坛也沦为一些弱类愤青码工FK下天朝的地方。大家都清楚的事情就不必再啰嗦了。。。事实，其实没你想像的那么酷毙和ZB
14 楼 gavinh_2008 2012-04-12 13:42
TC是一切技术的剽窃场所，谈何创新与进取
13 楼 hantsy 2012-04-12 12:56
yangy608 写道
改数据库内核，酷毙了。。。天朝那些所谓的大公司敢吗？？？

天朝只会改界面，改版本信息。。。内核有几个公司有能力改的。
12 楼 yangy608 2012-04-12 10:48
改数据库内核，酷毙了。。。天朝那些所谓的大公司敢吗？？？
11 楼 jamcode 2012-04-12 09:46
weng 写道
有谁知道上图中的字体是什么字体呀,很漂亮

DejaVu Sans Mono  严格的英文等宽字体
10 楼 hantsy 2012-04-12 09:41
God。。。代码能不能合并到一起，Google，Twitter 都有自己的 MySQL分支。
9 楼 nba 2012-04-12 09:11
t0uch 写道
dyyaries 写道
weng 写道
有谁知道上图中的字体是什么字体呀,很漂亮

Consolas

不像consolas，像是andale mono，mac上的渲染效果

看字母 g 就知道不是consolas了
8 楼 t0uch 2012-04-11 23:15
dyyaries 写道
weng 写道
有谁知道上图中的字体是什么字体呀,很漂亮

Consolas

不像consolas，像是andale mono，mac上的渲染效果
7 楼 xuyiooo 2012-04-11 10:51
牛真牛，MYSQL也可以很强大
6 楼 dyyaries 2012-04-11 09:54
weng 写道
有谁知道上图中的字体是什么字体呀,很漂亮

Consolas
5 楼 香克斯 2012-04-11 08:55
境界不一样啊
4 楼 yorkyao 2012-04-11 00:29
This repository is published in order to share code and information and is not intended to be used directly outside of Twitter. We provide no guarantees of bug fixes, ongoing maintenance, compatibility, or suitability for any user outside of Twitter.

3 楼 weng 2012-04-10 22:28
有谁知道上图中的字体是什么字体呀,很漂亮
2 楼 mengyancui 2012-04-10 21:55
   
1 楼 guilipan 2012-04-10 16:23
境界啊。。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • Tweety IRC Bot:YourIRC Twitter PHP5 / MySQL Bot-开源

    该机器人是YourIRC Networks机器人，它是由纯板坯制成的。

  • page-flushing mysql twitter_Twitter将开源其使用的MySQL

    MySQL是被广泛使用的一个...对于关注 MySQL 可扩展性的 DBA 人员来说，当然非常希望看到像Twitter这样的网站是怎样运用和优化MySQL的。Jeremy Cole和Davi Arnaut 是Twitter DBA和DB开发组的成员，他们表示，大部分Tw...

  • page-flushing mysql twitter_Twitter 将其使用的 MySQL 开源

    新闻来源:Twitter官方博客MySQL 是被广泛使用的一个数据库，...对于关注 MySQL 可扩展性的 DBA 人员来说，当然非常希望看到像 Twitter 这样的网站是怎样运用和优化 MySQL 的。Jeremy Cole 和 Davi Arnaut 是 Twit...

  • page-flushing mysql twitter_Twitter将其使用的MySQL开源 特性预览

    【IT168资讯】MySQL 是被广泛使用的一个数据库，但是 Web...对于关注 MySQL 可扩展性的 DBA 人员来说，当然非常希望看到像 Twitter 这样的网站是怎样运用和优化 MySQL 的。Jeremy Cole 和 Davi Arnaut 是 Twitter DB...

  • gizzard mysql_Twitter将其使用的MySQL数据库开源

    MySQL 是被广泛使用的一个数据库，但是 ...对于关注 MySQL 可扩展性的 DBA 人员来说，当然非常希望看到像 Twitter 这样的网站是怎样运用和优化 MySQL 的。Jeremy Cole 和 Davi Arnaut 是 Twitter DBA 和 DB 开发组...

  • Twitter开源后哪些技术和算法可以借鉴

    Twitter 的内容推荐算法和用户画像算法都基于自然语言处理技术，如果 Twitter...：广告定位算法是 Twitter 的核心算法之一，如果 Twitter 将其开源，那么其他公司和组织可以使用该算法来优化他们的广告投放和营销效果。

  • MySQL开源通用分支WebScaleSQL.zip

    WebScaleSQL 是由FB/谷歌/LinkedIn/Twitter四家公司将共享一组改编自上游MySQL的开源通用分支。 该项目包括了来自这四家公司的MySQL工程师团队的工作成果，由于它是开源的，因此其他感兴趣的个人和公司也能够基于...

  • Twitter决定开源其使用的、经过优化的MySQL版本

    MySQL是Twitter大部分数据（如兴趣图谱、时间轴、用户数据和推文等）的主要存储技术。由于我们的规模，我们比其他公司更能推动MySQL的发展。当然，MySQL是开源软件，所以我们可以改进它，使之满足我们的需要。我们...

  • ShoutOut-Twitter-开源

    Shout Out是一个使用ASP.NET和MySQL开发的类似Twitter的网站。 Twitter完全消除了神秘感。 喊叫是在ASP.NET，MySQL中开发的。 用户可以大喊，大喊，关注等等！

  • twitter 开源自己的mysql

    twitter在mysql5.5源生版本上优化了在NUMA系统下内存的分配，改进了服务器端语句超时的支持，支持更多的状态，输出和恢复innodb buffer pool,优化mysql对ssd设备的支持。 添加的状态变量：  1. innodb文件和表...

  • MySQL大表优化

    当MySQL单表记录数过大时，数据库的CRUD性能会明显下降，一些常见的优化措施如下 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主...

  • 【企业开源系列】Twitter：收发一条推文的背后

    7年前的一个创意，成就了如今风靡全世界的社交网络和微博客服务——Twitter。如今Twitter的月活跃用户数达到了2亿多，每天大约有5亿条推文被发送。...本文主要介绍支撑Twitter成功运转的主要的开源项目。

  • 20+ Twitter开源软件精选

    从Twitter的GitHub账户中可以看到，Twitter已经开源的开源项目有近200个，领域涉及分布式架构、大数据、异步网络传输（客户端、服务端）、Web、工具等。Twitter可以称为构建于开源项目之上，该公司开源负责人Chris ...

  • SQL优化最全总结 - MySQL（2022最新版）

    雪花算法id： snowflake是Twitter开源的分布式ID生成算法，结果是64bit的Long类型的ID，有着全局唯一和有序递增的特点。 如果小的系统，使用自增id完全可以，如果系统较大，或者说以后可能会成为大的系统，那么就有...

  • MySQL大表优化方案

    当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化： 单表优化 除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为...

  • PHP Twitter 微博开源代码

    PHP 开源 Twitter微博代码。 当下流行的Twitter的PHP开源代码。MySQL数据库。

  • 聊聊企业开源版本的MySQL

    在MySQL的世界里有公开发行的版本有 oracle MySQL Percona MySQL MariaDB 上述三个版本持续开发和发布，进行版本和功能的迭代，提供新特性和一些工具而闻名于世。 而不少具有开发实力的企业定制了自己的MySQL...

  • Twitter开源软件项目列表

    在Twitter公司，当计划开展一个新项目时，工程师会首先衡量需求以及开源项目的能力，并通过定制开源项目来更好地满足需求。正是如此，Twitter才发展如此迅速，并轻松解决了日益飞速扩增的流量和请求。 Twitter从...

  • Twitter开源软件列表

    从Twitter的GitHub账户中可以看到，Twitter已经开源的开源项目有近200个，领域涉及分布式架构、大数据、异步网络传输（客户端、服务端）、Web、工具等。Twitter可以称为构建于开源项目之上，该公司开源负责人Chris ...

  • 果壳处理器研究小组(Topic基于RISCV64果核处理器的卷积神经网络加速器研究)详细文档+全部资料+优秀项目+源码.zip

    【资源说明】 果壳处理器研究小组(Topic基于RISCV64果核处理器的卷积神经网络加速器研究)详细文档+全部资料+优秀项目+源码.zip 【备注】 1、该项目是个人高分项目源码，已获导师指导认可通过，答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用，也可作为毕业设计、课程设计、作业、项目初期立项演示等，当然也适合小白学习进阶。 4、如果基础还行，可以在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！

Global site tag (gtag.js) - Google Analytics