资讯频道 → 数据库
阅读更多

5顶
0踩

数据库

原创新闻 Manhattan：Twitter的下一代分布式数据库

2014-04-03 11:17 by 副主编 wangguo 评论(2) 有10274人浏览
Twitter Manhattan 分布式 数据库

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

作为世界上使用最广泛的微博客服务，Twitter月活跃用户如今已经达到了2.183亿人，每天大约有5亿条推文被发送，几乎每秒钟就产生了超过6000条推文。

在最初Twitter还没有这么大数据量的时候，该公司主要使用一些主流的技术来处理这些数据，比如开源数据库MySQL和Cassandra等，但随着用户量的飞速扩增，这些技术逐渐显示出了一些瓶颈，已经达不到Twitter实时、低延迟的需求，Twitter工程师也需要花费大量的时间来扩展这些产品。因此，基于目前需求及长远考虑，Twitter开发了自己的分布式数据库系统——Manhattan。

Twitter表示，未来该系统可能会开源，该公司还在在官方博客中介绍了该系统的详细信息。下面就来看看。

Twitter目前对于数据库产品的需求（也是Manhattan的特性）：

  • 可靠性
  • 可用性
  • 可扩展性
  • 易操作性
  • 低延迟
  • 细粒度的可缩放性
  • 开发人员的工作效率
Twitter在设计Manhattan时主要遵循的原则：

  • 保持核心轻量和简单
  • 能够更快地带来价值
  • 有限考虑多租户、服务质量（QoS）和自助服务
  • 专注于可预测性
  • 存储作为服务，而不仅仅是技术
下面来看看Manhattan的主要特性。Manhattan共分为如下4层：



  • 核心：这是存储系统最关键的部分，需要高度稳定和强大，用来处理异常、一致性、路由、拓扑管理、数据中心区域内/跨区域复制、冲突解决等。核心中的关键组件完全可插拔。
  • 存储引擎：目前有3个内部存储引擎——seadb、sstable、btree
  • 存储服务：在核心基础上构建了更多传统数据库中包含的一些功能，比如：Hadoop数据批量导入、强一致性服务、时间序列计数器服务
  • 接口：用于实现客户与存储系统的交互


更多信息：Manhattan, our real-time, multi-tenant distributed database for Twitter scale
  • 大小: 10.2 KB
  • 大小: 50.9 KB
5
顶
0
踩
评论 共 2 条 请登录后发表评论
2 楼 sp42 2014-04-08 22:00
开源否？Twitter 出品的关注下
1 楼 zhangbaoqi 2014-04-07 17:02

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • java呼叫中心系统源码-FISH-UCKeFu:基于UCKeFu

    java呼叫中心系统源码 优客服 优客服，是一个多渠道融合的客户支持服务平台，包含WebIM，微信，电话，邮件，短信等接入渠道、智能机器人 ...本项目有四个依赖包，jave 和Mondrian，aliyun-java-sdk-cor

  • 网络编程资源大集合(包含前端、java、linux、安卓、github开源项目、开发工具等)

    安卓各组件介绍一、ListView二、ActionBar三、Menu四、ViewPager 、Gallery五、GridView六、ImageView七、ProgressBar八、其他2.GitHub上优秀Android开源项目3. Android开发神器1.Xabber客户端2.oschina客户端3.手机...

  • 【java毕业设计】基于javaEE+SSM+MySql的BS架构微博系统设计与实现（毕业论文+程序源码）——BS架构微博系统

    大家好，今天给大家介绍基于javaEE+SSM+MySql的BS架构微博系统设计与实现，文章末尾附有本毕业设计的论文和源码下载地址哦。文章目录： 项目难度：中等难度 适用场景：相关题目的毕业设计 配套论文字数：28461个字77...

  • GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • 最常用的GitHub—— Android 开源项目整理（精品）

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • 暴力拒绝白嫖，著名开源项目作者删库跑路！神秘Bug影响超2万个项目，亚马逊云也躺枪...

    据火线安全不完全统计，仅在Github上，就有60644个开源项目发布的321094软件包存在风险，这一漏洞可以说是影响了互联网上70%以上企业系统的正常运转。 由于Java应用程序通常会记录各种各样的事件，例如用户发送和...

  • 开源项目总结帖（整理自Trinea的github）

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • GitHub 优秀的 Android 开源项目和框架

    GitHub 优秀的 Android 开源项目 淘宝技术牛p博客整理开发中最常用的GitHub上 优秀的 Android 开源项目整理（精品） 博客分类：  Android 开源集合   本文章已收录于： Git 原文地址为...

  • 转 【Android 应用开发】GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • 【Android 应用开发】GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • GitHub 优秀的 Android 开源项目(值得研究)

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • 别瞎搞了！微博、知乎就是这么设计Feed流系统的~

    点击上方好好学java，选择星标公众号 重磅资讯，干货，第一时间送达 今日推荐：14 个 github 项目！个人原创100W +访问量博客：点击前往，查看更多 # 简介差不多...

  • 淦！女票问我能不能开发一个微信朋友圈、微博？

    点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 8:55 更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路，很肝~...

  • polylearn-0.1.dev0-cp35-cp35m-win32.whl.rar

    python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

  • 基于Simulink的语音信号降噪与增强.docx

    基于Simulink的语音信号降噪与增强.docx

  • java资源Java条形码生成库 Barcode4J

    java资源Java条形码生成库 Barcode4J提取方式是百度网盘分享地址

  • pgmagick-0.7.5-cp27-cp27m-win32.whl.rar

    python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

  • pendulum-2.1.2-cp310-cp310-win32.whl.rar

    python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

  • com.bishua666.luxxx1.apk

    com.bishua666.luxxx1.apk

  • Nginx配置文件中FastCGI相关参数理解

    Nginx配置文件中FastCGI相关参数理解

Global site tag (gtag.js) - Google Analytics