资讯频道 → 数据库
阅读更多

5顶
0踩

数据库

原创新闻 Manhattan：Twitter的下一代分布式数据库

2014-04-03 11:17 by 副主编 wangguo 评论(2) 有10302人浏览
Twitter Manhattan 分布式 数据库

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

作为世界上使用最广泛的微博客服务，Twitter月活跃用户如今已经达到了2.183亿人，每天大约有5亿条推文被发送，几乎每秒钟就产生了超过6000条推文。

在最初Twitter还没有这么大数据量的时候，该公司主要使用一些主流的技术来处理这些数据，比如开源数据库MySQL和Cassandra等，但随着用户量的飞速扩增，这些技术逐渐显示出了一些瓶颈，已经达不到Twitter实时、低延迟的需求，Twitter工程师也需要花费大量的时间来扩展这些产品。因此，基于目前需求及长远考虑，Twitter开发了自己的分布式数据库系统——Manhattan。

Twitter表示，未来该系统可能会开源，该公司还在在官方博客中介绍了该系统的详细信息。下面就来看看。

Twitter目前对于数据库产品的需求（也是Manhattan的特性）：

  • 可靠性
  • 可用性
  • 可扩展性
  • 易操作性
  • 低延迟
  • 细粒度的可缩放性
  • 开发人员的工作效率
Twitter在设计Manhattan时主要遵循的原则：

  • 保持核心轻量和简单
  • 能够更快地带来价值
  • 有限考虑多租户、服务质量（QoS）和自助服务
  • 专注于可预测性
  • 存储作为服务，而不仅仅是技术
下面来看看Manhattan的主要特性。Manhattan共分为如下4层：



  • 核心：这是存储系统最关键的部分，需要高度稳定和强大，用来处理异常、一致性、路由、拓扑管理、数据中心区域内/跨区域复制、冲突解决等。核心中的关键组件完全可插拔。
  • 存储引擎：目前有3个内部存储引擎——seadb、sstable、btree
  • 存储服务：在核心基础上构建了更多传统数据库中包含的一些功能，比如：Hadoop数据批量导入、强一致性服务、时间序列计数器服务
  • 接口：用于实现客户与存储系统的交互


更多信息：Manhattan, our real-time, multi-tenant distributed database for Twitter scale
  • 大小: 10.2 KB
  • 大小: 50.9 KB
5
顶
0
踩
评论 共 2 条 请登录后发表评论
2 楼 sp42 2014-04-08 22:00
开源否？Twitter 出品的关注下
1 楼 zhangbaoqi 2014-04-07 17:02

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • java呼叫中心系统源码-FISH-UCKeFu:基于UCKeFu

    java呼叫中心系统源码 优客服 优客服，是一个多渠道融合的客户支持服务平台，包含WebIM，微信，电话，邮件，短信等接入渠道、智能机器人 ...本项目有四个依赖包，jave 和Mondrian，aliyun-java-sdk-cor

  • 网络编程资源大集合(包含前端、java、linux、安卓、github开源项目、开发工具等)

    安卓各组件介绍一、ListView二、ActionBar三、Menu四、ViewPager 、Gallery五、GridView六、ImageView七、ProgressBar八、其他2.GitHub上优秀Android开源项目3. Android开发神器1.Xabber客户端2.oschina客户端3.手机...

  • 【java毕业设计】基于javaEE+SSM+MySql的BS架构微博系统设计与实现（毕业论文+程序源码）——BS架构微博系统

    大家好，今天给大家介绍基于javaEE+SSM+MySql的BS架构微博系统设计与实现，文章末尾附有本毕业设计的论文和源码下载地址哦。文章目录： 项目难度：中等难度 适用场景：相关题目的毕业设计 配套论文字数：28461个字77...

  • GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • 最常用的GitHub—— Android 开源项目整理（精品）

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • 暴力拒绝白嫖，著名开源项目作者删库跑路！神秘Bug影响超2万个项目，亚马逊云也躺枪...

    据火线安全不完全统计，仅在Github上，就有60644个开源项目发布的321094软件包存在风险，这一漏洞可以说是影响了互联网上70%以上企业系统的正常运转。 由于Java应用程序通常会记录各种各样的事件，例如用户发送和...

  • 开源项目总结帖（整理自Trinea的github）

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • GitHub 优秀的 Android 开源项目和框架

    GitHub 优秀的 Android 开源项目 淘宝技术牛p博客整理开发中最常用的GitHub上 优秀的 Android 开源项目整理（精品） 博客分类：  Android 开源集合   本文章已收录于： Git 原文地址为...

  • 转 【Android 应用开发】GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • 【Android 应用开发】GitHub 优秀的 Android 开源项目

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • GitHub 优秀的 Android 开源项目(值得研究)

    android-pulltorefresh 一个强大的拉动刷新开源项目，支持各种控件下拉刷新 ListView、ViewPager、WevView、ExpandableListView、GridView、(Horizontal )ScrollView、Fragment上下左右拉动刷新，比下面...

  • 别瞎搞了！微博、知乎就是这么设计Feed流系统的~

    点击上方好好学java，选择星标公众号 重磅资讯，干货，第一时间送达 今日推荐：14 个 github 项目！个人原创100W +访问量博客：点击前往，查看更多 # 简介差不多...

  • 淦！女票问我能不能开发一个微信朋友圈、微博？

    点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！每天 8:55 更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2020 超神之路，很肝~...

  • 级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均

    级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,级联H桥SVG无功补偿系统在不平衡电网中的三层控制策略：电压电流双闭环PI控制、相间与相内电压均衡管理,不平衡电网下的svg无功补偿，级联H桥svg无功补偿statcom，采用三层控制策略。 （1）第一层采用电压电流双闭环pi控制，电压电流正负序分离，电压外环通过产生基波正序有功电流三相所有H桥模块直流侧平均电压恒定，电流内环采用前馈解耦控制； （2）第二层相间电压均衡控制，注入零序电压，控制通过注入零序电压维持相间电压平衡； （3）第三层相内电压均衡控制，使其所有子模块吸收的有功功率与其损耗补，从而保证所有H桥子模块直流侧电压值等于给定值。 有参考资料。 639,核心关键词： 1. 不平衡电网下的SVG无功补偿 2. 级联H桥SVG无功补偿STATCOM 3. 三层控制策略 4. 电压电流双闭环PI控制 5. 电压电流正负序分离 6. 直流侧平均电压恒定 7. 前馈解耦控制 8. 相间电压均衡控制 9. 零序电压注入 10. 相内电压均衡控制 以上十个关键词用分号分隔的格式为：不

  • GTX 1080 PCB图纸

    GTX 1080 PCB图纸，内含图纸查看软件

  • 深度优化与应用：提升DeepSeek润色指令的有效性和灵活性指南

    内容概要：本文档详细介绍了利用 DeepSeek 进行文本润色和问答交互时提高效果的方法和技巧，涵盖了从明确需求、提供适当上下文到尝试开放式问题以及多轮对话的十个要点。每一部分内容都提供了具体的示范案例，如指定回答格式、分步骤提问等具体实例，旨在指导用户更好地理解和运用 DeepSeek 提升工作效率和交流质量。同时文中还强调了根据不同应用场景调整提示词语气和风格的重要性和方法。 适用人群：适用于希望通过优化提问技巧以获得高质量反馈的企业员工、科研人员以及一般公众。 使用场景及目标：本文针对所有期望提高 DeepSeek 使用效率的人群，帮助他们在日常工作中快速获取精准的答案或信息，特别是在撰写报告、研究材料准备和技术咨询等方面。此外还鼓励用户通过不断尝试不同形式的问题表述来进行有效沟通。 其他说明：该文档不仅关注实际操作指引，同样重视用户思维模式转变——由简单索取答案向引导 AI 辅助创造性解决问题的方向发展。

  • 基于FPGA与W5500实现的TCP网络通信测试平台开发-Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivad

    基于FPGA与W5500实现的TCP网络通信测试平台开发——Zynq扩展口Verilog编程实践,基于FPGA与W5500芯片的TCP网络通信测试及多路Socket实现基于zynq开发平台和Vivado 2019软件的扩展开发,基于FPGA和W5500的TCP网络通信 测试平台 zynq扩展口开发 软件平台 vivado2019.2，纯Verilog可移植 测试环境 压力测试 cmd命令下ping电脑ip，同时采用上位机进行10ms发包回环测试，不丢包（内部数据回环，需要时间处理） 目前实现单socket功能，多路可支持 ,基于FPGA; W5500; TCP网络通信; Zynq扩展口开发; 纯Verilog可移植; 测试平台; 压力测试; 10ms发包回环测试; 单socket功能; 多路支持。,基于FPGA与W5500的Zynq扩展口TCP通信测试：可移植Verilog实现的高效网络通信

  • Labview液压比例阀伺服阀试验台多功能程序：PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警及记录、自动实验、数据处理与查询存储，报表生成与打印一体化解决方案 ,Labview液压比例阀

    Labview液压比例阀伺服阀试验台多功能程序：PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警及记录、自动实验、数据处理与查询存储，报表生成与打印一体化解决方案。,Labview液压比例阀伺服阀试验台多功能程序：PLC通讯、液压动画模拟、手动控制与调试、传感器标定、报警管理及实验自动化,labview液压比例阀伺服阀试验台程序：功能包括，同PLC通讯程序，液压动画，手动控制及调试，传感器标定，报警设置及报警记录，自动实验，数据处理曲线处理，数据库存储及查询，报表自动生成及打印，扫码枪扫码及信号录入等~ ,核心关键词：PLC通讯; 液压动画; 手动控制及调试; 传感器标定; 报警设置及记录; 自动实验; 数据处理及曲线处理; 数据库存储及查询; 报表生成及打印; 扫码枪扫码。,Labview驱动的智能液压阀测试系统：多功能控制与数据处理

  • 华为、腾讯、万科员工职业发展体系建设与实践.pptx

    华为、腾讯、万科员工职业发展体系建设与实践.pptx

  • 基于遗传算法的柔性车间调度优化 附Matlab代码.rar

    1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

Global site tag (gtag.js) - Google Analytics