`

天涯社区高性能数据引擎Memlink正式开源

 
阅读更多

 

 

 

为什么会有Memlink?

对于大型论坛服务,比如百度贴吧、天涯论坛,日均发帖量过百万或千万,日均PV过亿,日积月累下来的帖子数量可能几十亿到上百亿。这种超级论坛,其海量存储、海量访问都是一个非常有挑战性的技术难题。

中小规模的论坛(Phpwind/discuz)通常使用mysql/sql server作为后端存储,当数据量膨胀时,比如一个版面有百万、千万级别主贴,一个主贴下有数百万回复,此时使用SQL语句select … order by … limit … 进行数据查询和展现,性能可想而知。

大型论坛中的数据可以抽象为如下三类数据模型:

  1. Key=>Value结构数据。比如:版面信息、主帖信息、回帖信息等。主贴id对应主贴的信息(标题、发帖时间、作者等等),回帖id对应回贴的信息(回复内容、回复时间、回复者等等)。
  2. Key=>List结构数据。比如:主贴列表,主贴列表按发表时间或者最后回复时间进行排序;回复列表等等。
    Key=>List通常有如下特点:
    1. 可排序
    2. 可动态调整顺序
  3. 其他周边数据(SQL系统/检索系统)。比如:斑竹、会员、友情版面/链接等等,由于数据量较小、逻辑关系较复杂,可以使用sql系统存储;比如帖子检索可以使用检索系统。

对于Key=>Value系统,市面上有较多选择,它们的数据容量大小从数百万到上百亿不等,性能、功能也各有差异,由于讨论KV系统的文章很多,再次不赘述。

对于Key=>List系统,市面上可选择的余地非常小,加之线上工业级别的一些要求,经对比了一些Key=>List系统(Redis),最终选择开发memlink系统,同时开源出来,也希望为业界同行提供多一种选择,繁荣开源社区。

Memlink简介

Memlink 是一个高性能、持久化、分布式的Key=>List/Queue数据引擎。正如名称中的Memlink所示,所有数据都建构在内存中,保证了系统的高性能(读性能大约是Redis几倍到十倍),精简内存(内存消耗大约是Redis的1/4),使用了redo-log技术保证数据的持久化。此外,Memlink还支持主从复制、读写分离、数据项过滤操作等功能。

特点:

  • 内存数据引擎,性能极为高效
  • List中的Node采用块链组织,精简内存,优化查找效率
  • Node数据项可定义Mask表,支持多种过滤操作
  • 支持redo-log,数据持久化,非Cache模式
  • 分布式,主从同步
  • 读写分离,写优先处理。

与Redis区别

Redis同样也提供key=>list 存储功能,Memlink与Redis区别有:

  • Redis比较消耗内存。每个存储节点,在不支持vm的情况下要额外消耗12字节内存,在支持vm的情况下,每个节点额外消耗24字节内存。对于存储上亿条数据来说,额外消耗的内存太大。
  • Redis redo-log不够完善。redis提供了两种redo-log机制,机制一:每隔一段时间同步磁盘(此期间重启会丢失部分数据);机制二:追加log方式,会使log文件越来越膨胀,造成性能不优化(需采用额外命令减小log)。
  • 主从同步不完善。如果slaver因为某原因丢失了部分同步数据,需要重新完全获取一份主节点的所有数据。在大数据量的情况下,不太合适线上生产的需求。
  • 网络处理主事件循环只有一个线程,不能很好的利用多核;同时读写没有分离,没有进行写优先处理。
  • List中的Node没有mask表,不能进行一些属性过滤。

Memlink主要对上述特点进行了改进。

性能测试

硬件

  • CentOS release 4.6 (Final)
  • Kernel 2.6.9-67.0.22.ELsmp 32位
  • Memory 4G
  • CPU Intel(R) Xeon(R) CPU E5405 @ 2.00GHz (四核)
  • Disk 250G SATA 

客户端

  • 10个客户端,并发短连接
  • Memlink内部开启4个处理线程。
  • Redis只支持单线程模型。结果表格中的hiredis为使用hiredis客户端测试的结果。redis为官方的redis-benchmark测试结果。
天涯社区高性能数据引擎Memlink正式开源
1w 10w 100w 1000w
insert memlink 9665 9650 10078 10183
hiredis 9381 9489 8993 8976
redis 9285 9290 9287 8835
mysql 5623 5621 5468 5306
range first100 memlink 17400 17504 16614 17292
hiredis 1695 1637 1696 1586
redis 4629 4587 4504 4545
mysql 2210 2286 1955 1611
range first200 memlink 15786 15772 15964 16180
hiredis 711 711 719 692
redis 2941 2949 2941 2857
mysql 1444 1791 1870 1402
range first1000 memlink 3795 3918 3703 3250
hiredis 118 115 116 114
redis 761 739 761 735
mysql 550 692 620 686
range last100 memlink 16989 16502 13118 319
hiredis 2132 240 20 2
redis 4385 191 19 2
mysql 80 8 1 -
range last200 memlink 15915 15596 12203 316
hiredis 743 229 20 2
redis 2941 182 19 2
mysql 94 9 1 -
range last1000 memlink 3893 3641 3332 299
hiredis 120 174 19 2
redis 756 149 18 2
mysql 94 9 1 -

详细性能测试请见Benchmark

Client API

客户端命令描述:

 

 

 

命令名 类型 描述
dump 管理 立即复制一份内存数据到磁盘
clean 管理 重排某个key下的列表
stat 管理 统计信息
create 创建key
del 删除key下的某个value
insert 在key下的列表中插入一条
update 更新key下列表中某value在列表中的位置
mask 修改某个value的mask信息
tag 标记删除列表中的某个value或者恢复某个value
rmkey 删除一个key,包括它的列表
range 获取指定key下的列表中的某个范围的value
count 获取指定key下列表的条数

 

谁在使用?

目前Memlink应用于天涯来吧、天涯论坛系统。 未来Memlink的Key=>Queue会应用在天涯微博系统上。

未来

Memlink 是专注于Key => List/Queue对象的存储系统,它内存使用更精简、性能更高效。 Key => List/Queue系统作为Key => Value另一种形式补充,为高性能、海量数据的Web应用提供了新的数据存储模型选择。 


以下是对天涯社区在北京研发中心的技术负责人冯勇先生的实录采访:

1. 您好,能请您先自我介绍一下吗?您最近在做哪些有趣的事情呢?

    大家好!我是天涯技术中心系统平台部负责人冯勇,系统平台部是今年刚组建的部门,旨在优化天涯线上产品的系统架构。天涯是一个有十二年历史的网站,对于一个累积了十二年补丁的系统进行重构、优化,本身就是一件很有趣、很有挑战的事情。

2. 是出于什么初衷,天涯会开发出这样一款数据引擎出来呢?并且最后要开源出来。

近些年,Nosql系统非常流行,也确实对sql系统进行了合理补充,为Web应用提供多种数据解决方案。但是在开源Nosql系统中,key- value系统可选择较多,而key-list/queue系统可选择较少,因此我们开发了memlink来满足我们自己的需要。

    在这里,需要强调一些key-list的概念,在实际场景中有大量需要key-list的地方。比如:论坛中的主题列表、回复列表,微博中的用户关 注列表、用户feed列表、用户关注feed列表等等。如果使用key-value中的value来存储list(比如:list打包成json放入 value中),其操作性能是非常低效的。

    理想的Key-list通常需要如下特点:

       1. list是海量的、且操作性能高效
       2. list是有序的、且可动态调整顺序

      至于为什么开源?一方面,我们很多工作都得益于已有的开源系统,所以回馈开源社区是我们应做的义务;另一方面,技术分享也有利于公司本身技术的成长,并吸引更多的技术人才。

3. 能介绍一下Memlink的特性吗?

    Memlink是一个高性能、持久化、分布式的Key=>List/Queue数据引擎。正如名称中的Mem所示,所有数据都建构在内存中, 保证了系统的高性能,同时使用块链进行内存压缩,使用redo-log技术保证数据的持久化。此外,Memlink还支持主从复制、读写分离、数据项过滤 操作等功能。

    特点:

        * 内存数据引擎,性能极为高效
        * List中的Node采用块链组织,精简内存,优化查找效率
        * Node数据项可自定义Mask表,支持多种过滤操作
        * 支持redo-log,数据持久化,非Cache模式
        * 分布式,主从同步
        * 读写分离,写优先处理。

4. 我们知道市面上还有一些其他基于内存的数据引擎,比如Redis和Scalaris,跟它们相比Memlink解决了什么特别的问题吗?

    在设计和开发memlink之前,我们也认真分析对比了Redis。最终没有采用Redis原因有以下四点:

       1. Redis持久化策略(redo-log)不能完全满足线上生产的需求。对于一个成熟的互联网应用应该有足够的容错能力。比如系统统重 启、宕机等而不丢失数据。Redis持久化策略一:定时同步磁盘(此期间重启会丢失部分数据);持久化策略二:不断追加log,这样容易使log膨胀,性 能降低。Memlink持久化策略是同时借鉴Redis两种策略,在非创建快照期间追加redo-log,在完成快照后清除redo-log。
       2. Redis主从同步策略不够完善。比如:slaver因为某原因丢失了部分同步数据,则需要重新完全获取一份主节点的所有数据。在大数据量的情况下,不太合适线上生产的需求。
       3. Redis单线程模式,读写没有分离,只能使用单核。Memlink为多线程,充分利用多核,并进行了读写分离,优先保证写。
       4. 在内存消耗和性能上Memlink要优于Redis。

    Memlink是key=>list/queue引擎,Scalaris是key-value,两者功能出发点上不一样。

5. Memlink在天涯内部的哪些系统中得到了采用?可以提供一下Memlink带来的性能变化的数据吗?

    Memlink主要应用于天涯论坛类型产品(论坛、来吧)中。比如论坛的主题列表,当数据达到百万、千万量级,采用Mysql系统进行分页浏览时,基本上不能响应,而Memlink则性能提升了上百倍。具体可见Benchmark。

6. 能向广大的开发者朋友们介绍一下,如何来选择一款适用自己的NoSQL产品呢?

    首先需要确定业务需求,是否需要NoSQL产品。对于大多数百万量级、千万量级的应用,MySQL也能支持。

    其次在明确需要NoSQL产品后,应根据业务需求抽象出数据模型,比如:有些数据是需要采用key-value系统存储,有些数据是需要采用key-list系统存储,有些数据是采用文档数据库存储等等。

    对于NoSQL产品候选列表的选项,可以从如下维度进行考虑:

       1. 系统的容量、性能、软硬件环境是否符合需求?
       2. 数据的安全机制如何?各种异常是否会丢失数据?
       3. 具备主从复制功能?何种一致性策略?
       4. 可扩展性?自动扩展 or 程序进行扩展?
       5. 系统的可控性?系统的成熟度、对开发者的支持度、bug谁来修复等等

7. Memlink现在的版本号是多少?未来的发展计划是怎样的?

    Memlink现在的版本号为0.2,具备基本key-list/主从复制等功能,目前正在测试中。

    在0.3/0.4版本中,Memlink会增加双向队列、用户认证等功能。具体可以见Memlink的RoadMap。

    长远而言,Memlink专注为一个高性能、持久化、分布式的Key=>List/Queue数据引擎,不会增加其他数据存储模型。

 

 

 

分享到:
评论

相关推荐

    天涯社区开源的NoSQL数据库 Memlink.zip

    Memlink是天涯社区开发的一个高性能、持久化、分布式的Key-list/queue数据引擎。正如名称中的memlink所示,所有数据都 建构在内存中,保证了系统的高性能 (大约是redis几倍),同时使用了redo-log技术保证数据的持久...

    Memlink是一个高性能、持久化、分布式的Key=>List/Queue数据引擎

    Memlink是一款由天涯社区研发并开源的数据引擎,旨在解决Web应用中对key-list/queue系统的需求。与传统的key-value系统相比,Memlink专注于提供更高效的操作性能,尤其是在处理大规模数据集时表现出色。它通过将所有...

    基于高性能开源引擎的跨平台数据库防火墙hisql设计源码

    该项目是一款基于高性能开源引擎构建的跨平台数据库防火墙hiSQL,设计源码包含83个文件,涵盖31个头文件(h)、26个C源文件(c)、3个Markdown文件(md)、2个Python脚本(py)、1个Git忽略文件(gitignore)、1个...

    基于easyAi引擎的Java开源高性能智能客服设计源码

    该智能客服系统具备高性能、低成本、轻量级特点,能够实现与用户的自动对话、订单信息捕捉、需求识别和自动订单生成等功能。同时,它还能自动解答用户疑问,提供高效的问答服务,是目前全网速度最快的Java开源智能...

    CLUI界面引擎正式开源

    随着技术的发展,虽然图形用户界面(GUI)在许多应用中占据主导地位,但命令行界面仍然在开发者社区中占有重要地位,尤其在自动化、脚本编写以及高性能计算等领域。CLUI的开源意味着开发者现在可以自由地使用、修改...

    RustChinaConf2020-25.金明剑-《基于Rust构建高性能新型开源数据仓库》.pdf

    总的来说,Rust 的独特特性和优势使其在构建高性能数据仓库方面具有很大的潜力。通过充分利用 Rust 的内存安全和并发特性,开发者可以创建出更强大、更可靠的数据处理解决方案,以应对互联网时代的大数据挑战。

    开源的地图引擎代码

    1. **C++语言基础**:C++是面向对象的编程语言,以其效率和灵活性著称,是开发高性能应用程序的首选。在地图引擎中,C++用于创建核心数据结构、算法和图形渲染功能。 2. **Visual Studio 2005**:这是一个集成开发...

    .Net开源流程引擎RoadFlow最新版(全部源码)

    《.Net开源流程引擎RoadFlow深度解析》 .Net开源流程引擎RoadFlow是一款高效、灵活的流程管理工具,专为.NET开发者设计,提供了完整的源代码,方便开发者进行二次开发和定制。该引擎以其强大的功能和易用性,在企业...

    WPF MVVM 开源框架,包含数据验证,很不错的

    这个开源框架就是基于这种模式,提供了数据验证功能,适用于构建小型到中型的项目。 **MVVM模式** MVVM模式的核心思想是解耦视图(View)与模型(Model),通过ViewModel作为两者之间的桥梁。ViewModel负责处理...

    Tungsten Replicator:用于 MySQL 的高性能、开源数据复制引擎-开源

    Tungsten Replicator是一个高性能,免费和开源的复制引擎,它支持各种提取器和应用程序模块。 可以从MySQL,Oracle和Amazon RDS提取数据,并将其应用于众多事务存储和数据仓库存储(MySQL,Oracle和Amazon RDS; ...

    JeeSite是基于多个优秀的开源项目,高度整合封装而成的高效,高性能,强安全性的开源Java EE快速开发平台

    JeeSite是基于多个优秀的开源项目,高度整合封装而成的高效,高性能,强安全性的开源Java EE快速开发平台。JeeSite是您快速完成项目的最佳基础平台解决方案。JeeSite是在Spring Framework基础上搭建的一个Java基础...

    高性能MySQL.pdf

    《高性能MySQL》是一本深入探讨MySQL数据库系统优化与管理的经典著作。这本书涵盖了MySQL的架构、历史、性能调优以及基准测试等多个重要主题,对于数据库管理员、开发人员以及对数据库性能有高要求的技术人员来说,...

    数据之魅:基于开源工具的数据分析(美Janert 2012)清晰完整中文扫描版

    0 积分下载;文件大小:64.6 M;清晰完整中文扫描版,529页,无书签。

    开源大数据引擎:分布式Greenplum数据库内核分析

    它的分布式架构、高性能、高度可扩展性和灵活的数据处理能力,使得它成为业界在大数据存储、计算、分析和挖掘方面的首选平台。通过深入学习和掌握Greenplum的内核与架构,开发者和数据库管理员将能更好地应对大数据...

    libwtfdanmaku, Windows的高性能danmaku引擎.zip

    libwtfdanmaku, Windows的高性能danmaku引擎 libwtfdanmaku基于Direct2D和 DirectComposition API的Windows 高性能danmaku引擎。这里项目仍在开发中。特性通过 Direct2D,DirectWrite,direct 3d

    惯性导航matlab开源程序(GPS&IMU;数据融合)

    惯性导航MATLAB开源程序,特别是涉及到GPS与IMU数据融合的应用,是现代导航系统中的关键技术之一。在本文中,我们将深入探讨这个领域的核心概念、技术以及如何利用MATLAB实现这些算法。 首先,惯性导航(Inertial ...

    FACKBOOK开源的数据查询引擎

    FACKBOOK开源的数据查询引擎,相对HIVE\IMAPLA\HAWQ,性能更精彩 ,已经在京东广泛使用

    Yiso智云搜索引擎开源PHP源码

    Yiso 是一个性能极佳的搜索引擎,免费开源,亦可做收录网址平台使用!输入关键词即可获取相关的搜索结果内容 Yiso采用自主研发的 BiuSQL 数据库储存数据,不需要安装数据库,下载源码解压缩即可使用 可自行添加...

Global site tag (gtag.js) - Google Analytics