`
cwqcwk1
  • 浏览: 86945 次
文章分类
社区版块
存档分类
最新评论

Erlang提高ETS并发读写性能

 
阅读更多
ETS是Erlang内置的内存数据库,可用于多进程共享数据,具有并发读写的性能,文章就这点展开探讨,重点说说ets并发读写两个参数的优缺点及适用场合。

比如新建一个person的ets表:
ets:new(person, [set, public, named_table, {write_concurrency, true}, {read_concurrency, true}]).

说说ets并发读写的两个参数:write_concurrency /read_concurrency

write_concurrency(并发写)
可以提高多进程并发写ets的效率。通常来说,ets写数据时整张表是锁定的,其他进程不能进行读写直到前面的操作完成。并发写可以改变这个情况,同一个表中的不同记录可以被多个进程并发读写。有了这个参数,使得ets写记录时表读写锁变成了读锁,就是说,只要不是同一条记录,还可以继续往这个ets表写入数据,提高了并发写效率。但并发写也有弊端,降低数据连续写入的效率和性能。如果有且只有一个进程在读写数据,将会带来一定的开销。而测试发现这个开销比较小,可以忽略。而且,只有一个进程在读写数据的场合比较小。
所以,并发写的适用场合如下:
1. 数据并发读写很频繁
2. 并发读写的数据量比较少(记录数)
但是,像这样一次性插入多条记录,ets要保证原子性,并发效率会大打折扣:
ets:insert(person, [{john, 28}, {lucy, 25}, {tom, 2}]).
  /* ets:insert/2 的实现(erl_db.c)
   * 如果第2个参数是列表,就锁表,不是就锁记录
   */

  /* Write lock table if more than one object to keep atomicy */
    kind = ((is_list(BIF_ARG_2) && CDR(list_val(BIF_ARG_2)) != NIL)
	    ? LCK_WRITE : LCK_WRITE_REC);
另外,这个参数目前不支持ordered_set 类的ets表

read_concurrency(并发读)
优化ets并发读性能,特别是在多核smp的支持下,读操作变得比较廉价。但是同时也带来一个问题,读写操作之间的切换消耗更多的性能。
所以,并发读的适用场合如下:
1. 读比写更加频繁
2. 大量的读少量写,大量的写少量读

什么时候使用这两个参数?
1. 使用write_concurrency参数大多时候是有效的,测试写操作性能提高3~4倍,而且,在单进程写多进程读的场合下也同样适用。如果并发读写次数较少,而且每次都要读取或者写入大量数据就不适合了。
2. read_concurrency的使用要看场合,并不是高并发就适合。如果每次读的数据和写的数据都很少,而且读写都很频繁,就没必要使用这个参数。如果很少写数据,大多时候都是读数据的话用这个参数就很适用了。另外,如果数据读写频繁,但每次读写的数据都很多,也适当考虑用这个参数。
3. write_concurrency和read_concurrency可以同时使用,但有一定开销的,适用场合是经常有大量并发读和大量并发写操作。

2015/8/28 修正write_concurrency(并发写)的锁说明

参考:
http://blog.csdn.net/mycwq/article/details/38128615
http://learnyousomeerlang.com/ets#ets-phone-home
http://www.erlang.org/doc/man/ets.html
分享到:
评论

相关推荐

    erlang_gproc_扩展实现Erlang的全局ets

    Erlang是一种面向并发的、函数式编程语言,被广泛应用于分布式系统和高可用性服务。在Erlang中,ETS(Erlang Term Storage)是内置的一种高效、内存中的数据库,用于存储和检索Erlang术语。然而,ETS的一个限制是它...

    Erlang程序设计(第2版)1

    作者在书中讨论了如何利用Erlang实现基于消息传递的分布式并发系统,这在多核CPU环境下尤为重要,因为Erlang能够自动利用多核优势提升程序性能。 在并发编程方面,Erlang通过轻量级进程(processes)实现了高效的...

    Erlang6大数据存储方式总结

    Erlang,一种由Ericsson开发的面向并发的编程语言,以其在分布式系统和实时高可用性场景中的优秀性能而闻名。在Erlang中,处理大数据存储有多种方式,其中包括ETS(Erlang Term Storage)、DETS(Distributed Erlang...

    erlang 深度分析

    - **并发访问**: 支持并发读写操作。 - **持久化**: 虽然默认是内存存储,但可以通过配置实现持久化。 #### 8. Erlang进程堆内存增长算法 - **算法特点**: - 动态调整: 基于进程的实际内存使用情况进行动态调整...

    ets和Dets

    在Erlang编程环境中,ETS(Erlang Term Storage)和Dets(Disk-based ETS)是两种重要的数据存储机制,它们提供了高效的数据管理和访问功能。这篇文章将深入探讨这两个概念,以及它们在实际开发中的应用。 ETS是...

    inside Erlang VM3

    Erlang是一种通用、并发、强容错的编程语言,最初由爱立信公司开发,旨在解决电信系统的高并发、高可靠需求。它运行在Erlang虚拟机(Erlang Virtual Machine, ERTS)之上,ERTS提供了语言的基础执行环境。 #### ...

    碎片:Erlang和Elixir的分区ETS表

    在Erlang和Elixir中,ETS表的分区可以提高查询性能,减轻单个表的压力,并允许在多核CPU或分布式节点上分散负载。通过将数据分散到多个独立的ETS表中,每个表负责一部分数据,可以显著提升整体系统的可扩展性和性能...

    cdb:CDB在Erlang中的实现

    Erlang CDB实现的性能取决于多种因素,包括硬件性能、磁盘I/O、数据库大小以及并发操作的数量。为了优化性能,可以考虑以下策略: 1. **缓存**:使用Erlang的ETS(Erlang Term Storage)或Mnesia等内存数据库作为...

    etso:Ecto 3适配器允许使用ETS表中保存的Ecto模式

    而ETS(Erlang Term Storage)是Erlang VM(虚拟机)内置的一种轻量级、高性能的数据存储机制,主要用于在内存中存储和检索数据。`etso`是一个独特的Ecto适配器,它的主要目的是在Ecto 3框架下利用ETS表来存储Ecto...

    Elixir编程入门

    - **尾递归优化**:Elixir支持尾递归优化,有助于提高性能。 ##### 2.9 枚举类型和流 - **枚举类型**:用于定义一系列枚举值。 - **流处理**:使用`Enum`模块提供的函数处理列表、数组等集合。 ##### 2.10 进程 ...

    elixirconf-2016:ElixirConf 2016总结

    Elixir是一种基于Erlang虚拟机(BEAM)的函数式、并发、面向进程的编程语言,其设计目标是提供一种易于读写、可扩展且适合构建分布式和容错系统的语言。在ElixirConf 2016上,许多主题围绕着Elixir的核心特性展开,...

    管道:RealWorld示例后端在Elixir和Phoenix中实现CQRSES模式

    在Elixir中,可以使用ETS(Erlang Term Storage)或Mnesia这样的数据库,或者自定义的文件存储解决方案。事件存储应设计为只追加,以确保数据的一致性和可靠性。 Query Side则基于事件构建读取模型。每当有新的事件...

Global site tag (gtag.js) - Google Analytics