`
hideto
  • 浏览: 2678291 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Mnesia用户手册:五,Mnesia高级特性

阅读更多
本章描述了构建分布式、容错的Mnesia数据库相关的高级特性:
1)索引
2)分布和容错
3)表分片
4)本地内容表
5)无盘节点
6)更多的schema管理
7)Mnesia事件处理
8)Mnesia应用调试
9)Mnesia里的并发进程
10)原型

1,索引
如果我们知道record的key,那么数据获取和匹配在执行起来都很高效
相反如果不知道record的key,那么表里所有的record都必须搜索
当表越来越大时,表的搜索就越来越耗时
Mnesia的索引就是用来解决这个问题的
下面的两个方法对已有的表操作索引:
mnesia:add_table_index(Tab, AttributeName) -> {aborted, R} | {atomic, ok}
mnesia:del_table_index(Tab, AttributeName) -> {aborted, R} | {atomic, ok}

这两个方法对AttributeName定义的域加索引和删除索引:
mnesia:add_table_index(employee, salary)

Mnesia的索引用于以下3个方法:
1)mnesia:index_read(Tab, SecondaryKey, AttributeName) -> transaction abort | RecordList
通过在索引里查询SecondaryKey来找到primary key,这样就能避免对整张表穷举搜索
2)mnesia:index_match_object(Pattern, AttributeName) -> transaction abort | RecordList
通过Pattern里的AttributeName域查找secondary key,然后找到primary key
3)mnesia:match_object(Pattern) -> transaction abort | RecordList
该方法可以使用任何索引

2,分布和容错
Mnesia是分布式、容错的DBMS,可以以多种方式在Erlang节点上备份表
Mnesia程序员不需要了解不同的表位于哪里,只用在程序里指定表的名字
这就是“位置透明”:
1)数据位于本地节点还是远程节点对程序员没有影响,只不过远程节点会慢些
2)数据库可以重新配置,表可以在节点之间移动,这些操作不影响用户程序
每张表有许多系统属性,如index和type
在表创建之时表属性就指定了,例如创建拥有两个RAM备份的新表:
mnesia:create_table(foo,
  [{ramp_copies, [N1, N2]},
   {attribtues, record_info(fields, foo)}]).

表可以有如下属性,每个属性使用一个Erlang节点list
1)ram_copies
表的RAM备份会存在于Erlang节点list中的每个节点上
对于RAM备份,写操作不会写到硬盘里
但是如果RAM备份需要持久化时可以这样做:
i)mnesia:dump_tables/1方法用来将RAM表备份导入到硬盘
ii)表副本可以备份
2)disc_copies
表会位于RAM中,而且表的副本会存在于Erlang节点list中的每个节点的硬盘上
对该表的写操作会同时写入到RAM和硬盘备份里
3)disc_only_copies
表的副本只会位于Erlang节点list中每个节点的硬盘上
这种类型的表副本的缺点是访问速度,优点主要是不占内存

简单的说,ram_copies表示本地节点和list中节点都会存RAM表
disc_copies则本地存RAM表,list中存硬盘表
disc_only_copies则只会list中存硬盘表

使用表副本有两个原因:容错和速度
值得注意的是,表备份对这两个系统需求都提供了解决方案
如果有两个表副本,则一旦一个表崩溃了,还有另一个可以工作
如果有两个节点上的表副本,则两个节点上的应用可以直接从本地读数据而不用访问网络

对于读频繁而写很少的分布式应用,表副本就会大大加速读的速度,因为直接在本地节点读取数据
而这样做的缺点写速度减慢了,因为执行一个写操作时要花更多代价来更新表副本

3,表分片
为了处理超大型的表,表分片的概念引入,基本原理是将表分成多个可以管理的片断
每个片断都实现为一等Mnesia表,它们可以像其他表一样备份,可以拥有索引等等,但是不能有local_content和snmp连接
为了从片断表里访问数据,Mnesia必须决定该record属于哪张表,这通过mnesia_frag模块来实现mnesia_access callback行为
(略)

4,本地内容表
所有节点上的表副本的内容一样,但是有时候不同节点的内容不同有优点
如果我们创建表时指定{local_content, true}属性,则写操作只在本地副本上执行
而且,当在启动时初始化表,则表只会在本地初始化而表内容不会复制到其他节点

5,无盘节点
可以在无盘的节点上运行Mnesia,当然在这些节点上不可能拥有disc_copies或disc_only_copies类型的备份
最麻烦的是schema表,因为Mnesia需要schema来初始化自己
schema表可以位于一个或多个节点上
schema表的存储类型可以为disc_copies或ram_copies(不能是disc_only_copies)
Mnesia启动时使用schema表来决定应该和哪些节点建立联系
如果其他节点已经启动,则启动节点将其他节点的表定义和自己的表定义合并
参数extra_db_nodes包含一个节点list,Mnesia除了schema里的节点,还要和该参数的节点建立联系,默认值为[]
因此,当无盘节点需要从网络上的一个远程节点找到schema定义,则我们需要从-mnesia extra_db_nodes参数节点列表支持该信息
如果没有这个配置参数,Mnesia会以一个单节点系统启动
可以使用mnesia:change_config/2来给'extra_db_node'赋值并且强制建立一个连接,即mnesia:change_config(extra_db_nodes, NodeList)
应用参数schema_location控制Mnesia在哪里搜索schema:
1)disc
   强制硬盘,schema假设位于Mnesia目录,如果找不到,则Mnesia拒绝启动
2)ram
   强制ram,schema只位于ram中,启动时会生成一个很小的新schema
   这个默认schema只包含schema表的定义并且只位于本地节点
3)opt_disc
   可选的硬盘,schema可能只位于硬盘或ram
   如果硬盘上找不到schema,Mnesia启动一个无盘节点(schema表的存储类型为ram_copies)
如果schema_location设置为opt_disc,则方法mnesia:change_table_copy_type/3可以用来改变schema的存储类型:
1> mneisa:start().
ok
2> mnesia:change_table_copy_type(schema, node(), disc_copies).
{atomic, ok}


6,更多的Schema管理
可以从Mnesia添加和删除节点,这可以通过添加schema副本到这些节点来完成
mnesia:add_table_copy/3和mnesia:del_table_copy/2可以用来添加和删除schema表副本
添加一个节点会影响两点:1,允许其他表备份到该节点;2,它会在启动时连接硬盘节点
mnesia:del_table_copy(schema, mynode@host)从Mnesia系统删除'mynode@host'节点
mnesia:system_info(schema_location)和mnesia:system_info(extra_db_notes)用来决定schema_location和extra_db_nodes的值
mnesia:info/0用来打印出系统信息,可以在Mnesia启动之前就运行此方法

7,Mnesia事件处理
Mnesia可能生成系统事件和表事件这两种事件
用户进程可以订阅这些事件:
mneisa:subscribe(Event-Category)保证符合Event-Category类型的事件副本会发送给调用进程
mnesia:unsubscribe(Event-Category)对符合Event-Category类型的事件删除订阅
Event-Category可以为system或{table, Tab, simple}/{table, Tab, detailed}
系统事件语法为{mnesia_system_event, Event},表事件语法为{mnesia_table_event, Event}
所有的系统事件有Mnesia的gen_event handler来订阅,默认为mnesia_event
mnesia:system_info(subscribers)和mnesia:table_info(Tab, subscribers)用来决定哪个进程订阅了事件

系统事件
{mnesia_up, Node}
{mnesia_down, Node}
{mnesia_checkpoint_activated, Checkpoint}
{mnesia_checkpoint_deactivated, Checkpoint}
{mnesia_overload, Details}
{inconsistent_database, Context, Node}
{mnesia_fatal, Format, Args, BinaryCode}
{mnesia_info, Format, Args}
{mnesia_error, Format, Args}
{mnesia_user, Event}

表事件
{write, NewRecord, ActivityId}
{delete_object, OldRecord, ActivityId}
{delete, {Tab, Key}, ActivityId}
{write, Table, NewRecord, [OldRecords], ActivityId}
{delete, Table, What, [OldRecords], ActivityId}

9,Mnesia应用调试
Mnesia应用调试比较麻烦,因为理解事务和表加载工作机制很难,而且嵌套事务的语义也比较令人混淆
我们可以设置Mnesia的debug level:
mnesia:set_debug_level(Level)

参数Level为none、verbose、debug、trace、false、true
也可以作为应用参数,在启动Erlang系统时指定:
% erl -mnesia debug verbose


9,Mnesia里的并发进程
Mnesia里允许并发的事务提交,程序里不用显式的控制同步的进程
而且可以在用户继续使用表时移动、删除或重新配置表
详细参考四,事务和其他访问上下文

10,原型
如果我们决定使用Mnesia,通常会先将定义和数据写在纯文本里,这样比较简单
这样在构建原型时我们把定义和数据写在纯文本文件里,然后使用下面方法来处理:
mnesia:load_textfile(Filename)
mnesia:dump_to_textfile(Filename)
文本文件的格式为:
{tables, [{Typename, [Options]}, {Typename2 ...}]}.

{Typename, Attribute1, Attribute2 ...}.
{Typename, Attribute1, Attribute2 ...}.

Options是{Key,Value}list,和mnesia:create_table/2的options一致
例如我们有一个healthy foods的数据库,有下面的文件FRUITS:
{tables,
  [{fruit, [{attributes, [name, color, taste]}]},
   {vegetable, [{attributes, [name, color, taste, price]}]}
  ]}.
{fruit, orange, orange, sweet}.
{fruit, apple, green, sweet}.
{vegetable, carrot, orange, carrotish, 2.55}.
{vegetable, potato, yellow, none, 0.45}.

我们可以这样来加载fruits数据库:
1> mnesia:load_textfile("FRUITS").
New table fruit
New table vegetable
{atomic, ok}
2> mnesia:info().
---> Processes holding locks <---
---> Processes waiting for locks <---
---> Pending (remote) transactions <---
---> Active (local) transactions <---
---> Uncertain transactions <---
---> Active tables <---
vegetable : with 2 records occuping 299 words of mem
fruit : with 2 records occuping 291 words of mem
schema : with 3 records occuping 401 words of mem
===> System info in version "1.1", debug level = none <===
opt disc. Directory "/var/tmp/Mnesia.nonode@nohost" is used.
use fallback at restart = false
running db nodes = [nonode@nohost]
stopped db nodes = []
remote = []
ram copies = [fruit,vegetable]
disc copies = [schema]
disc only copies = []
[fnonode@nohost,disc copiesg] = [schema]
[fnonode@nohost,ram copiesg] = [fruit,vegetable]
3 transactions committed, 0 aborted, 0 restarted, 2 logged to disc
0 held locks, 0 in queue; 0 local transactions, 0 remote
0 transactions waits for other nodes: []
ok
分享到:
评论

相关推荐

    Mnesia 用户手册中文版 pdf

    Mnesia是一个分布式数据库管理系统,特别适用于需要持续运行和具备软实时特性的Erlang应用,如电信系统。它作为开放式电信平台(OTP)的一部分,是用Erlang编程语言实现的。Mnesia的设计初衷是为了解决电信应用中的...

    erlang——Mnesia用户手册.pdf

    8.附录.A:Mnesia.错误信息 8.1.Mnesia.中的错误 9.附录.B:备份回调函数接口 9.1.Mnesia.备份回调行为 10.附录.C:作业存取回调接口 10.1.Mnnesia.存取回调行为 11.附录.D:分片表哈希回调接口 11.1....

    Mnesia用户手册.zip

    《Mnesia用户手册》是专为理解和操作Erlang编程语言中的Mnesia数据库管理系统而编写的详尽指南。Mnesia是Erlang OTP (Open Telephony Platform) 库中的一个核心组件,它是一个强大的分布式数据库系统,特别适用于...

    Mnesia用户手册(docx版)

    Mnesia 是一个强大的分布式数据库管理系统(DBMS),专门为Erlang编程语言设计,特别适用于需要高可用性、持续运行和软实时特性的电信和其他关键业务应用。这个系统允许在多个节点间同步数据,提供了一种在分布式...

    Mnesia用户手册 4.4.10版.rar

    Mnesia是一个分布式数据库管理系统(DBMS),适合于电信和其它需要持续运行和具备软实时特性的Erlang应用。 目 录 1 、介绍 . . .. . .. . . .. . 4 1.1 关于 Mnesia . . .. . .. . . .. . 4 1.2 Mnesia ...

    mnesia_pg:Postgres后端通过mnesia_ext到Mnesia

    4. **mnesia_ext**:这是Mnesia的一个扩展机制,允许用户自定义数据存储方式。了解如何通过mnesia_ext来接入其他数据库系统,如PostgreSQL。 5. **分布式系统设计**:讨论如何在Erlang和PostgreSQL之间构建分布式...

    amnesia_cck:“ amensia”项目的源代码,已针对CCK展示进行了修改-Show source code

    总结来说,"Amnesia_CCK"是一个开源项目,它将"Amnesia"游戏的源代码进行了CCK兼容性的修改,旨在提供一个平台,让用户能够更自由地创造和分享"Amnesia"的游戏内容。通过这个项目,开发者和玩家可以深入探索游戏的...

    Mnesia User's Guide

    session, specify a Mnesia database directory, initialize a database schema, start Mnesia, and create tables. Initial prototyping of record definitions is also discussed. • Build a Mnesia Database ...

    angular-amnesia-cache:角度的短期缓存

    失忆缓存 ... 只要在给定时间内没有查询同一实体,它就会返回相同的实体。 如果您需要更多自定义处理/行为,为这些编写服务可能是一个更好的主意。 AmnesiaCache只是方便。 假设我们给AmnesiaCache的生命周期是2000 ( ...

    oauth2_mnesia_backend:Kivraoauth2项目的Mnesia后端

    Erlang的并发性和容错性特性使得`oauth2_mnesia_backend`能够高效处理多个并发的OAuth2请求,同时保证数据一致性。Erlang的轻量级进程和模式匹配功能简化了处理OAuth2协议复杂逻辑的代码编写。 总的来说,`oauth2_...

    amnesia:失忆备忘录

    当前版本的话,每个任务可以选择当天或者之后完成,也可以为每个任务打标签 目前我已经迭代了多次,当然了因为没有用户,所以我是根据我自己的用户需求做变更的。二、为什么开源最最最最主要的原因还是因为小程序不...

    mnesia数据库文档

    Mnesia的独特之处在于它能够满足电信应用和其他Erlang应用对于连续运行和软实时特性的需求,特别是在高容错性和与应用共享同一地址空间方面超越了传统商业数据库管理系统。 #### Mnesia的关键特性 1. **分布式架构...

    mnesiam:Mnesiam使Mnesia数据库的群集变得容易

    Mnesiam使Mnesia数据库的群集变得容易。 可以在上找到模块文档。 安装 该软件包可以通过添加安装mnesiam你在依赖列表mix.exs : def deps do [{ :mnesiam , " ~&gt; 0.1.1 " }] end 在您的应用程序之前,请确保已...

    amnesia-开源

    AMNESIA的另一个核心特性是其强大的查询功能。虽然它不直接使用SQL,但提供了类似查询构建器的工具,允许开发者创建复杂的查询,同时保持代码的清晰和可读性。这些查询可以过滤、联接和聚合数据,满足各种数据处理...

Global site tag (gtag.js) - Google Analytics