`
edwardpro
  • 浏览: 310567 次
  • 性别: Icon_minigender_1
社区版块
存档分类
最新评论

<![CDATA[lucene 当数据库使用的尝试]]>

阅读更多
这个想法由来已久,由于全文索引本身的缓存设计,使得其io操作要小于数据库对于频繁读取的操作全文索引绝对有可能在性能上超越数据库(至少能轻松秒杀mysql,mysql那超低的io性能如果不改那肯定是要被sqlserver给灭掉的,只是时间问题)但当你深入这个问题的时候就会有很多问题出现,我最初的需求是利用这个记录搜索关键字进而得到关键字hot排名。问题出现了:

1 IndexerWriter有个特性如果不close始终有部分内容会写不入索引,也就是它的缓冲机制,这是非常致命的,由于在实际应用中,这种写入是多线程的,当你在需要的时候close下以获得更新的时候,那么很可能使得某个写入线程出错,这是非常糟糕的,虽然我们不要求lucene达到acid的水准,但是经常报错是非常有问题的。
2 接着1的问题,同样在reader端需要频繁读入新内容,这可能会造成很大的性能问题,虽然在2.3中已经有了reopen方法,但我尝试过效率绝对没有官方宣称的如此高效,源代码我也看过的确不是那么高效的在我已经优化过的环境里,并没有获得很巨大的优势。

那么现在来看看解决的方法:

首先可以考虑是否使用ram作为临时存储地,不管如何,在ram上close和reopen都要比fs要高速得多,当然这个代价就是无法很大,虽然现在我的生产环境已经是16g内存的机器×2但我依然无法保证能够无限满足需求,有一天满了怎么办?到时候哭都来不及。

第二,考虑在fs上使用多索引,然后merge到主索引的方法,这样我可以利用线程限制极大保证fs上不会在close状态下被写入,close方法上有一个参数 是否等待merge完成,只要在线程模式下,是可以保证得到期望结果的,偶尔io不行的时候也就是偶尔出错一次不会产生太多问题。

好了,上述的方法还没有得到验证,尤其是线程模式下环境是很复杂的,而lucene又要求严格的线程安全,因此大量的实验室少不了的。

其实在我的理想中希望做一套lucene的服务,能够完全兼容于jdbc,这样可以实现服务的从db到全文的0切换,毕竟在like下lucene的效率之高使得数据库系统完全被秒杀。当然进而还有很多问题,比如表和表的关系,在lucene中怎么对应,这是后话,待我想想再来说,先去试验多线程安全模式下的写入。

分享到:
评论

相关推荐

    Mybatis 中的&amp;lt;![CDATA[ ]]&amp;gt;浅析

    [CDATA[ ]]&gt; 用于包含 Mybatis 的标签(如 `&lt;if&gt;`、`&lt;where&gt;`、`&lt;choose&gt;` 等),否则这些标签将不会被解析。 实例如下:&lt;select id="allUserInfo" parameterType="java.util.HashMap" resultMap="userInfo1"&gt; &lt;!...

    微信小程序支付(已调试通过).rar

    微信小程序支付JSAPI交易类型 已通过测试 返回例子如下: &lt;xml&gt;&lt;return_code&gt;&lt;![CDATA[SUCCESS]]&gt;&lt;/return_code&gt; &lt;return_msg&gt;&lt;![CDATA[OK]]&gt;&lt;/return_msg&gt; &lt;result_code&gt;&lt;![CDATA[SUCCESS]]&gt;&lt;/result_code&gt;

    JAVA对象转换成XML(CDATA)

    当遇到包含特殊字符如 "&lt;" 和 "&" 的文本时,XML解析器可能会产生错误,因为这些字符在XML语法中有特定含义。为了解决这个问题,我们可以使用CDATA(Character Data)段来封装这些文本,使得XML解析器将其视为纯文本...

    上传xml文档

    &lt;preconditions&gt;&lt;![CDATA[1.使用udp_bi用户在PLSQL正常登陆UAT数据库&lt;br&gt; (UAT数据库IP: 10.0.13.178)&lt;br&gt; 2.数据库脚本已下载至本地环境]]&gt;&lt;/preconditions&gt;&lt;importance&gt;&lt;![CDATA[2]]&gt;&lt;/importance&gt;&lt;steps&gt; &lt;step&gt;

    微信开发文档

    [CDATA[toUser]]&gt;&lt;/ToUserName&gt; &lt;FromUserName&gt;&lt;![CDATA[fromUser]]&gt;&lt;/FromUserName&gt; &lt;CreateTime&gt;1348831860&lt;/CreateTime&gt; &lt;MsgType&gt;&lt;![CDATA[text]]&gt;&lt;/MsgType&gt; &lt;Content&gt;&lt;![CDATA[this is a test]]&gt;&lt;/...

    微信时间开发源码

    [CDATA[%s]]&gt;&lt;/ToUserName&gt; &lt;FromUserName&gt;&lt;![CDATA[%s]]&gt;&lt;/FromUserName&gt; &lt;CreateTime&gt;%s&lt;/CreateTime&gt; &lt;MsgType&gt;&lt;![CDATA[%s]]&gt;&lt;/MsgType&gt; &lt;Content&gt;&lt;![CDATA[%s]]&gt;&lt;/Content&gt; &lt;FuncFlag&gt;0&lt;/FuncFlag&gt; &lt;/xml...

    一个简单的xml文件

    ATTLIST 电话 类别 CDATA "移动电话"&gt; ]&gt; &lt;联系人列表&gt; &lt;说明&gt;&content;&lt;/说明&gt; &lt;联系人&gt; &lt;姓名&gt;刘保文&lt;/姓名&gt; &lt;ID&gt;201003101115&lt;/ID&gt; &lt;公司&gt;腾飞汇通有限公司&lt;/公司&gt; &lt;电话 类别="移动电话"&gt;18993380967&lt;/...

    省市区表,xml省市区

    自己将数据导入到xml中的,希望有需要的朋友可以自己下载,格式为&lt;!DOCTYPE PCAroot[ &lt;!ELEMENT PCAroot (Province*)&gt; &lt;!ELEMENT Province (City*)&gt; &lt;!ELEMENT City (Area*)&gt; &lt;!ELEMENT Area (#PCDATA)&gt; &lt;!...

    chapter23 实践习题1

    例如,`&lt;department&gt;`标签使用`dept name`、`building`和`budget`属性来存储部门信息。同样,`&lt;instructor&gt;`标签使用`IID`、`name`、`dept name`和`salary`属性来描述教师。`&lt;teaches&gt;`标签则通过`IID`和`course id`...

    asp微信开发者回复代码

    [CDATA["&fromusername&"]]&gt;&lt;/ToUserName&gt;" &_ "&lt;FromUserName&gt;&lt;![CDATA["&tousername&"]]&gt;&lt;/FromUserName&gt;" &_ "&lt;CreateTime&gt;"&now&"&lt;/CreateTime&gt;" &_ "&lt;MsgType&gt;news&lt;/MsgType&gt;" &_ "&lt;ArticleCount&gt;3&lt;/...

    一道数据库面试题

    在数据库设计中,外键约束是确保数据完整性和一致性的重要机制。题目中提到的三个表——JBPM_ID_GROUP、JBPM_ID_MEMBERSHIP和JBPM_ID_USER,分别代表用户组、用户成员关系和用户,它们之间的关系是通过外键关联的。 ...

    XML与DataTable相互转换

    这段代码中,我们首先创建了`MemoryStream`和`XmlTextWriter`对象,然后使用`WriteXml`方法将`DataTable`写入流中。最后,将流中的内容转换为字符串并返回。 以上就是关于`DataTable`与XML之间相互转换的详细说明,...

    DTD教程,来自3cSchool

    当多个组织或个人使用相同的DTD来创建XML文档时,它们之间可以轻松地交换和处理数据。此外,XML解析器可以根据DTD验证文档,从而发现和报告潜在的结构错误。 XML文档的基本构建模块包括: 1. **元素(Elements)**...

    XML的DTD教程

    **示例**:定义一个`&lt;note&gt;`元素,其包含`&lt;to&gt;`、`&lt;from&gt;`、`&lt;heading&gt;`和`&lt;body&gt;`四个子元素,其中`&lt;to&gt;`、`&lt;from&gt;`和`&lt;heading&gt;`元素仅包含文本数据,而`&lt;body&gt;`元素可以包含文本和子元素。 ```xml &lt;!ELEMENT note...

    异构系统xml交互程序

    [CDATA[10]]&gt;&lt;/LoginTimeOut&gt; &lt;QueryTimeOut&gt;&lt;![CDATA[3600]]&gt;&lt;/QueryTimeOut&gt; 原始set.xml数据库连接节点缺少以上两个节点请添加,LoginTimeOut为数据库连接超时时间,单位秒,QueryTimeOut为SQL语句执行超时时间...

    xml实现留言簿xml+asp+xml+css

    [CDATA[留言内容]]&gt;&lt;/content&gt; &lt;/message&gt; &lt;/messages&gt; &lt;/gbook&gt; ``` 4. **DTD定义**: - 用于定义XML文档的结构和约束条件。 - 例如,`&lt;gbook&gt;` 元素包含了 `&lt;info&gt;` 和 `&lt;messages&gt;` 两个子元素。 ```xml...

    PHP cdata 处理(详细介绍)

    2. '&lt;':当遇到 '&lt;' 时,状态变化到 '&lt;',以判断是否是CDATA部分的起始。 3. '&lt;!':继续往后读,检查是否是CDATA的开始。 4. '&lt;![':继续,检查是否是CDATA的开始。 5. '&lt;![C':继续,检查是否是CDATA的开始。 6. '...

    DTD(文档类型定义)语法[归类].pdf

    &lt;/body&gt; &lt;/note&gt; ``` 对应的`note.dtd`文件内容与内部声明相同。 使用DTD的好处主要包括: 1. **自包含性**:每个XML文件都可以携带其格式描述,方便理解和处理。 2. **标准化**:为不同的人提供了一种共同理解数据...

    dtd定义xml dom4j解析xml小类

    &lt;/body&gt; &lt;/note&gt; ``` 在上面的例子中,我们使用了外部的 DTD 文件“note.dtd”,其中包含了 DTD 声明: ```dtd &lt;!ELEMENT note (to,from,heading,body)&gt; &lt;!ELEMENT to (#PCDATA)&gt; &lt;!ELEMENT from (#PCDATA)&gt; &lt;!...

Global site tag (gtag.js) - Google Analytics