SQL2005CLR函数扩展-山寨索引

izuoyan

浏览: 9220521 次
性别:
来自: 上海

最近访客更多访客>>

GDGZWQZ

morelily

eternal1025

devcang

博主相关

博客

微博

相册

留言

关于我

文章分类

社区版块

存档分类

2012-06 ( 32)
2012-05 ( 145)
2012-04 ( 50)
更多存档...

SQL Server 搜索引擎 Microsoft lucene 数据结构

本文只是一个山寨试验品,思路仅供参考.

对于文件索引lucene才是权威,这里只是自己实现了一个可以实现简单文件索引的半成品.所谓文件索引就是把sql字符串按字节分词保存到磁盘文件目录结构中用来快速定位.

原理介绍:

索引建立

目录结构划分方案也只是很简易的实现了一下,通过unicode把任意连续的两个字符(中文或英文)分为4个字节来做四层目录,把索引的内容对应的主关键字(主要为了使用sql索引和唯一性)作为文件名,两个字符在索引内容中的位置作为文件后缀来存储.文件本身为0字节,不保存任何信息.

比如一条数据 "pk001","山寨索引"

山寨索引四个字的unicode为

[0]: 113
[1]: 92
[2]: 232
[3]: 91
[4]: 34
[5]: 125
[6]: 21
[7]: 95

那么对应的文件结构为

..\113\92\232\91\pk001 .0

..\232\91\34\125\pk001 .1

..\34\125\21\95\pk001 .2

索引使用

比如搜索"寨索引 "

则搜索 "..\232\91\34\125\" 目录下的所有文件,然后根据 pk001 .1的文件后缀名1,去看 ..\34\125\21\95\pk001.2文件是否存在.依次类推,最后返回一个结果集.

实用性

具体的实用性还有待验证.这只是实现了精确的like搜索,而不能做常见搜索引擎的分词效果.另外海量数据重建索引的性能也是面临很严峻的问题,比如cpu负载和磁盘io负载.关于windows一个目录下可以保持多少个文件而不会对文件搜索造成大的性能损失也有待评估,不过这个可以考虑根据主键的文件名hash来增加文件目录深度降低单一目录下的文件数量.

演示效果

实现了针对test标的name和caption两个字段作索引搜索.

-- 设置和获取索引文件根目录

--select dbo.xfn_SetMyIndexFileRoot('d:\MyIndex')

--select dbo.xfn_GetMyIndexFileRoot()

-- 建立测试环境

create table test( id uniqueidentifier , name nvarchar ( 100), caption nvarchar ( 100))

insert into test select top 3 newid (), ' 我的索引 ' , ' 测试 ' from sysobjects

insert into test select top 3 newid (), ' 我的测试 ' , ' 索引 ' from sysobjects

insert into test select top 3 newid (), ' 测试索引 ' , ' 测试索引 ' from sysobjects

insert into test select top 3 newid (), ' 我的索引 ' , ' 索引 ' from sysobjects

create index i_testid on test( id)

-- 建立索引文件

declare @t int

select @t=

dbo. xfn_SetKeyForMyIndex( id, 'testIndex' , name + ' ' + caption)

from test

-- 查询数据

select a.* from test a, dbo. xfn_GetKeyFromMyIndex( '测试索引我的' , 'testIndex' ) b

where a. id= b. pk

0C4634EA-DF94-419A-A8E5-793BD5F54EED 我的索引测试

2DD87B38-CD3F-4F14-BB4A-00678463898F 我的索引测试

8C67A6C3-753F-474C-97BA-CE85A2455E3E 我的索引测试

C9706BF1-FB1F-42FB-8A48-69EC37EAD3E5 我的测试索引

8BBF25CC-9DBB-4FCB-B2EB-D318E587DD5F 我的测试索引

8B45322D-8E46-4691-961A-CD0078F1FA0A 我的测试索引

--drop table test

clr代码如下:编译为MyFullIndex.dll

using System;

using System.Data.SqlTypes;

using Microsoft.SqlServer.Server;

using System.Collections;

using System.Collections.Generic;

public partial class UserDefinedFunctions

{

/// <summary>

/// 设置索引目录

/// </summary>

/// <param name="value"></param>

/// <returns></returns>

[Microsoft.SqlServer.Server.SqlFunction ]

public static SqlBoolean SetRoot(SqlString value)

{

if (value.IsNull) return false ;

if (System.IO.Directory .Exists(value.Value))

{

root = value.Value;

return true ;

}

else

{

return false ;

}

/// <summary>

/// 获取索引目录

/// </summary>

/// <returns></returns>

[Microsoft.SqlServer.Server.SqlFunction ]

public static SqlString GetRoot()

{

return new SqlString (root);

}

/// <summary>

/// 建立索引

/// </summary>

/// <param name="key"> 主键 </param>

/// <param name="indexName"> 索引名称 </param>

/// <param name="content"> 索引内容 </param>

/// <returns></returns>

[Microsoft.SqlServer.Server.SqlFunction ]

public static SqlInt32 SetIndex(SqlString key,SqlString indexName,SqlString content)

{

if (key.IsNull || content.IsNull||indexName.IsNull) return 0;

return _setIndex(key.Value,indexName.Value, content.Value);

}

/// <summary>

/// 查询索引

/// </summary>

/// <param name="word"> 关键字（空格区分） </param>

/// <param name="indexName"> 索引名称 <

分享到：

[Windows编程] 利用dxdiag获取用户机器硬件 ... | 中国为什么要上自主3G技术TD-SCDMA

2009-05-18 19:16
浏览 684
评论(0)
查看更多

发表评论

您还没有登录,请您登录后再发表评论

最近访客更多访客>>

博主相关

文章分类

社区版块

存档分类

最新评论