分布式系统之分

数据达到一定规模，一台机器不能满足你要求，也许你该考虑分布式。

那么如何分，分的合理。

我觉得可以从这几方面考虑：

1： 业务

2： 效率

3： 余

 

业务：不同业务会有不一样的划分。举个简单例子，比如我有博客和mp3搜索两部分，这两者对于业务而言，是两个独立部分。那么将博客的索引放在一起，mp3的索引放在一起。

效率：程序设计，操作系统和硬件资源结合。合理使用硬件资源是重点。常见的mysql的isam+innodb的搭配。

余：通常它是在前面两者都不能分的时候才会用到。将资源划分成n分，采用余的方式，将资源划分。

 

复杂的分布式是这几种结合。分布式的好坏将决定你整个系统的扩展，稳定，效率。

 

评论

2 楼 imjl 2007-10-15  

ryq1     1 小时前
如果将资源分成N份，搜索效率接近于N个单个文件哦。

如果你是串行处理，，你这句话对的。


并行处理就不是这么计算的。




你硬件什么情况，索引文件几个。

以前有人和我介绍过.net，，好像是开daemon和web service来做的。

你开了几个daemon。。

索引后有没有commit和optimize。

lucene是什么版本，，还是1.4吗？

把这些信息发到圈子的论坛把。。。这样大家都能看到。有类似情况的也能帮到你。


不要给我pm。

1 楼 ryq1 2007-10-15  

如果将资源分成N份，搜索效率接近于N个单个文件哦。
还有，为了要用权重，我现在一次搜4个字段。

我的环境如下：
Lucene.net 2.0
1000万的数据量
索引文件有4G左右。

现在搜一个数据要5秒左右。很是郁闷，都不知要如何改进了。
http://search.cfp.cn
"足球"
qq:5192412
Msn:[e-mail]
希望各位能经点指导。