关于通用搜索引擎新手问题请各位老师进！！！！

0 0

关于通用搜索引擎新手问题请各位老师进！！！！5

我做过垂直搜索引擎（专门搜索手机的），现在我要做一个只关心某一个地区（比如宁波）的通用搜索引擎，该搜索引擎只能搜索到该地区的信息，但是我从垂直搜索到通用搜索这个过程中，有一个问题不知道该怎么处理。
简单的说，在解析网络爬虫爬下来的网页时，通用搜索引擎是怎样把各种类型的网站通过解析程序解析成统一的文本信息，最后提供分词器分词？？？
详细的描述我的问题：我前面说过，我过了个手机的垂直搜索，我的数据源是这个：http://mobi.younet.com/files/24/24853.html，你会发现，所有描述手机详细信息的网页都是一样的的格式结构，那么我只要针对这种网页写一个filter解析程序（使用htmlparser）,就能把这些网页统一成一个个txt的文本信息。
但是现在做通用搜索的时候，面对各种类型的网页，比如说这两个网页：http://www.nbrcw.com/hr/companypos.asp?comid=swst和http://www.cnnb.com.cn/gb/node2/newspaper/nbrb/2006/7/node65223/node65224/userobject7ai1309049.html，可以发现，这两个网页的结构是不一样的，那我是不是要写两个解析网页的程序了，因为我觉得一个解析网页的程序，只能解析相同结构的网页，是不是这样？
不知道大家能不能明白我的不解之处，希望各位老师帮我解答一下。非常感谢！！！！！！！

另外，我的分数不是很多了，请不要介意！！！

问题补充：

cyber4cn 写道

"，通用搜索引擎是怎样把各种类型的网站通过解析程序解析成统一的文本信息，最后提供分词器分词？？？"

楼上说得对，通用搜索引擎都会有正文抽取服务或者模块的。

啊，用这种事！也就是说有一种服务可以把我自己爬下来的所有数据处理成文本信息？？？

问题补充：

cloverprince 写道

看看这个呢：http://www.wbce.de/
我也研究搜索，但是这个模板检测+正文抽取，已经超出我的能力范围了，如果有线索我也希望得到帮助。

请问你给的链接是什么东西？

搜索引擎