垂直搜索

1.什么是垂直搜索：
垂直搜索引擎是针对某一个特定行业的专业搜索引擎, 是通用搜索引擎的细分和延伸, 是对网页库中的某类专门的信息进行一次整合, 定向分字段抽取出需要的数据进行处理后 ,再以某种形式返回给用户。
垂直搜索引擎是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式，通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。 垂直搜索引擎则显得更加专注、具体和深入。

2.垂直搜索引擎的原理及组成
  搜索引擎的主要由搜索器、索引器、检索器组成。基本原理和主要功能组件方面，垂直搜索引擎与通用搜索引擎基本相同。两者主要的区别在于Spider爬行范围和网页信息处理深度两方面。通用搜索引擎Spider爬行的范围是面向几乎所有网页，而垂直搜索只爬行跟主题相关的网页。因此，垂直搜索引擎能够比通用搜索引擎更快速的找到相关主题的信息。
         搜索器（Spider）：也称网络蜘蛛、网络机器人等，是搜索引擎的灵魂。它根据特定算法负责抓取网页，从抓取到的网页里采集信息，对信息进行分词，分词根据词语的特殊属性选择分词算法，并将信息与其关联的URL保存进服务器数据库。搜索器必须保证及时的发现新网页，定时的重新采集已有网页信息更新保存数据库数据。


   索引器（Indexer）：根据搜索器，即网络蜘蛛采集后经过分词等处理后产生的关键字（keyword），建立从关键字到网页URL（统一资源定位器）的关系索引倒排文档，即建立索引数据库。检索器的功能是根据用户输入的查询词，在索引数据库中进行查询词与索引数据库的匹配算法，然后将查询结果按相关程度排序并输出到浏览器上。


除了考虑核心的技术外，虚拟主机采用高效的算法外，必须在用户体验上下功夫如结构化的显示搜索到的结果。比如，Google所使用的Ajax（异步JavaScript）技术，用户输入查询时能够自动提示，还有Google查询后显示的数据，界面上字体等要比Baidu细致一个档次。这些细节的原因，某种程度关系到搜索引擎在市场的占有额。


3.垂直搜索引擎的相关技术

(1)页面解析与页面显示排序
         网页地址都是用URL（UniformResource Locator统一资源定位器）来表示，获取网页信息，必须找到URL，读取该URL页面的HTML、特定标签，高级的搜索引擎还能对javascript语句进行解析。这是因为许多网站直接用JavaScript构建出来，而且随着Ajax技术的流行，很多信息包含在JavaScript标签里，为了提高采集信息的准确率，提高搜索引擎的竞争力，搜索引擎必须提供JavaScript解析器。
         页面排序是针对根据用户关键字，查询到的网页列表，采用何种策略将网页列表显示在用户面前，使用户最想知道的结果显示在最前面页数发生的概率最大。主要的算法有：PageRank算法、HITS算法。在排序上，有些搜索引擎（如百度），则加入收费这一方式，使排序成为搜索引擎的一大盈利模式。
(2)、数据存储及分布式技术
        尽管垂直搜索引擎保存的网页数量相对通用垂直搜索引擎小很多，但是，作为一个优秀的商业垂直搜索引擎，必须在提高性能的同时减低成本，提升竞争力。可以采用数据压缩的技术对数据进行压缩存储，采用数据库技术，如索引等提高数据读取速度，可以采用分布式技术，通过多台服务器相互合作，以提高数据采集和更新速度。
(3)、网络蜘蛛的爬行策略
         网络蜘蛛（Robot或Spider）的搜索策略是指当网络蜘蛛搜索到一个文档之后,下一步应该转移到哪一个文档的方法问题。目前比较常见的搜索策略有以下几种策略：（1）IP地址搜索策略。（2）深度优先搜索策略。（3）广度优先搜索策略。（4）深度－广度结合搜索策略。
(4)、中文分词技术
　　在Web应用中,文本处理的速度往往是性能的关键,快速分词具有很大的现实意义。Web文本分词是Web信息处理的基础,如信息检索、摘要形成、网页过滤等都需要对Web文本进行分词处理。Web文本的正文主要是由英文和中文构成,由于英文的单词与单词之间有空格,所以不存在分词问题。而中文的每一句中词与词之间是没有空格的,因而必须采用某种技术将其分开。
　　分词的方法很多,基本上分为两类:第一类是基于字符串的匹配:将汉字串与一个机器词典中的词条进行匹配,若在词典中找到某个字符串,则匹配成功。主要有正向最大匹配法、逆向最大匹配法、最少切分等方法。第二类是基于统计的方法:从概率角度出发,单字出现在词汇中联合概率是比较大的,因此当相邻的字越常出现,则越有可能是一个词。基于上述引,对处理的材料进行分析,得到相应的单字出现的概率,然后对相邻的字出现概率进行统计,若远大于单字出现的概率之和,则可能成为一个词。实际应用中,统计分词方法都是与字典结合着来使用的,这样既发挥匹配分词的切分速度快、效率高的特点,对利用了无词典结合上下文识别生词,并能消除歧义等优点。