一个优化百度和谷歌搜索结果的搜索网站是如何写出来的（原创）？

   经过半年的时间，终于将我的个人搜索网站（沃搜：www.ausou.net）写好，并正式上线运营。在此，想和大家分享其中的思路和经验，也算个总结吧！
    想写一个对百度和谷歌搜索结果优化的网站，源于我对其搜索结果的不满。也就像很多山寨的搜索网站一样，想给客户更好的结果和体验，不过我的搜索网站走的更远，自己的创意更多而已。
    首先我提出问题，即我对百度和谷歌搜索结果不满的地方：
    1、搜索结果没有分类展示。因为同一个搜索关键词，对应的结果有多种，可能是网站，也可能是指相关资料的下载，还可能是对关键词描述的网页；百度和谷歌都是把这三种结果混在一起排序，顾客要花时间根据自己的意愿寻找了。打个比方，如搜索tomcat，百度的搜索结果第一条是tomcat的介绍，谷歌的第一条是tomcat网站首页；如果使用百度的顾客想要的是tomcat网站，使用谷歌的想要的是tomcat介绍，还有可能是要tomcat的下载，那么顾客不得不花时间往下寻找自己的结果。而在沃搜（www.ausou.net），搜索结果是按照网页描述、网站和下载分类展示的；顾客可以很快定位自己想要的结果。
    2、搜索结果没有按照正文对关键词描述的丰富程度排序。这种情况是针对网页描述类的搜索。打个比方，比如搜索tomcat配置，一般顾客想要的都是详细介绍tomcat如何配置的；但是谷歌和百度的搜索结果是：靠前排列的结果可能只说了一点，系统且详细介绍的靠在后面。这样顾客不得不花时间一个一个链接点开查看，寻找自己的想要的结果。而沃搜（www.ausou.net）基于这种搜索理念：网页描述性搜索结果，其对关键词描述的越系统、越详细（就是网页描述丰富程度），此网页的正文字数也就越多，其搜索排序应该靠前。当然这里的网页正文含义是指剔除网页中的广告等垃圾文字的。沃搜（www.ausou.net）对描述性搜索结果就是按照网页正文对关键词描述丰富程度排序的；
    3、有些搜索结果无法访问或者访问速度过慢也排在前面；沃搜（www.ausou.net）对于这样的搜索结果会给予提示，并排在最后面；
    4、百度和谷歌的各自搜索结果和相关搜索关键词没有整合，当然不只是百度和谷歌，可能还有其他大型的搜索网站结果；沃搜（www.ausou.net）可以通过配置整合基础搜索网站的搜索结果和相关搜索关键词；
    5、搜索结果中包含太多无关的广告，混淆视听。我不反对搜索结果中有广告，但是彼此相关性要大点吧？
    问题就说这几点吧，下面就谈针对这些搜索结果的问题，沃搜（www.ausou.net）如何解决及解决思路。
    要对百度和谷歌等大型搜索结果进行优化，首先要取得这些基础的搜索结果。然后提出搜索结果链接，然后及时访问每个目标链接， 获取每个目标链接的内容后，进行内容分析；分析完之后就是搜索结果的分类、搜索结果的再包装和搜索结果的排序；最好是 搜索结果的输出。
    以上就是一个优化百度和谷歌搜索结果的总体思路，至于详细的实现和核心算法，接下来我会继续发帖介绍。当然，这要看大家是否关注这方面的内容，是否有需求了解这方面的内容。今天就写到这里为止吧。
    后记：对这方面议题敢兴趣的各位可以用邮件[e-mail]或者qq:277615290讨论联系。
    （后加的：可以参考http://nunaleon2003.iteye.com/blog/624484（与百度和谷歌的搜索结果对比）
   沃搜的使用方法：http://nunaleon2003.iteye.com/blog/622551）

评论

48 楼 ChinaEstone 2010-03-24  

楼主想法不错，虽然搜索的有点慢，但是一人之力能为此，佩服。

47 楼 robert12 2010-03-24  

nunaleon2003 写道

   你说的搜索结果只有一两条，不是网络问题，就是你看没有看到下面的提示。我搜的“python如何连接mysql数据库”结果怎么不是那样的，不信其他人可以试试。还是以前我说的，讨论基础搜索结果问题，等于瞎说，因为本来这些搜索就来自于百度和谷歌等大型搜索网站。我希望你关注的是这些结果的分类和排序还展示问题，而非结果的好坏问题。对于基础结果的好坏，本人还没那个实力。

原来网站对ff不支持？换ie，我是看到结果了。既然你希望讨论分类，排序和展示问题。没问题啊，我这里一抓一大把。拿“python如何连接mysql数据库”这个查询来说，我看不到你所谓的“分类”在什么地方。从排序上说，是什么标准使你觉得你目前的排序要优于baidu，google的排序呢？

再说一个新的query，“西南 干旱”，搜索结果中依然没有任何的“分类”存在，譬如最简单的一种分类形式，blog，论坛，新闻站点，将搜索结果按来源分类，这是最容易实现的一种，没看到；更不用说按“政策”，“民情”，“捐助”等等内容分类了。排序上，我依然无法看出ausou的排序有什么优势。说实话，现在的展示效果，还不如http://www.baigoogledu.com/直接将俩捏在一块看着舒服。所谓的分类莫非仅仅是分类“网站”，“下载”两个类？

说到展示问题，之前我就提到搜索mysql时，右侧相关网站第一个链接、第二个链接同名不同url的问题，这算不算展示问题？ausou的搜索结果中，摘要过长，没有任何的关键词高亮，这算展示问题吧？搜索“mysql”时，即便用ie，我等上一分钟，第一页依然只有4个结果，这也算展示问题吧？

46 楼 jwx0925 2010-03-24  

我去浏览了下，效果不好。LZ再接再厉！

45 楼 nunaleon2003 2010-03-24  

robert12 写道

显然，这不是什么“新的事物”，元搜索这东西，地球上早就出现了。业界早有多个元搜索的产品，譬如手机搜索领域的老大易查。我的感觉是，你的逻辑很强大，凡是结果不好的，那得怪google，baidu，凡是结果满意的，那就是你的功劳。

查询结果的ranking是一个相当复杂的问题，google，baidu的排序因子通常以数十计，没有自然语言处理支持的个性化技术在里面，所谓的排序优化永远只是一场空。一个果农搜“苹果”和一个程序员搜“苹果”需求是一样的么？

查询缓存是一个正确的思路，不过你准备支持多少用户呢？做搜索引擎，还是忘掉关系数据库吧，要优化你的产品，首先要优化你的存储。

举个例子，我搜“python如何连接mysql数据库”，返回的结果居然一个页面只有一个结果，连翻4页，所有的搜索结果标题都是“python如何连接mysql数据库相关网页”，没有任何摘要信息，这如何能方便用户使用？而且第5页的http://hi.baidu.com/543356589hao/blog/item/3ff4f3891c0103bf0f2444f2.html真实的标题是“MySQL数据库中的各种乱码及其解决方法”，仅仅涉及到python，而baidu搜索同样查询第一页前10个结果大多与查询相关，显然，对于我的查询来说，无论baidu，google都能提供大量有价值的结果，而ausou的查询体验太差了。

再比如搜索“mysql”，返回的第一个结果居然是baidu百科，当然，你这样的优化满足了第一次接触mysql的人，可是对于我想找mysql官网的人来说，这个返回结果相当差。你可以争论说是我的搜素习惯有问题，要看右侧，对此，我的建议是，永远不要指责用户的使用习惯。UE的研究表明，人类视线在页面上的轨迹是一个F形，右侧的东西，太少人去看了，没办法，做产品必须考虑到人的生理和解剖构造。即便是右侧，有3个相关网站，第一个，第二个链接的标题都是“mysql相关网站”，但一个链接指向“http://www.mysql.cn/ ”，一个链接指向“http://imysql.cn/ ”，你不看链接，你都不知道该选哪个，但是如果你让我看链接区分，我的第一反应就是拜拜，用google去了。知道第三个，才是真正我想要的mysql的官网。在google中，搜索的第一个结果就是它。那么，ausou对我而言，结果优化从何谈起？

   你说的搜索结果只有一两条，不是网络问题，就是你看没有看到下面的提示。我搜的“python如何连接mysql数据库”结果怎么不是那样的，不信其他人可以试试。还是以前我说的，讨论基础搜索结果问题，等于瞎说，因为本来这些搜索就来自于百度和谷歌等大型搜索网站。我希望你关注的是这些结果的分类和排序还展示问题，而非结果的好坏问题。对于基础结果的好坏，本人还没那个实力。

44 楼 xiangkun 2010-03-24  

这也叫搜索引擎?

43 楼 解未知数 2010-03-24  

飘过...不是很好用啊..

42 楼 robert12 2010-03-24  

显然，这不是什么“新的事物”，元搜索这东西，地球上早就出现了。业界早有多个元搜索的产品，譬如手机搜索领域的老大易查。我的感觉是，你的逻辑很强大，凡是结果不好的，那得怪google，baidu，凡是结果满意的，那就是你的功劳。

查询结果的ranking是一个相当复杂的问题，google，baidu的排序因子通常以数十计，没有自然语言处理支持的个性化技术在里面，所谓的排序优化永远只是一场空。一个果农搜“苹果”和一个程序员搜“苹果”需求是一样的么？

查询缓存是一个正确的思路，不过你准备支持多少用户呢？做搜索引擎，还是忘掉关系数据库吧，要优化你的产品，首先要优化你的存储。

举个例子，我搜“python如何连接mysql数据库”，返回的结果居然一个页面只有一个结果，连翻4页，所有的搜索结果标题都是“python如何连接mysql数据库相关网页”，没有任何摘要信息，这如何能方便用户使用？而且第5页的http://hi.baidu.com/543356589hao/blog/item/3ff4f3891c0103bf0f2444f2.html真实的标题是“MySQL数据库中的各种乱码及其解决方法”，仅仅涉及到python，而baidu搜索同样查询第一页前10个结果大多与查询相关，显然，对于我的查询来说，无论baidu，google都能提供大量有价值的结果，而ausou的查询体验太差了。

再比如搜索“mysql”，返回的第一个结果居然是baidu百科，当然，你这样的优化满足了第一次接触mysql的人，可是对于我想找mysql官网的人来说，这个返回结果相当差。你可以争论说是我的搜素习惯有问题，要看右侧，对此，我的建议是，永远不要指责用户的使用习惯。UE的研究表明，人类视线在页面上的轨迹是一个F形，右侧的东西，太少人去看了，没办法，做产品必须考虑到人的生理和解剖构造。即便是右侧，有3个相关网站，第一个，第二个链接的标题都是“mysql相关网站”，但一个链接指向“http://www.mysql.cn/ ”，一个链接指向“http://imysql.cn/ ”，你不看链接，你都不知道该选哪个，但是如果你让我看链接区分，我的第一反应就是拜拜，用google去了。知道第三个，才是真正我想要的mysql的官网。在google中，搜索的第一个结果就是它。那么，ausou对我而言，结果优化从何谈起？

41 楼 haidii 2010-03-24  

楼主的想法很好
只是 要想把搜索做好 要牵扯到很多的东西
不光技术（现在看 你的技术还不是很好吧） 还要看长远的发展
祝福楼主能走得更远

40 楼 evabibi 2010-03-24  

lz去棒子国找吧..有你需要的

通常 搜索xxx明星
会出现
明星介绍
明星动态
各种图片下载
各种小道消息
各种专辑试听

后面才是其他跟这些相关的网页。。

如果这是你想要的...

当然某x 吹嘘的框也是这种东西.

google也有类似 的东西.忘了叫啥了.

39 楼 conmind 2010-03-24  

我擦，google搜不出来东西了，变白

38 楼 yuxuguang 2010-03-24  

刚搜一下google底下给出的词老多乱码哦

37 楼 leo852drv 2010-03-24  

太节约版面了，我的感觉，没法用！

36 楼 nunaleon2003 2010-03-24  

jiafu0773 写道

楼主你看下吧，我用你的网站搜“google” ，
1、显示的“相关搜索”中有乱码。
2、翻页从第一页翻到某一页的时候(我翻到第三页和第四页)，又跳回到主页了。
3、在跳回到主页时，我再输入“google”，页面刷新了一下，还是显示主页，没有显示出我要搜索的结果。
4、我在url后随便输入一些字母，按回车，显示404错误。也就在这404错误方面你没有做拦截。
5、url上输入：http://www.ausou.net/firstSearch?word="/><script>alert(1);</script>"
  试一下？或者http://www.ausou.net/firstSearch?word="/><script>while(true){alert(1);}</script>"

这位仁兄提得比较专业。搜索谷歌有点乱码，我早就发觉了，其实我也解决了。其实这个问题不是简单的乱码问题，有点复杂，到时我会写个帖子专门讨论这个问题。至于翻页，估计是你看错了，没问题的；第三个问题，是我程序要求这样做的；至于后面的恶意的搜索，本人承认，我在这方面防范的少。不过你也提醒我了。

35 楼 nunaleon2003 2010-03-24  

<div class="quote_title">liuchangdong007 写道</div>
<div class="quote_div">
<p><br><img src="http://dl.iteye.com/upload/attachment/223536/3d4ee87a-99c0-3a1e-8d87-973df9aa940c.jpg" alt=""></p>
<p>刚刚上去看了一下，觉得做得还蛮好的，有意思。</p>
<p>它把结果进行了分类，也就是有了改进，</p>
<p>就是有一点，每次显示出来的结果就只有两三条，但却分了10几页，这样看着也有些不方便</p>
<p>不知道lz能否改进一下。</p>
<p> </p>
</div>
<p>   你没有看到右边结果或者下面的提示，建议你看看<a href="http://nunaleon2003.iteye.com/blog/622551">http://nunaleon2003.iteye.com/blog/622551</a>这篇文章</p>

34 楼 nunaleon2003 2010-03-24  

unika_ly12 写道

字体颜色不是很喜欢，看起来很刺眼。

你不习惯而已呀，我还觉得看百度和谷歌的不习惯，开起来太花了

33 楼 jiafu0773 2010-03-24  

楼主你看下吧，我用你的网站搜“google” ，
1、显示的“相关搜索”中有乱码。
2、翻页从第一页翻到某一页的时候(我翻到第三页和第四页)，又跳回到主页了。
3、在跳回到主页时，我再输入“google”，页面刷新了一下，还是显示主页，没有显示出我要搜索的结果。
4、我在url后随便输入一些字母，按回车，显示404错误。也就在这404错误方面你没有做拦截。
5、url上输入：http://www.ausou.net/firstSearch?word="/><script>alert(1);</script>"
  试一下？或者http://www.ausou.net/firstSearch?word="/><script>while(true){alert(1);}</script>"

32 楼 liuchangdong007 2010-03-24  

<p><br><img src="http://dl.iteye.com/upload/attachment/223536/3d4ee87a-99c0-3a1e-8d87-973df9aa940c.jpg" alt=""></p>
<p>刚刚上去看了一下，觉得做得还蛮好的，有意思。</p>
<p>它把结果进行了分类，也就是有了改进，</p>
<p>就是有一点，每次显示出来的结果就只有两三条，但却分了10几页，这样看着也有些不方便</p>
<p>不知道lz能否改进一下。</p>
<p> </p>

31 楼 prowl 2010-03-24  

lzj0470 写道

我晕，楼主吹得太大了吧。我输入java，就两天数据，而且这两条数据都不是我想要的内容。

您能用旁光扫一下搜索结果的右边吗

30 楼 unika_ly12 2010-03-24  

字体颜色不是很喜欢，看起来很刺眼。

29 楼 chenzengpeng 2010-03-23  

用你的网站搜google试试
SEO没你想象的那么容易