抓Google和Baidu的搜索结果

今天成功的用HttpClient+正则抓取了Google和Baidu的搜索结果。挺有成就感。

原本是很自然地想到用XML API去抓取的，但是读下来Google和Baidu的页面都不是标准的xml，甚至连html标准都没有满足。Google省流量省到了极致，整个页面文件只有4行。用Notepad++打开，再开启自动换行，非常卡。不过Google也挺那啥的，少了很多换行符，但是页面里却充满了用处不大的table，难以想想吧，在我们谴责M$的时候，其实Google这个最大的互联网公司本身在自己最最基础的产品里都没有应用xHTML+CSS这一套东西。具体的原因我就不得而知了。Baidu也一样，但是Baidu的页面代码换行符多一些，看起来毕竟舒服一点，不过也不是非常好的xHtml+CSS。

指望XML API是不行了，只好用正则去配了。java.util.regex包中的API，主要用到的是Matcher的find方法和group方法，一个用来配，一个用来抓。对于Google和Baidu我都是先把每一个条目块抓出来，然后在在这一小段String中抓取url、title和description。

对于Google.com的搜索结果，抓条目块用到的正则为

<div class=g((.*?)|)>(.*?)</div>


抓具体信息的正则为

<a href=\"(.*?)\".*?>(.*?)</a>.*<td class=\"j\">(.*?)<br>


对于Baidu.com的搜索结果，抓条目块用到的正则为

<td class=f>(.*?)</td>


抓具体信息的正则为

<a.*?href=\"(.*?)\".*?>(.*?)</a><br>(.*?)<br>


其实或许可以直接用第二个正则表达式抓整个页面的信息，不过我没有测试过，不知道会不会存在问题。