实现Ajax友好的搜索引擎爬虫-jrex,gecko

此文转自于：http://ilovelate.blog.163.com/blog/static/601420074610168616/

 

   现在web2.0如火如荼，Ajax技术获得了广大的运用，比如咱网易博客，搜狐博客等，仔细研究下这些网站，你会发现他们对搜索引擎很不友好，因为什么 呢，因为这些网站都使用了后加载技术，就是说是在JS里面去动态加载内容的，最典型的就是个人博客的首页，那么多模块都是后加载进来的。对于一般的搜索引 擎来说，他只会抓取网页，然后分析网页的内容，如果搜索引擎来抓个人博客的首页的话，看到的除了head区域，其他的就没有内容了，因为搜索引擎不会执行 页面。 这样就提出了一个问题，怎么实现Ajax友好的爬虫呢，就是说虽然我这个网站引用了Ajax实现了后加载技术，也照样可以抓取我的内容。 可能大家有个疑问，既然这样，为什么在google百度，还能搜到我的日志内容呢，那是因为网易博客的日志页面是使用了静态页面的技术，日志的内容都在网 页内呢，呵呵，另外还有每个博客都有RSS地址，搜索引擎可以通过爬取RSS来获得内容。
     如何爬取后加载的网页呢，简单点说我们爬取的网页应该是像firefox中的view genernated Source这样的网页内容，而不是现在搜索搜索引擎使用的view source内容。 要实现这样的效果，firefox使用的开源GECKO 引擎可以实现我们想要的效果，因为我们使用java来做爬虫的话，jrex已经为gecko做好了封装，很容易使用。                                                                  
一、       介绍

"JRex" is a Java Browser Component with set of API's for Embedding Mozilla GECKO within a Java Application.

 Jrex提供了对firefox的引擎的java形式的封装。默认的gecko引擎是以C++ dll的形式提供的，Jrex主要是做了JNI这层的封装，并提供了Java的接口
二、       安装

网址： http://jrex.mozdev.org/

1.       下载 jrex-bin-log-1.0b1_dom3.zip和jrex_gre.jar

2.       将jrex_gre.jar的后缀改为rar,打开后将最里面的jrex_gre文件夹复制到C:\中，然后将jrex-bin-log-1.0b1_dom3.zip中的jrex.dll文件复制到 C:\jrex_gre 目录中。

3.       直接运行run.bat即可看到用jrex实现的java浏览器，还不错噢。

注意，那个JAVA_HOME应该是JRE的，而不是JDK的，否则会找不到的一个jwt.dll

  "C:\Program Files\Java\jre1.5.0_06/bin/java"

 
三、       编程

实现效果： firefox中的view generated Source

代码如下：

 

 
import java.io.StringWriter;

import javax.swing.JFrame;

import javax.swing.JPanel;

import javax.xml.transform.OutputKeys;

import javax.xml.transform.Result;

import javax.xml.transform.Source;

import javax.xml.transform.Transformer;

import javax.xml.transform.TransformerFactory;

import javax.xml.transform.dom.DOMSource;

import javax.xml.transform.stream.StreamResult;

import org.mozilla.jrex.JRexFactory;

import org.mozilla.jrex.event.progress.ProgressEvent;

import org.mozilla.jrex.navigation.WebNavigation;

import org.mozilla.jrex.navigation.WebNavigationConstants;

import org.mozilla.jrex.ui.JRexCanvas;

import org.mozilla.jrex.window.JRexWindowManager;

import org.w3c.dom.Document;

import org.w3c.dom.Element;

import org.w3c.dom.Node;

public class Render implements org.mozilla.jrex.event.progress.ProgressListener {

    boolean done = false;

    public boolean parsePage(String url) throws Exception {

System.setProperty("jrex.browser.usesetupflags", "true");

       System.setProperty("jrex.browser.allow.images", "false"); //不加载图片

       System.setProperty("jrex.browser.allow.plugin", "false"); //不加载flash




       // The JRexCanvas is the main browser component. The WebNavigator

       // is used to access the DOM.

       JRexCanvas canvas = null;

       WebNavigation navigation = null;

       // Start up JRex/Gecko.

       JRexFactory.getInstance().startEngine();

       // Get a window manager and put the browser in a Swing frame.

       // Based on Dietrich Kappe's code.

       JRexWindowManager winManager = (JRexWindowManager) JRexFactory

              .getInstance().getImplInstance(JRexFactory.WINDOW_MANAGER);

       winManager.create(JRexWindowManager.SINGLE_WINDOW_MODE);

       JPanel panel = new JPanel();

       JFrame frame = new JFrame();

       frame.getContentPane().add(panel);

       winManager.init(panel);

       // Get the JRexCanvas, set Render to handle progress events so

       // we can determine when the page is loaded, and get the

       // WebNavigator object.

       canvas = (JRexCanvas) winManager.getBrowserForParent(panel);

       canvas.addProgressListener(this);

       navigation = canvas.getNavigator();

       // Load and process the page.

       navigation.loadURI(url, WebNavigationConstants.LOAD_FLAGS_NONE, null,

              null, null);

       // Swing magic.

       frame.setSize(640, 480);

       frame.setVisible(false);

       // Check if the DOM has loaded every two seconds.

       while (!done) {

           Thread.sleep(2000);

       }

       // Get the DOM and recurse on its nodes.

       Document doc = navigation.getDocument();

       Element ex = doc.getDocumentElement();

       System.out.println(xmlToString(ex));

       return true;

    }

    public static String xmlToString(Node node) throws Exception {

       Source source = new DOMSource(node);

       StringWriter stringWriter = new StringWriter();

       Result result = new StreamResult(stringWriter);

       TransformerFactory factory = TransformerFactory.newInstance();

       Transformer transformer = factory.newTransformer();

       transformer.setOutputProperty(OutputKeys.METHOD, "html");

       transformer.transform(source, result);

       return stringWriter.getBuffer().toString();

    }

    /**

     * onStateChange is invoked several times when DOM loading is complete. Set

     * the done flag the first time.

     */

    public void onStateChange(ProgressEvent event) {

       if (!event.isLoadingDocument()) {

           if (done)

              return;

           done = true;

       }

    }

    public static void main(String[] args) throws Exception {

       Render p = new Render();

       p.parsePage("http://ilovelate.blog.163.com");

       System.exit(0);

    }

    public void onLinkStatusChange(ProgressEvent event) {

    }

    public void onLocationChange(ProgressEvent event) {

    }

    public void onProgressChange(ProgressEvent event) {

    }

    public void onSecurityChange(ProgressEvent event) {

    }

    public void onStatusChange(ProgressEvent event) {

    }

}