【转】通过搜索关键和页码字进入百度

 

通过搜索关键和页码字进入百度，例如“http://www.baidu.com/s?wd=搜索关键字&pn=页码（这里的页码计算公式是：10*（页码-1））

找到真正有用的那一行，把信息读出来，

按照每一个项的特点把他们切开，例如URL前面都有“class=f”……

然后存起来

下面是代码：

 

package org.qisou;

 

import java.io.*;

import java.net.*;

/*

 * 这是一个获取百度的类，它可以用一个搜索关键字来初始化，然后将抓取的结果存到SearchItem的对象数组里

 */

public class CatchBaidu {

 

    /**

     * @param args

     * strKey: 搜索关键字

     */

    private String strKey;

    private String[] info;

    private String source;

    private SearchItem[] ItemList;

     

    /*

     * 构造函数，使用搜索关键字构造

     */

    public CatchBaidu(String strKey,int pages){

        this.strKey=strKey;

        pages=(pages-1)*10;

        this.ItemList = new SearchItem[10];

        this.source="http://www.baidu.com/s?wd="+this.strKey+"&tn=cfish828_pg&pn="+pages;

        this.source=Socket(this.source);

        info = new String[40];

        this.GetBaidu();

    }

    public CatchBaidu(String strKey){

        this.strKey=strKey;

        this.ItemList = new SearchItem[10];

        this.source="http://www.baidu.com/s?wd="+this.strKey+"&tn=cfish828_pg&pn="+1;

        this.source=Socket(this.source);

        info = new String[40];

        this.GetBaidu();

    }

    /*

     * 使用socket获取制定baidu页面，并对页面进行初级筛选，找出有用的一行返回

     */

    public String Socket(String strPage){

         

        String strServer="www.baidu.com";

        String s=null;

        try {

            String hostname = strServer;

            int port = 80;

            InetAddress addr = InetAddress.getByName(hostname);

            Socket socket = new Socket(addr, port); //建立一个Socket

 

            //发送命令

            BufferedWriter wr = new BufferedWriter(new OutputStreamWriter(socket.getOutputStream(), "UTF8"));

            wr.write("GET " + strPage + " HTTP/1.0 ");

            wr.write("HOST:" + strServer + " ");

            wr.write(" ");

            wr.flush();

 

            //接收返回的结果

            BufferedReader rd = new BufferedReader(new InputStreamReader(socket.getInputStream()));

            String line;

            while (true) {

                line = rd.readLine();

                if(line.length()>=75){

                    if(line.startsWith("<table border="0" cellpadding="0" cellspacing="0"><tr><td class=f><a href="")){

                        s=line;

                        break;

                    }

                }

            }

            wr.close();

            rd.close();

        } 

        catch (Exception e) {

            System.out.println(e.toString());

        }

        return s;

    }//获取百度有用的字段；

         

    public String ClearOnce(String s){

        int first;

        int last;

        first = s.indexOf("<");

        last = s.indexOf(">");

        StringBuilder builder = new StringBuilder(s);

        builder.delete(first,last+1);

        return builder.toString();

    }//清除一次<>

     

    public String Clear(String s){

        while(s.indexOf(">")>0&s.indexOf(">")<s.length()){

            s=this.ClearOnce(s);

        }

        return s;

    }//清除所有的<>

     

    public String ClearK(String s){

        return s.substring(0,s.indexOf("- "));

    }//去掉百度快照

     

    public String GetUrl(String s){

        int first;

        int lest;

        if((first=s.indexOf("class=f"))!=-1){

            lest=s.indexOf("" target");

            s=s.substring(first+17,lest);

            return s;

        }else

        return "";

    }//获取URL

     

    public void GetBaidu(){

        int br;

        for(int i=0;i<40;i++){

            br=this.source.indexOf("");

            info[i]=this.source.substring(0,br);

            this.source=this.source.substring(br+4,this.source.length());

        }//将数据进行分段，每四段代表一个信息

        for(int i=0;i<40;i++){

            if((i+1)%4==1){

                info[i+3]=GetUrl(info[i]);

            }

            info[i]=Clear(info[i]);

            if((i+1)%4==3){

                info[i]=ClearK(info[i]);

            }

            //System.out.println(st[i]);

        }//将信息整理，从新存储，顺序为 标题、简介、页面信息、URL

        for(int i=0;i<10;i++){

            int j=i*4;

            SearchItem item = new SearchItem(info[j],info[j+3],info[j+1],info[j+2]);

            this.ItemList[i]=item;

        }//将每条信息存入对象数组

    }//把信息分段存入数组

     

    public SearchItem[] GetBaiduItemList(){

        return ItemList;

    }

 

    public static void main(String[] args){

        //System.out.print("QiSou.cn Search: ");

        //KeyboardInput input = new KeyboardInput();

        //String search = input.readString();

        CatchBaidu obj = new CatchBaidu("forest",4);

        SearchItem[] itemlist = obj.GetBaiduItemList();

        for(int i=0;i<10;i++){

            itemlist[i].print();

        }

    }

 

}

 

.

 

package org.qisou;

 

public class SearchItem {

 

    /**

     * @param args

     * title: 标题

     * URL:链接地址

     * synopsis:简介

     * info:页面信息

     */

    //private String ID;

    private String title;

    private String URL;

    private String synopsis;

    private String info;

     

    public String GetTitle(){

        return title;

    }

    public String GetURL(){

        return URL;

    }

    public String GetSynopsis(){

        return synopsis;

    }

    public String GetInfo(){

        return info;

    }

 

     

    public SearchItem(String title ,String URL ,String synopsis ,String info){

        this.title=title;

        this.URL=URL;

        this.synopsis=synopsis;

        this.info=info;

    }

    public SearchItem(){

         

    }

     

    public void print(){

        System.out.println(this.GetURL());

        System.out.println(this.GetTitle());

        System.out.println(this.GetSynopsis());

        System.out.println(this.GetInfo());

    }

    public static void main(String[] args) {

        // TODO Auto-generated method stub

        SearchItem obj = new SearchItem("title","URL","synopsis","info");

        obj.print();

 

    }

 

}