7个答案 按时间排序 按投票排序

0 0

发送请求，解析响应的HTML

2009年1月14日 10:25

cprogrammer
25
0 0 0

• 添加评论

0 0

看你要怎么截，可以写个爬虫，读取网页文件，然后用正则来分析，抓取你要的信息

2009年1月07日 11:02

汪兆铭
1538
0 0 0

• 添加评论

0 0

javascript和正则表达式结合起来用，发贴人，发贴时间和网址命名要有一定的规律，比如网址为thread-id,发贴人id为thread-id-posterid,发贴时间id为thread-id-time,然后用正则表达式匹配/thread-id.*/ 发贴人和发贴时间,再用document.getElementById取出对应的值。

2009年1月06日 11:05

liumy601
166
0 0 0

• 添加评论

0 0

你的问题其实是属于垂直搜索引擎的爬虫
就像kooxoo一类的网站 他们就是专门去抓特定数据的

最简单的办法就是比如你要爬一个论坛
1 你右键查看它的网页源代码
2 你要找作者名字,它可能写在第5个<div>标签中,或者说id为"author_name"的div标签中
<div id="author_name">Haric<div>
3 你写程序发起一个http请求,可能要带上参数
4 解析返回来的response string
5 找第5个div,或者用正则表达式找id为"author_name"的div
6 然后随你用正则表达式还是substring去取得作者名字"Haric"

不知道说明白没,其实就是对http请求后返回的html源代码进行分析

2009年1月06日 10:36

haric
39
0 0 0

• 添加评论

0 0

使用正则表达式，

对HTML做分析，

获取对应标签内的值。

基本思路是这样。

细节我这里暂无代码。

2009年1月05日 11:44

chan.d
6
0 0 3

• 添加评论

0 0

http://www.blogjava.net/ekinglong/archive/2006/11/12/80704.html?Pending=true#Post

 /** */   /**
 * 利用Google在线翻译引擎实现多国语言互译
 * 这里只使用google的对译项目
 * 目前只针对中日英，且因为google不提供中日直接互译，
 * 所以，此引擎也不能进行中日对译
 * 
 *  @author  ekinglong
 *  @version  1.0 06/10/30
  */

package  ekinglong.languageEngine;
 
  import  java.io. * ;
  import  java.net. * ;
 
  public   class  GoogleTranslationEngine2 {
     
      // 定义互译语言对常数变量，符合google页面相关对译语言对的值
      public   static   final  String LANGPAIR_CN_EN = " zh-CN|en " ; // 汉语到英语
      public   static   final  String LANGPAIR_EN_CN = " en|zh-CN " ; // 英语到汉语
      public   static   final  String LANGPAIR_EN_JA = " en|ja " ; // 英语到日语
     
      // 定义编码常数
      public   static   final  String CHARSET_CN = " GBK " ;
      public   static   final  String CHARSET_JA = " Shift_JIS " ;
     
      // google在线翻译引擎url
      static   final  String engineUrl = " http://translate.google.com/translate_t " ; 
     
      /** */ /**
      * 利用google在线翻译引擎实现翻译，并获取翻译内容
      *  @param  translateText 要翻译的文本内容
      *  @param  langpair 对译语言的值对，如en|ja是由英语翻译到日语
       */
      public  String translate(String translateText,String langpair) 
          throws  MalformedURLException,IOException,UnsupportedEncodingException {
         
          // text是google翻译页面提交时对于欲翻译文字的变量名
          // langpair是google翻译页面提交时对于采用何种互对语言的变量名
         String urlstr = engineUrl + " ?text= " + encodeText(translateText) + " &langpair= " + langpair;
         URL url  =   new  URL(urlstr);
         URLConnection connection  =  (HttpURLConnection)url.openConnection();
         connection.setRequestProperty( " User-agent " , " IE/6.0 " );  // 必须，否则报错，到于FF的怎么写，没做过测试        
         connection.connect();
         
         String charset = getCharsetFromLangpair(langpair); // 自动获取目标语言的编码
         BufferedReader in = new  BufferedReader( new
          InputStreamReader(connection.getInputStream(),charset)); // 使用指定编码接收数据
                          
         String line = null ;
         StringBuilder sb = new  StringBuilder();
          while ((line = in.readLine()) != null ) {
             sb.append(line);
         }
         in.close();          
         
         String translation = getContent(sb.toString());
          return  translation;
     }
     
      /** */ /**
      * 从获得的源文件中剥取翻译内容
      * 分析google翻译生成的html源码来看
      * 翻译内容被置于<div id=result_box dir=ltr>和</div>标签之间
      *  @param  htmltext 获得的网业源代码
       */
      private  String getContent(String htmltext) {
         String ss = " <div id=result_box dir=ltr> " ; 
         String se = " </div> " ;
          int  ssidx = htmltext.indexOf(ss);
          int  seidx = htmltext.indexOf(se,ssidx);
         
         String restr = htmltext.substring(ssidx + ss.length(),seidx);
          return  restr;
     }
     
      // 将文本进行URL编码
      private  String encodeText(String text) {
         String str = java.net.URLEncoder.encode(text);
          return  str;
     }
     
      /** */ /**
      * 根据翻译的目标语言获取对应的接收编码
      *      
      * @langpair 对译语言的值对，如en|ja是由英语翻译到日语
       */
      private  String getCharsetFromLangpair(String langpair) {
          // 当翻译的目标语言为日语时，采用Shift+JIS编码接收数据
          if (langpair.equals(LANGPAIR_EN_JA))
              return  CHARSET_JA;          
          else   return  CHARSET_CN;
     }
     
      public   static   void  main(String[] args)  throws  Exception {
         GoogleTranslationEngine2 engine = new  GoogleTranslationEngine2();
         String text = " hello " ;
         String langpair = " en|ja " ;
          if (args.length >= 2 ) {
             StringBuilder sb = new  StringBuilder();
              for ( int  i = 0 ;i < args.length - 1 ;i ++ ) {
                 sb.append(args[i]).append( "   " );
             }
             text = sb.toString();
             String tmp = args[args.length - 1 ];
              // 因为在cmd.exe中|是特殊字符，所以不能直接指定翻译对，如"en|ja"所以转一下
              if (tmp.equals( " cn-en " )) langpair = GoogleTranslationEngine2.LANGPAIR_CN_EN;
              else   if (tmp.equals( " en-cn " )) langpair = GoogleTranslationEngine2.LANGPAIR_EN_CN;
              else   if (tmp.equals( " en-ja " )) langpair = GoogleTranslationEngine2.LANGPAIR_EN_JA;             
              else   throw   new  Exception( " 语言对指定错误 " );
         }
         String rst = engine.translate(text,langpair);
         System.out.println( " 翻译内容： " + text);
         System.out.println( " Google翻译结果： " + rst);
     }
 } 

2009年1月05日 10:39

阳光晒晒
88
0 0 0

• 添加评论

0 0

1.xpath
2.正则表达式

1.可以安装seleniumIDE他的表达式生成方式很爽
2.用google搜"抓取网页信息"

2009年1月05日 10:16

阳光晒晒
88
0 0 0

• 添加评论