求教关于 HttpClient 抓取页面返回403的问题

0 0

求教关于 HttpClient 抓取页面返回403的问题10

        HttpClient httpClient = new HttpClient();
        GetMethod getMethod = new GetMethod(url);
        try
        {
            int result = httpClient.executeMethod(getMethod);
            System.out.println(result);
        }
        catch (HttpException e)
        {
            e.printStackTrace();
        }
        catch (IOException e)
        {
            e.printStackTrace();
        }
        finally
        {
            if (getMethod != null)
            {
                getMethod.releaseConnection();
            }
        }
在抓取http://www.giveyousomecolortoseesee.com 给你些颜色看看搜索页面的时候会返回403。
例如url 值为http://www.giveyousomecolortoseesee.com/search_2_dnf.htm 即搜索的关键词是dnf（使用代码抓取前未使用浏览器使用dnf该关键词进行检索），返回的结果为403。如果之前使用浏览器对dnf关键词进行过检索则能够拿到正确的返回值200，由于刚接触这块的内容比较迷惑所以发出来求教，不胜感激。

HttpClient 抓取 403

2013年7月08日 09:14

lyl070218
22
0 0 3

2个答案按时间排序按投票排序

0 0

http status code 403是服务器禁止访问.

一般情况下可以伪装HTTP Header
http://greatwqs.iteye.com/blog/1278948

如果是已经把客户端的IP封锁了,只有换你电脑出去的外网IP.
或者使用其他外网代理访问页面,这个就要改动一下HttpClient的封装代理代码了.

2013年7月09日 15:51

greatwqs
11
0 0 3

添加评论

0 0

HttpClient httpClient = new HttpClient(); 
		httpClient.getParams().setParameter( HttpMethodParams.USER_AGENT, "Mozilla/5.0 (X11; U; Linux i686; zh-CN; rv:1.9.1.2) Gecko/20090803"); 
        GetMethod getMethod = new GetMethod(url);

        try 
        { 
            int result = httpClient.executeMethod(getMethod); 
            System.out.println(result); 
        } 
        catch (IOException e) 
        { 
            e.printStackTrace(); 
        } 
        finally 
        { 
            if (getMethod != null) 
            { 
                getMethod.releaseConnection(); 
            } 
        }

,伪装下头部就可以了，网站做了些防抓取措施

2013年7月08日 13:16