关于HttpClient得到空页面的问题记录

 在做HttpClient获取页面时，对于http://www.oilchem.net/这个网站老是只能拿到空页面，后来在网站上找了好久，找到的一个解决办法，在这里做个记录。代码如下：

//构造HttpClient的实例
  HttpClient httpClient = new HttpClient();
  //创建GET方法的实例
  GetMethod getMethod = new GetMethod("http://www.dianping.com");
  getMethod.setRequestHeader( "User-Agent", "fake");

 

User-Agent的值如下列举：

Mozilla	这是一个基于 Mozilla 的浏览器
4.0	Mozilla 版本
compatible	兼容标志 表明此浏览器和常见浏览器特性兼容
MSIE 6.0	名称: Internet Explorer 版本: 6.0
Windows NT 5.1	OS或CPU : Windows XP, SP2
SV1	为 IE6 增加增强的安全特性 (仅针对 Windows XP SP2 和 Windows Server 2003)
.NET CLR 2.0.50727	.NET 框架公共语言运行时库已安装 版本: 2.0.50727

评论

2 楼 hao861002 2009-01-12  

playfish 写道

HttpClient 有些网站会有防采集的措施的,所以如果想完美的突破防采集,最好是将所有的头信息都伪装成IE6..然后设置一下referer,这样的方法几乎是可以做到100%突破普通页面的限制了.

我想问高手playfish，如何将所有的头信息伪装成IE6，是全部getMethod.setRequestHeader("", "");
请高手可以给我一段代码例子。谢谢！

1 楼 playfish 2009-01-10  

HttpClient

有些网站会有防采集的措施的,所以如果想完美的突破防采集,最好是将所有的头信息都伪装成IE6..然后设置一下referer,这样的方法几乎是可以做到100%突破普通页面的限制了.