HttpClient模拟ajax提交

这几天开始做一些爬虫方面的东西，但是在解析页面是碰到了分页数据的爬取问题，如果分页是get方式的url还好，但是如果是Post方式的ajax提交那就感觉比较纠结
思路：
因为是post所以首先想到使用Post的参数方式来做：

public String doHttpSend(String keyWord,String searchType,int pageNum) throws Exception
	{
		PostMethod method = null;
		try
		{
			HttpClient client = getHttpClient();
			method = new PostMethod(SEARCH_URL);
			
			method.addRequestHeader("connection","keep-alive");

			NameValuePair[] params = new NameValuePair[]{
					new NameValuePair("keyWord",keyWord),
					new NameValuePair("page",String.valueOf(pageNum))
					};
                           method.addParameters(params);
			int statusCode = client.executeMethod(method);
			
			if(statusCode != HttpStatus.SC_OK)
			{
				return null;
			}
			
			System.out.println(method.getResponseBodyAsString());
			return method.getResponseBodyAsString();
			
		}
		finally
		{
			if(null != method)
			{
				method.releaseConnection();
			}
		}
	}

但是发现该方法实现发送后，获得的结果总是"System.NotSupportedException"；
刚开始以为是Header设置不对，用工具对比后发现header信息基本一直，但是参数格式却是不一样的，比如当前方式的参数格式最终为"param1=value1&param2=value2",而页面上ajax提交的参数确实json格式的字符串；
于是，就修改参数的构造方式：
首先构造json格式的字符串 如：

String param ="{\"keyWord\":"+keyWord+",\"page\":"+pageNum+"}"

,而不能使用NameValuePair来传递参数
再设置参数到method :

method.setRequestBody(param);

这样就可以成功得到ajax返回的数据了，该方法同样适用于asp的异步方法，已经过验证;但是如果使用NameValuePair如何才能解决ajax问题呢，还有待研究!

评论

3 楼 zhao_yi 2016-08-24  

[color=red][size=xx-small][list]
[*]

引用
[u][i][b][/b][/i][/u]

[/list][/size][/co     lor]
啥的

2 楼 冰糖葫芦 2012-07-11  

solo- 写道

试了一下构造json请求也不行，不知道怎么回事

嗯，首先确保参数格式对不对，包括\"都不能少，如果参数没错误的话，就用抓包工具分析对比下httpclient的请求和浏览器本身请求的header有什么不同，比如有没有使用gzip等都可能影响到是否成功，呵呵

1 楼 solo- 2012-07-04  

试了一下构造json请求也不行，不知道怎么回事