有强大的cURL，忘掉httpclient的吧！

这段时间想做一个网页采集的程序，由于一网站采用了防采集的办法，我的httpclient总是在登录后无法获取到我想要过去的链接。在无数次的跟踪过后发现原来人家给返回的是javascript拼成的页面，而且其中包含了frameset，期间嵌套好多frame。由于httpclient的getResonseBody仅仅只能得到服务器端而不能将它进一步做解析和执行。期间到时尝试想进一步将返回的js代码模拟浏览器执行，但是，突然想起php的cURL 模块很是强大，它就可以直接拿回来。所以就想是否尝试cURL是否会很简单哪？

安装cURL

yum install curl curl-devle

下载libcurl的java绑定
http://curl.haxx.se/libcurl/java/

配置和编译java-libcurl

gunzip curl-java-0.2.2.tar.gz
tar xvf curl-java-0.2.2.tar
cd curl-java-0.2.2
make

注意，在linux下会生成相应的javacurl库文件以及一些需要用到的java类源文件。不过注意在编译的时候把MakeFile中的路径都配置到你安装的目录中哦。

windows下要编译成dll文件。在eclipse环境中要将dll文件放在WINDOWS/system32或者按照你的目录标准重写头文件，然后执行编译。否则会给出java.lang.UnsatisfiedLinkError的错误。

有关该错误，可见偶们强大的JEr的讨论，帖子在：
http://www.iteye.com/topic/58461?page=2

因为，在libcurl-java中的源文件中有

   try {
      // Loading up the shared JNI
      System.loadLibrary("javacurl");
    } catch (Exception e) {
      e.printStackTrace();
    }

相关windows环境下已经编译好的包下载地址在：
http://www.gknw.de/mirror/curl/curl_java/

然后，执行curl-java-0.2.2包中的test.java文件（可以将里面的url，改成你想登入的顽固网站）

你是否看见你它贴心的给你返回你想要的东西了呢？

如果用ruby，python或者perl的话，也是只需安装他们的libcurl绑定模块即可，然后在你的世界畅游吧。

评论

9 楼 zuodang 2015-06-17  

我尝试在windows中搭环境编译 curl-java-master 始终无法成功，

望楼主发一份 http://www.gknw.de/mirror/curl/curl_java/ 链接中的东西，

不甚感激，谢谢!

[e-mail]

8 楼 buildhappy 2015-01-02  

同求http://www.gknw.de/mirror/curl/curl_java/ 链接中的东西，谢谢
[e-mail]

7 楼 zgf_091 2013-10-18  

好早的文章，现在才看到，就是这个链接http://www.gknw.de/mirror/curl/curl_java/
不可用，不知道可不可以发给我windows环境下已经编译好的包
我的邮箱[e-mail]
谢谢！

6 楼 huchuhan 2013-06-17  

LZ应该贴个例子出来, 网上这方面的东西太少了.

5 楼 gaoyibin 2012-08-26  

楼主，网上的curl-java-0.2.2.tar都连接不了，下不下来，希望楼主大发慈悲，发一个给我吧，谢谢了。我的邮箱是：[e-mail]
真心希望楼主发个给我。。谢谢了。。

4 楼 mashimaro 2010-03-09  

你好 你上面的这个地址 相关windows环境下已经编译好的包下载地址在：
http://www.gknw.de/mirror/curl/curl_java/
链接无效 我想用JAVA做个找网页源码的程序 但是 网页里面有JS 需要解析 是否有包可以用 谢谢

3 楼 天机老人 2008-12-15  

哈哈采集的我要收藏的呀！

2 楼 SunShineBoy 2008-12-12  

感谢楼主分享！不懂的再来麻烦你！

1 楼 王者之剑 2008-12-11  

做采集的，还是自私点儿好