curl的基本使用及libcurl

1 curl 是一个强大的命令行工具，一般被称为下载工具；其实curl可以执行HTTP HTTPS FTP等协议的绝大部分请求，完成一般windows等系统上下载工具的绝大多数功能。

 

网址： http://curl.haxx.se/   [没错，来自瑞典]

CURL 写道

curl is a command line tool for transferring data with URL syntax, supporting DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP. curl supports SSL certificates, HTTP POST, HTTP PUT, FTP uploading, HTTP form based upload, proxies, cookies, user+password authentication (Basic, Digest, NTLM, Negotiate, kerberos...), file transfer resume, proxy tunneling and a busload of other useful tricks.

 

CURL 写道

Curl is free and open software that compiles and runs under a wide variety of operating systems. Curl exists thanks to efforts from many contributors.

The most recent stable version of curl is version 7.22.0, released on 13th of September 2011. Currently, 110 of the listed archives are of the latest version.

 

2 CURL的基本使用

 

网络 写道

1、获得一张页面
使用命令：curl http://curl.haxx.se
这是最简单的使用方法。用这个命令获得了http://curl.haxx.se指向的页面，同样，如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地。如果下载的是HTML文档，那么缺省的将不显示文件头部，即HTML文档的header。要全部显示，请加参数 -i，要只显示头部，用参数 -I。任何时候，可以使用 -v 命令看curl是怎样工作的，它向服务器发送的所有命令都会显示出来。为了断点续传，可以使用-r参数来指定传输范围。


2、表单（Form）的获取
在WEB页面设计中，form是很重要的元素。Form通常用来收集并向网站提交信息。提交信息的方法有两种，GET方法和POST方法。先讨论GET方法，例如在页面中有这样一段：
<form method="GET" action="junk.cgi">
<input type=text name="birthyear">
<input type=submit name=press value="OK">
</form>
那么浏览器上会出现一个文本框和一个标为“OK”的按钮。按下这个按钮，表单就用GET方法向服务器提交文本框的数据。例如原始页面是在www.hotmail.com/when/birth.html看到的，然后您在文本框中输入1905，然后按OK按钮，那么浏览器的URL现在应该是：“www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK”
对于这种网页，curl可以直接处理，例如想获取上面的网页，只要输入：
curl "www.hotmail.com/when/junk.cgi?birthyear=1905&press=OK"
就可以了。
表单用来提交信息的第二种方法叫做POST方法，POST方法和GET方法的区别在于GET方法使用的时候，浏览器中会产生目标URL，而POST不会。类似GET，这里有一个网页：
<form method="POST" action="junk.cgi">
<input type=text name="birthyear">
<input type=submit name=press value="OK">
</form>
浏览器上也会出现一个文本框和一个标为“OK”的按钮。按下这个按钮，表单用POST方法向服务器提交数据。这时的URL是看不到的，因此需要使用特殊的方法来抓取这个页面：
curl -d "birthyear=1905&press=OK" www.hotmail.com/when/junk.cgi
这个命令就可以做到。
1995年年末，RFC 1867定义了一种新的POST方法，用来上传文件。主要用于把本地文件上传到服务器。此时页面是这样写的：
<form method="POST" enctype='multipart/form-data' action="upload.cgi">
<input type=file name=upload>
<input type=submit name=press value="OK">
</form>
对于这种页面，curl的用法不同：
curl -F upload=@localfilename -F press=OK [URL]
这个命令的实质是将本地的文件用POST上传到服务器。有关POST还有不少用法，用户可以自己摸索。


3、使用PUT方法。
HTTP协议文件上传的标准方法是使用PUT，此时curl命令使用-T参数：
curl -T uploadfile www.uploadhttp.com/receive.cgi


4、有关认证。
curl可以处理各种情况的认证页面，例如下载用户名/密码认证方式的页面（在IE中通常是出现一个输入用户名和密码的输入框）：
curl -u name:password www.secrets.com
如果网络是通过http代理服务器出去的，而代理服务器需要用户名和密码，那么输入：
curl -U proxyuser:proxypassword http://curl.haxx.se
任何需要输入用户名和密码的时候，只在参数中指定用户名而空着密码，curl可以交互式的让用户输入密码。


5、引用。
有些网络资源访问的时候必须经过另外一个网络地址跳转过去，这用术语来说是：referer，引用。对于这种地址的资源，curl也可以下载：
curl -e http://curl.haxx.se daniel.haxx.se


6、指定用户客户端。
有些网络资源首先需要判断用户使用的是什么浏览器，符合标准了才能够下载或者浏览。此时curl可以把自己“伪装”成任何其他浏览器：
curl -A "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)" [URL]
这个指令表示curl伪装成了IE5.0，用户平台是Windows 2000。（对方服务器是根据这个字串来判断客户端的类型的，所以即使使用AIX也无所谓）。使用：
curl -A "Mozilla/4.73 [en] (X11; U; Linux 2.2.15 i686)" [URL]
此时curl变成了Netscape，运行在PIII平台的Linux上了。


7、COOKIES
Cookie是服务器经常使用的一种记忆客户信息的方法。如果cookie被记录在了文件中，那么使用命令：
curl -b stored_cookies_in_file www.cookiesite.com
curl可以根据旧的cookie写出新cookie并发送到网站：
curl -b cookies.txt -c newcookies.txt www.cookiesite.com


8、加密的HTTP——HTTPS。
如果是通过OpenSSL加密的https协议传输的网页，curl可以直接访问：
curl https://that.secure.server.com


9、http认证。
如果是采用证书认证的http地址，证书在本地，那么curl这样使用：
curl -E mycert.pem https://that.secure.server.com

参考读物和注意事项：curl非常博大，用户要想使用好这个工具，除了详细学习参数之外，还需要深刻理解http的各种协议与URL的各个语法。这里推荐几个读物：
RFC 2616 HTTP协议语法的定义。
RFC 2396 URL语法的定义。
RFC 2109 Cookie是怎样工作的。
RFC 1867 HTTP如何POST，以及POST的格式。

 

 

注 平常使用最多的且容易碰到问题的功能与选项如下：

1 cookie的保存与重用；

 

2 POST请求的提交；

 

3 文件的上传；

 

4 HTTPS的支持，或Basic认证；

 

5 referer的设置；

 

6 URL重定向 -L 参数；

 

7 下载文件时指定 range 以支持断点续传，或多worker下载。

 

 

3  libcurl http://curl.haxx.se/libcurl/

curl背后所使用的库就叫 libcurl，所以你也可以在你自己的程序或项目中使用libcurl以获得类似CURL的强大功能。

 

libcurl 写道

libcurl is a free and easy-to-use client-side URL transfer library, supporting DICT, FILE, FTP, FTPS, GOPHER, HTTP, HTTPS, IMAP, IMAPS, LDAP, LDAPS, POP3, POP3S, RTMP, RTSP, SCP, SFTP, SMTP, SMTPS, TELNET and TFTP. libcurl supports SSL certificates, HTTP POST, HTTP PUT, FTP uploading, HTTP form based upload, proxies, cookies, user+password authentication (Basic, Digest, NTLM, Negotiate, Kerberos), file transfer resume, http proxy tunneling and more!

libcurl is highly portable, it builds and works identically on numerous platforms, including Solaris, NetBSD, FreeBSD, OpenBSD, Darwin, HPUX, IRIX, AIX, Tru64, Linux, UnixWare, HURD, Windows, Amiga, OS/2, BeOs, Mac OS X, Ultrix, QNX, OpenVMS, RISC OS, Novell NetWare, DOS and more...

libcurl is free, thread-safe, IPv6 compatible, feature rich, well supported, fast, thoroughly documented and is already used by many known, big and successful companies and numerous applications.

 

 

TIPS：

如果你使用 libcurl 从HTTP服务器上下载文件的时候，一切正常，返回200，但就是没有数据，那么请检查你的HTTP文件服务器返回的HEADER里是否明确指定了 Content-Length字段； 如果该字段未明确指定或者为0，那么即使再大的文件也不会下载成功。

 

这应该不是libcurl的Bug，而是为了支持标准的HTTP协议头信息，忽略容错能力。

 

评论

1 楼 bluky999 2011-11-14  

顺便推荐 PYcURL    http://pycurl.sourceforge.net/