`
cryolite
  • 浏览: 579683 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

CURL --- 命令行浏览器

阅读更多
CURL? 嗯,说来话长了~~~~

这东西现在已经是苹果机上内置的命令行工具之一了,可见其魅力之一斑

1)
二话不说,先从这里开始吧!
curl http://www.yahoo.com

回车之后,www.yahoo.com 的html就稀里哗啦地显示在屏幕上了~~~~~

2)
嗯,要想把读过来页面存下来,是不是要这样呢?
curl http://www.yahoo.com > page.html


当然可以,但不用这么麻烦的!
用curl的内置option就好,存下http的结果,用这个option: -o
curl -o page.html http://www.yahoo.com


这样,你就可以看到屏幕上出现一个下载页面进度指示。等进展到100%,自然就OK咯

3)
什么什么?!访问不到?肯定是你的proxy没有设定了。
使用curl的时候,用这个option可以指定http访问所使用的proxy服务器及其端口: -x
curl -x 123.45.67.89:1080 -o page.html http://www.yahoo.com



4)
访问有些网站的时候比较讨厌,他使用cookie来记录session信息。
像IE/NN这样的浏览器,当然可以轻易处理cookie信息,但我们的curl呢?.....
我们来学习这个option: -D <-- 这个是把http的response里面的cookie信息存到一个特别的文件中去
curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.yahoo.com


这样,当页面被存到page.html的同时,cookie信息也被存到了cookie0001.txt里面了


5)
那么,下一次访问的时候,如何继续使用上次留下的cookie信息呢?要知道,很多网站都是靠监视你的cookie信息,
来判断你是不是不按规矩访问他们的网站的。
这次我们使用这个option来把上次的cookie信息追加到http request里面去: -b
curl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.yahoo.com


这样,我们就可以几乎模拟所有的IE操作,去访问网页了!


6)
稍微等等~~~~~我好像忘记什么了~~~~~
对了!是浏览器信息~~~~

有些讨厌的网站总要我们使用某些特定的浏览器去访问他们,有时候更过分的是,还要使用某些特定的版本~~~~
NND,哪里有时间为了它去找这些怪异的浏览器呢!?

好在curl给我们提供了一个有用的option,可以让我们随意指定自己这次访问所宣称的自己的浏览器信息: -A
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.yahoo.com


这样,服务器端接到访问的要求,会认为你是一个运行在Windows 2000上的IE6.0,嘿嘿嘿,其实也许你用的是苹果机呢!

而"Mozilla/4.73 [en] (X11; U; Linux 2.2; 15 i686"则可以告诉对方你是一台PC上跑着的Linux,用的是Netscape 4.73,呵呵呵


7)
另外一个服务器端常用的限制方法,就是检查http访问的referer。比如你先访问首页,再访问里面所指定的下载页,这第二次访问的referer地址就是第一次访问成功后的页面地址。这样,服务器端只要发现对下载页面某次访问的referer地址不 是首页的地址,就可以断定那是个盗连了~~~~~

讨厌讨厌~~~我就是要盗连~~~~~!!
幸好curl给我们提供了设定referer的option: -e
curl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.yahoo.com" -o page.html -D cookie0001.txt http://www.yahoo.com


这样,就可以骗对方的服务器,你是从mail.yahoo.com点击某个链接过来的了,呵呵呵


8)
写着写着发现漏掉什么重要的东西了!----- 利用curl 下载文件

刚才讲过了,下载页面到一个文件里,可以使用 -o ,下载文件也是一样。
比如, curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG
这里教大家一个新的option: -O
大写的O,这么用: curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG
这样,就可以按照服务器上的文件名,自动存在本地了!

再来一个更好用的。
如果screen1.JPG以外还有screen2.JPG、screen3.JPG、....、screen10.JPG需要下载,难不成还要让我们写一个script来完成这些操作?
不干!
在curl里面,这么写就可以了:
curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG


呵呵呵,厉害吧?!~~~

9)
再来,我们继续讲解下载!
curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG


这样产生的下载,就是
~zzh/001.JPG
~zzh/002.JPG
...
~zzh/201.JPG
~nick/001.JPG
~nick/002.JPG
...
~nick/201.JPG

够方便的了吧?哈哈哈

咦?高兴得太早了。
由于zzh/nick下的文件名都是001,002...,201,下载下来的文件重名,后面的把前面的文件都给覆盖掉了~~~

没关系,我们还有更狠的!
curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG

--这是.....自定义文件名的下载?
--对头,呵呵!

#1是变量,指的是{zzh,nick}这部分,第一次取值zzh,第二次取值nick
#2代表的变量,则是第二段可变部分---[001-201],取值从001逐一加到201
这样,自定义出来下载下来的文件名,就变成了这样:
原来: ~zzh/001.JPG ---> 下载后: 001-zzh.JPG
原来: ~nick/001.JPG ---> 下载后: 001-nick.JPG

这样一来,就不怕文件重名啦,呵呵


9)
继续讲下载
我们平时在windows平台上,flashget这样的工具可以帮我们分块并行下载,还可以断线续传。
curl在这些方面也不输给谁,嘿嘿

比如我们下载screen1.JPG中,突然掉线了,我们就可以这样开始续传
curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG


当然,你不要拿个flashget下载了一半的文件来糊弄我~~~~别的下载软件的半截文件可不一定能用哦~~~

分块下载,我们使用这个option就可以了: -r
举例说明
比如我们有一个http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 要下载(赵老师的电话朗诵
我们就可以用这样的命令:
curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\
curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3

这样就可以分块下载啦。
不过你需要自己把这些破碎的文件合并起来
如果你用UNIX或苹果,用 cat zhao.part* > zhao.mp3就可以
如果用的是Windows,用copy /b 来解决吧,呵呵

上面讲的都是http协议的下载,其实ftp也一样可以用。
用法嘛,
curl -u name:passwd ftp://ip:port/path/file

或者大家熟悉的
curl ftp://name:passwd@ip:port/path/file




10)
说完了下载,接下来自然该讲上传咯
上传的option是 -T

比如我们向ftp传一个文件: curl -T localfile -u name:passwd ftp://upload_site:port/path/

当然,向http服务器上传文件也可以
比如 curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi
注意,这时候,使用的协议是HTTP的PUT method

刚才说到PUT,嘿嘿,自然让老服想起来了其他几种methos还没讲呢!
GET和POST都不能忘哦。

http提交一个表单,比较常用的是POST模式和GET模式

GET模式什么option都不用,只需要把变量写在url里面就可以了
比如:
curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345


而POST模式的option则是 -d

比如,curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi
就相当于向这个站点发出一次登陆申请~~~~~

到底该用GET模式还是POST模式,要看对面服务器的程序设定。

一点需要注意的是,POST模式下的文件上的文件上传,比如
<form method="POST" enctype="multipar/form-data" action="http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi">
<input type=file name=upload>
<input type=submit name=nick value="go">
</form>

这样一个HTTP表单,我们要用curl进行模拟,就该是这样的语法:
curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi


罗罗嗦嗦讲了这么多,其实curl还有很多很多技巧和用法
比如 https的时候使用本地证书,就可以这样
curl -E localcert.pem https://remote_server


再比如,你还可以用curl通过dict协议去查字典~~~~~
curl dict://dict.org/d:computer


今天就先讲到这里吧,呵呵。疯狂的curl功能,需要你---一起来发掘。

copyright by nickwolfe@CCF
分享到:
评论

相关推荐

    windows下curl工具 curl-7.71.1-win64-mingw

    curl是一个强大的命令行工具,用于在不同的操作系统平台上进行文件传输,包括Windows。它的全名是Client URL Library,支持多种协议,如HTTP、HTTPS、FTP、FTPS、TFTP、SMTP、POP3、IMAP等,使得用户可以通过URL来...

    curl-7.46.0-win64.zip

    《curl-7.46.0-win64.zip:深入理解curl命令行工具在Windows环境下的应用》 curl,一个强大的命令行工具,用于传输数据,支持多种协议,包括HTTP、HTTPS、FTP、FTPS等。它在软件开发、网络调试、数据抓取等领域有着...

    curl-7.77.0_2-win64-mingw.zip

    CURL,全称为“Client URL Library”,是一款强大的命令行工具,用于传输数据到或从服务器。这个名为“curl-7.77.0_2-win64-mingw.zip”的压缩包是CURL的Windows 64位版本,适用于64位的Windows操作系统。它包含了...

    curl-7.64.0-win64-mingw.zip

    在Windows系统中,通常我们使用图形化的浏览器或者下载管理器来获取网络资源,但`curl`提供了在命令行环境中进行下载的能力,这对于开发者、自动化脚本和命令行爱好者来说非常方便。使用curl,你可以通过简单的...

    curl-7.60.0.tar.gz

    4. **故障排查**:开发人员可以利用curl模拟浏览器行为,快速检查服务器接口是否正常工作,或者分析HTTP响应头和状态码。 四、安全性与优化 1. **SSL/TLS支持**:curl支持安全连接,通过`--ssl`或`--insecure`参数...

    curl-7.66.0_2.rar

    在Windows环境下,CURL提供了方便的命令行接口,使得用户可以轻松地进行数据的下载、上传以及其他网络操作。 本文将深入探讨CURL在Windows平台上的应用,尤其是针对7.66.0版本的特性及使用方法。 1. **版本介绍**...

    curl-7.15.0

    cURL(Client URL Library)是一个强大的命令行工具和库,用于传输数据,特别是通过HTTP、HTTPS等网络协议。这个包对于开发者来说非常重要,因为它允许PHP应用程序与其他Web服务进行交互,如API调用、文件上传和下载...

    latest curl-7.61.1_6-win32-mingw

    `curl`是一个强大的命令行工具,用于在操作系统与互联网之间传输数据,如文件、URL等。这个`latest curl-7.61.1_6-win32-mingw`是`curl`的一个特定版本,针对Windows 32位系统编译的 Mingw 版本。Mingw(Minimalist ...

    curl-7.70.0.zip

    **cURL命令行语法** cURL的命令格式一般如下: ``` curl [选项] [URL] ``` 其中,选项可以包括指定HTTP方法、设置认证、指定代理、定义头信息等,而URL则是要操作的目标地址。例如,下载一个网页内容的命令: ``...

    Curl-7.61.0-最新版本

    6. **自定义HTTP头**:可以通过命令行参数添加自定义的HTTP头,这对于模拟浏览器行为或者API调用非常有用。 7. **会话管理**:Curl支持cookie,可以在多个请求之间保持会话状态。 8. **进度条显示**:在传输大文件...

    curl-java-trunk.tar.gz

    `curl-java-trunk.tar.gz`...同时,由于它基于`curl`,所以很多在命令行中使用的技巧和经验也可以应用到Java代码中。记住,使用任何第三方库时,都应该查阅官方文档,理解其更新日志和最佳实践,以便正确且高效地使用。

    curl 命令行下的简单浏览器

    `curl` 是一个强大的命令行工具,用于在终端中从互联网上获取数据,它支持多种协议,包括 HTTP、HTTPS、FTP、FTPS 等。通过使用 `curl`,用户可以在命令行环境中浏览网页、下载文件、执行 POST 请求、管理cookies,...

    curl-7.32.0.tar.gz

    - **模拟用户请求**:在命令行中模拟浏览器发送 POST、PUT、DELETE 等请求,调试 Web 应用。 了解并熟练使用 `curl` 对于任何 IT 从业者来说都是非常有价值的技能,尤其是在网络编程、系统管理和自动化任务中。通过...

    curl-7.78.0.rar http curl

    curl,全称Client URL,是一个开源、跨平台的命令行工具,用于传输数据,特别是通过HTTP和FTP等协议。它也提供了强大的库供开发者在各种编程语言中使用,如libcurl。本次我们聚焦于curl-7.78.0版本,探索其在处理...

    windows下的命令行浏览器

    windows下面的命令行浏览器,可以直接用命令行进行浏览器网页的源码码,可以带上COOKIE,可以保存文件,可以下载文件,还支持多线程。 下载后,把里面的curl.exe放到c:/windows或任何位置,进入命令行下运行: curl ...

    curl-7.73.0.tar.xz

    curl命令是利用URL语法在命令行下工作的文件传输工具,1997年首次发行,常用来请求 Web 服务器----可以看做是基于命令行运行的浏览器。它的名字就是客户端(client)的 URL 工具的意思。

    curl-7.38.0 开源库源码

    curl是一个广泛使用的开源命令行工具,用于传输数据到或从URL,同时也提供了丰富的库供开发者在各种应用程序中集成HTTP和其他网络协议的支持。curl-7.38.0是该库的一个特定版本,适用于VC6到VC10的Visual Studio编译...

    curl浏览器工具-还不够详细?

    在Linux和Windows系统中,`curl`被广泛使用,尤其在自动化脚本和命令行操作中,它的功能强大且灵活,是网络数据传输的得力助手。 一、`curl`的基本使用 `curl`的基本语法是`curl [选项] URL`。例如,要从一个网页...

    curl-7.24.0.tar.gz

    curl是一个开源、跨平台的命令行工具,用于传输数据,尤其在HTTP、HTTPS协议下,它以其强大的功能和灵活性备受开发者喜爱。"curl-7.24.0.tar.gz"是curl的一个特定版本,打包为tar归档格式并进行gzip压缩,方便用户...

    WWW-Curl-4.12.tar_curl_www_www-curl_Perl_

    Curl 是一个广泛使用的命令行工具和库,用于在各种操作系统上转移数据,支持多种协议,包括 HTTP(S)、FTP(S)、SMTP(S) 等。WWW-Curl 是 Curl 在 Perl 环境中的封装,提供了类似的功能,但使用 Perl 语法。 在 Perl ...

Global site tag (gtag.js) - Google Analytics