`
pipal
  • 浏览: 165901 次
  • 性别: Icon_minigender_1
  • 来自: 南宁
社区版块
存档分类
最新评论

Wget使用方法

阅读更多
本文转自 http://wiki.ubuntu.org.cn/index.php?title=Wget&variant=zh-cn

Wget
出自Ubuntu中文

wget是一个命令行工具,用于批量下载文件,支持HTTP和FTP。究竟比其他的工具好在哪里?看看内容吧

wget基本上所有的Linux版本都自己带了,但是有多少人在用呢?呵呵,如果你没有用过,不妨试试。Windows下面的用户可以使用GNUwin32的项目,wget,基本功能完全一致。好吧,我们来以几个简单的例子看看wget的威力。

如果我们想下载ftp里面某个目录里面的所有文件,我们也可以不用ftp这个笨蛋,呵呵,可以享受cute ftp等图形化工具的拖一个目录的轻松了。如

wget -r ftp://10.8.8.8/movie/

呵呵,等吧!下完了,发觉有些不对劲,怎么出来个10.8.8.8的目录,进去看看,又是一个movie,哦,wget将目录结构和网站标题都给记录下来了,不要??没有问题!比如说还是这个例子

wget -r -nd ftp://10.8.8.8/movie/

结果什么目录都没有了,faint!怎么会这样?呵呵,你如果想要这样就让它这样吧,否则使用

wget -r -nH ftp://10.8.8.8/movie/

恩?movie也不要?OK,那就这样

wget -r -nH --cut-dirs=1 ftp://10.8.8.8/movie/

这有什么用啊?cuteftp比他好用多了,而且,你这断了线能连吗?呵呵,不好意思,可以连

wget -c -r -nH --cut-dirs=1 ftp://10.8.8.8/movie/

但是cuteftp能做下面的事情吗?比如,现在很多网站使用Apache建站,并不提供ftp服务,但是Apache有一个indexing功能,可以提供一个类似于ftp的界面,好多文件我想下啊,怎么办?由于是HTTP协议,CuteFTP无能为力了,倒是flash get等有什么get all这种功能,不知道他们对于目录处理怎么样。但是wget一点问题都没有,不信?我们拿CTAN为例(例子并不恰当,CTAN有FTP服务),我们下载这里面所有的宏包,呵呵

wget -r -k http://www.ctan.org/tex-archive/macros/latex/

-k表示将连接转换为本地连接。但是现在同样有上面的问题啊,那就把你需要的加上吧,另外也许你根本不需要向下走那么多层,比如,我们就要到第二层,那么

wget -r -l2 -k http://www.ctan.org/tex-archive/macros/latex/

现在新的问题是,由于网页有一个排序功能,很讨厌,因为下载的时候把网页重复了好多次,那么我们可使用-A和-R开关控制下载类型,并且可以使用通配符,呵呵,现在随心所欲了吧

wget -r -R ".htm\?*" -k http://www.ctan.org/tex-archive/macros/latex/

这次没有那种网页了吧?-R的意义在于拒绝下载匹配类型的文件,-A表示仅仅接受的文件类型,如-A "*.gif"将仅下载gif图片,如果有多个允许或者不允许,可以使用,分开。

那么,我们现在在使用代理服务器,怎么办呢?呵呵,很高兴你选择了wget,你可以使用它的配置文件,环境变量来利用代理。这里推荐使用环境变量,如在 bash里面我们可以把天天用的proxy加到.bash_profile里面,这是Linux标准写法(很多软件都用的,什么apt-get,yum等等)

export http_proxy=http://10.20.30.40:8080

然后,proxy就默认打开了,如果需要暂时关闭,可以使用

wget --proxy=off -r -k http://www.ctan.org/tex-archive/macros/latex/

当然,写一个.wgetrc文件也可以,该文件可以从/usr/local/etc里面找到,里面有很详细的注释,我就不多说了。

下载网页的时候比较麻烦的事情是,有的网页被同时指向了很多遍,那么为了避免多次下载,我们使用

wget -nc -r -k http://www.ctan.org/tex-archive/macros/latex/

可以避免这件事情。为了不被有的连接指向非http://www.ctan.org/tex-archive/macros/latex/ 内层目录,我们还应该加上

wget -nc -np -r -k http://www.ctan.org/tex-archive/macros/latex/

避免下载非该目录里面的文件,这也避免了到不同的host上面去。当然,如果你希望有这个功能,在多个host之间跳来跳去的下载,可以使用

wget -nc -np -H -r -k http://www.ctan.org/tex-archive/macros/latex/

使得可以在多个host之间span,同时-I和-X可以使得我们仅仅跟踪某些目录或者不跟踪某些目录。如果某些HTML里面你需要的东西不是由这种东西作出来的,你就得使用--follow-tags和--ignore-tags了。

嘿,我有个文件里面都是连接,怎么办?要是不是html你只需要

wget -i your.file

如果是,那也不繁

wget -F -i your.file
分享到:
评论

相关推荐

    Wget使用方法.txt

    ### Wget 使用方法详解 #### 一、Wget 简介 `wget` 是一个强大的命令行工具,用于从互联网上下载文件。它支持多种协议,包括 HTTP、HTTPS 和 FTP,同时也支持通过代理服务器进行下载。`wget` 的强大之处在于其高度...

    wget使用方法

    **wget使用方法** wget是一款强大的命令行下载工具,广泛应用于Linux系统中,它支持通过HTTP、HTTPS和FTP协议下载文件,甚至可以在用户断线后继续之前的下载任务,这对于下载大文件或者网络不稳定的情况非常有用。...

    解决wget无法使用的方法

    ### 解决wget无法使用的方法 在Linux环境中,`wget`是一个非常重要的工具,它用于从网络上下载文件。然而,在某些情况下,用户可能会遇到`wget`无法使用的问题。本文将详细探讨这一问题,并提供一系列解决方案。 #...

    解决wget无法使用

    除了上述方法外,还可以选择手动下载软件包进行安装,但这种方式可能不如使用软件源来得方便。 - 安装vim组件: ``` yum install -y vim ``` - 卸载vim组件: ``` yum remove vim ``` #### 注意事项 1. **...

    wget wget wget wget

    使用`wget`时,通常在命令行输入URL即可开始下载。例如,要下载一个网页,只需输入: ``` wget http://example.com/page.html ``` **递归下载与镜像:** `wget`可以进行递归下载,复制整个网站或目录结构。通过添加`...

    Android 终端上可以使用的完全版本wget

    然而,对于更复杂的任务,如使用cookies进行身份验证或者设置特定的下载选项,原生版本的wget可能就显得力不从心了。在这种情况下,你需要一个完整功能的wget版本,这就是"Android终端上可以使用的完全版本wget"的...

    支持中文目录wget版本,linux版本

    wget下载地址:https://ftp.gnu.org/gnu/wget/ 在wget的源代码中 src/url.c 这个文件中有wget如何处理文件名的函数url_file_...解决方法基本上都是对这个url_file_name函数或者是FILE_CHAR_TEST 这个宏定义进行修改.

    wget使用说明

    ### wget使用说明 #### 快速下载工具wget:如何使用WGET进行程序的自动更新 在互联网技术领域中,wget是一款强大的命令行工具,被广泛应用于文件和网页内容的...希望本文能帮助大家更好地理解和掌握wget的使用方法。

    使用wget下载整个网页

    本文将深入介绍wget的使用方法及其相关知识点。 wget,全称World Wide Web Retrieve,是一个支持HTTP、HTTPS和FTP协议的非交互式网络下载工具。它可以在后台运行,即使用户关闭计算机,wget也能继续下载。这个特性...

    离线安装wget依赖包

    7. **验证安装**:安装完成后,使用`wget --version`来验证wget是否成功安装并且可以正常工作。 离线安装的过程中可能会遇到依赖关系冲突,如果出现这种情况,你可能需要手动查找并安装缺失的依赖。此外,确保你...

    wget_windows_wget_Vc_

    5. **使用方法**:下载这个压缩包后,解压得到wget程序,可以在命令提示符下运行,语法基本与Linux版本相同。例如,下载一个网页可以使用`wget http://example.com`,定时下载可以使用`wget --timeout=60 ...

    Linux系统中wget的使用方法解析.docx

    Linux系统中wget的使用方法解析 wget 是一个强大的下载工具,支持 HTTP 和 FTP 协议,支持代理服务器和断点续传。下面是 wget 的使用方法解析: 功能说明 wget 使用 HTTP 和 FTP 协议,支持代理服务器和断点续传...

    windows wget 命令行下的wget

    在Windows操作系统中,虽然不像Linux那样内置了wget命令行工具,但用户仍然可以通过一些方法来实现类似的功能。wget是一款强大的互联网资源下载工具,它支持通过HTTP、HTTPS和FTP协议从命令行界面下载网页内容,包括...

    window10的wget包

    Window10中的wget工具是一个非常实用的命令行工具,它允许用户从互联网上下载文件,类似于Linux环境下的wget命令。...通过阅读wget.html文档,了解并掌握其使用方法,可以极大地提高你的工作效率。

    Win64_wget

    这个文件可能包含了wget的使用手册或者在线帮助文档,详细解释了wget的各种命令行选项和使用方法,对于学习和掌握wget的使用非常有帮助。 通过了解和掌握这些内容,用户不仅可以高效地从互联网下载文件,还能实现更...

    使用wget实现数据的回传备份

    通过以上方法,我们可以利用wget有效地实现数据的异地回传备份,为数据安全提供保障。记得定期检查和测试备份的有效性,以确保在关键时刻能够顺利恢复。同时,配合其他安全措施,如加密和多副本策略,可以进一步提高...

    wget官方最新文档

    1. `wget.chm`: 这是一个Windows帮助文件,通常包含详细的离线文档,用户可以通过它在没有网络连接的情况下查阅`wget`的使用方法和选项。 2. `wget.pdf`: 这很可能是`wget`的官方手册或教程,以PDF格式提供,方便...

Global site tag (gtag.js) - Google Analytics