`

【转】wget下载整个网站或目录

阅读更多

转自:http://www.cnblogs.com/lidp/archive/2010/03/02/1696447.html

 

需要下载某个目录下面的所有文件。命令如下

wget -c -r -np -k -L -p www.xxx.org/pub/path/

在下载时。有用到外部域名的图片或连接。如果需要同时下载就要用-H参数。

wget -np -nH -r --span-hosts www.xxx.org/pub/path/

-c 断点续传
-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件
-nd 递归下载时不创建一层一层的目录,把所有的文件下载到当前目录
-np 递归下载时不搜索上层目录,如wget -c -r www.xxx.org/pub/path/
没有加参数-np,就会同时下载path的上一级目录pub下的其它文件
-k 将绝对链接转为相对链接,下载整个站点后脱机浏览网页,最好加上这个参数
-L 递归时不进入其它主机,如wget -c -r www.xxx.org/ 
如果网站内有一个这样的链接: 
www.yyy.org,不加参数-L,就会像大火烧山一样,会递归下载www.yyy.org网站
-p 下载网页所需的所有文件,如图片等
-A 指定要下载的文件样式列表,多个样式用逗号分隔
-i 后面跟一个文件,文件内指明要下载的URL

分享到:
评论

相关推荐

    wget下载整个网站1

    在本文中,我们将深入探讨如何使用 `wget` 来下载整个网站或特定目录,以及它的一些高级特性,如代理下载、断点续传、递归下载等。 ### 1. 下载整个网站或特定目录 要下载整个网站,可以使用 `-r` 参数进行递归...

    wget网站下载工具

    对于下载整个网站,可以使用`-r`和`-p`选项,同时可能还需要指定递归深度和接受的文件类型,以避免下载不必要的内容。例如: ```bash wget -r -np -k -p http://example.com ``` 这会递归下载`http://example.com`...

    wget命令行下载工具

    - `-r`或`--recursive`:递归下载整个网站。 - `-P`或`--directory-prefix=DIR`:设定下载文件保存的目录。 - `-nH`或`--no-host-directories`:不创建基于主机名的目录结构。 - `-A`或`--accept=FILETYPE1,FILETYPE...

    wget for windows/dos

    `wget` 的主要功能是能够非交互式地从互联网上下载文件或整个网站,这使得它在自动化任务和脚本中非常有用。它的优点在于即使网络连接不稳定,也可以通过断点续传的方式继续下载,确保大文件的完整获取。 使用 `...

    wget使用技巧(方便有用的参数)

    - 使用`-r`参数时,wget会递归地下载指定URL下的所有文件和子目录,非常适合下载整个网站或特定目录下的所有资源。 - 示例:`$ wget -r http://example.com/` 将下载example.com网站的所有可访问资源。 2. **-np ...

    wget 手册 -来自wiki网站的精华

    - `-r`: 开启递归下载模式,即下载整个目录及其子目录中的文件。 - `-nd`: 不创建目录结构,即下载时不保留远程文件夹结构。 - `-nH`: 使用主机目录,下载时按照主机域名组织目录结构。 - `--cut-dirs=N`: 忽略前 N ...

    wget官方文档.pdf

    - 支持递归下载整个网站或目录结构,这对于备份网站或获取大量相关文件非常有用。 **5. 时间戳机制:** - 可以根据远程文件的时间戳来决定是否下载,避免不必要的重复下载。 **6. 日志记录:** - 支持详细的...

    wget命令用法

    wget支持HTTP HTTPS和FTP协议 可以使用HTTP代理 所谓的自动下载是指 wget可以在用户退出系统的之后在后台执行 这意味这你可以登录系统 启动一个wget下载任务 然后退出系统 wget将在后台执行直到任务完成 相对于其它...

    Wget使用方法.txt

    下载整个目录 - **命令格式**:`wget -r [URL]` - `-r` 表示递归下载,即下载指定 URL 及其子目录下的所有文件。 - 示例:`wget -r ftp://10.8.8.8/movie/` - **注意事项**: - 默认情况下,`wget` 会保留远程...

    Wget 中文手册详解

    4. **递归下载**:能够按照网站的目录结构下载整个站点的内容,非常适合备份网站或者下载论坛等场合。 5. **代理支持**:可以通过代理服务器进行下载。 6. **用户认证**:支持HTTP认证机制,即用户可以通过提供...

    wget 网站搬家工具

    2. **递归下载**:通过指定参数,`wget` 可以按照网页链接的层级关系,递归地下载整个网站的页面、图片和其他资源,实现网站镜像。 3. **断点续传**:如果下载过程中网络中断,`wget` 可以记录当前位置并继续下载,...

    wget.tar.gz

    wget以其非交互式、可靠性和后台运行能力而著名,使得用户即使在离开计算机时也能继续下载大文件或整个网站。 在提供的信息中,我们有一个名为"wget.tar.gz"的压缩包,这表明它包含了wget的最新源代码。源代码是...

    Win32版Wget1.15命令帮助

    - `-r` 或 `--recursive`: 开启递归下载,适用于下载整个网站。 - `-l` 或 `--level`: 设置递归的最大深度,默认为5。 - `-A` 或 `--accept`: 指定接受的文件类型,例如`wget -A pdf http://example.com`只会下载PDF...

    wget源吗

    `-r` 或 `--recursive` 选项允许 wget 进行递归下载,常用于镜像整个网站。 ``` wget -r -p -k http://example.com ``` 其中,`-p` 表示下载页面所需的图片、CSS、JavaScript 等辅助文件,`-k` 会将链接转换为...

    使用wget实现数据的回传备份

    6. **镜像下载**:`-m`或`--mirror`,用于镜像整个网站,包括递归下载和保留原始目录结构。 **二、wget实现数据回传备份** 1. **创建备份脚本**:在提供的文件列表中,有一个名为`bak.bat`的批处理文件,这可能是...

    wget是一个从网络上自动下载文件的自由工具

    这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。 wget可以跟踪HTML页面上的链接...

    使用wget递归镜像网站

    它不仅能够处理单一文件的下载,还支持复杂的递归下载模式,这对于复制整个网站或创建站点的镜像来说非常有用。 #### wget命令详解 `wget`的基本语法是: ```bash wget [选项] [URL] ``` 其中,`[选项]`部分用于...

    wget for windows bin

    4. **递归下载**:可以按照网站结构下载整个网站或者某个目录,对于备份或镜像网站非常有用。 5. **HTTP/HTTPS/FTP支持**:wget支持多种网络协议,包括标准的HTTP、安全的HTTPS以及FTP协议。 6. **重试机制**:...

    Linux中使用wget进行下载的方法.docx

    它支持多种选项和参数,可以实现单个文件的下载、断点续传、递归下载整个目录甚至整个网站,以及通过代理服务器进行下载。下面我们将详细讲解这些功能及其用法。 1. **下载单个文件** 使用`wget`的基本语法是提供...

Global site tag (gtag.js) - Google Analytics