`
tower
  • 浏览: 244928 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

wget下载整个网站

阅读更多

转自http://hi.baidu.com/phps/blog/item/a21dfeedfc0bba4f79f05532.html


wget下载整个网站

可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的.
另外还有其他的一些参数可以使用:

-c表示断点续传

-t 100表示重试100次,-t 0表示无穷次重试

另外可以将要下载的url写到一个文件中,每个url一行,使用这样的命令 wget -i download.txt.

--reject=avi,rmvb 表示不下载avi,rmvb的文件,--accept=jpg,jpeg,表示只下载jpg,jpeg的文件.

可以在用户目录下建立一个.wgetrc的文件(windows里面好像不能直接建立这样的文件,windows会认为没有文件名--),里面写上 http-proxy = 123.456.78.9:80,然后在加上参数 --proxy=on,如果需要密码,再加上下面的参数 --proxy-user=username, --proxy-passwd=password
分享到:
评论

相关推荐

    使用wget下载整个网页

    4. **wget下载整个网站.txt**:这个文件可能包含了一个完整的示例,指导用户如何使用wget下载一个完整的网站,包括设置URL、指定保存路径、配置递归深度等。 使用wget下载整个网站的基本步骤如下: 1. **安装wget*...

    wget下载整个网站1

    在本文中,我们将深入探讨如何使用 `wget` 来下载整个网站或特定目录,以及它的一些高级特性,如代理下载、断点续传、递归下载等。 ### 1. 下载整个网站或特定目录 要下载整个网站,可以使用 `-r` 参数进行递归...

    wGet自动保存网页软件

    1. **网站备份**:定期使用wGet下载整个网站作为备份,防止在线内容丢失。 2. **离线阅读**:对于需要离线查看的网页,wGet可以帮助你提前下载所有内容。 3. **自动化下载**:在脚本或自动化任务中集成wGet,实现...

    wget网站下载工具

    对于下载整个网站,可以使用`-r`和`-p`选项,同时可能还需要指定递归深度和接受的文件类型,以避免下载不必要的内容。例如: ```bash wget -r -np -k -p http://example.com ``` 这会递归下载`http://example.com`...

    wget网络多协议下载

    使用`--recursive`(或 `-r`)选项,wget可以递归地下载整个网站,`--level`选项可以设置下载深度。注意,这种操作可能会对目标服务器造成负担,因此需谨慎使用。 ### 6. 镜像网站 `--mirror`选项结合递归下载,...

    wget命令行下载工具

    - `-r`或`--recursive`:递归下载整个网站。 - `-P`或`--directory-prefix=DIR`:设定下载文件保存的目录。 - `-nH`或`--no-host-directories`:不创建基于主机名的目录结构。 - `-A`或`--accept=FILETYPE1,FILETYPE...

    wget wget wget wget

    `wget`可以进行递归下载,复制整个网站或目录结构。通过添加`-r`或`--recursive`选项,可以启用此功能: ``` wget -r http://example.com ``` 若要限制下载深度,可以使用`--level`或`-l`参数,如`-l 3`表示最多三层...

    wget for windows

    3. **递归下载**:可以按照网站结构下载整个网站或者指定目录,这对于镜像网站或者保存网页备份非常有效。 4. **HTTP、HTTPS和FTP支持**:`wget` 支持多种协议,包括HTTP、HTTPS(安全的HTTP)和FTP(文件传输协议...

    centos下wget安装包

    对于网络管理员和开发者来说,`wget`的一个强大特性是它可以递归下载整个网站或目录,只需使用`--mirror`选项: ```bash wget --mirror --convert-links --adjust-extension --page-requisites --no-parent ...

    wget1.21.4.zip安装包

    3. **递归下载**:可以按照网站结构下载整个网站或者指定的目录,非常适合备份或者镜像网站。 4. **断点续传**:如果下载过程中因任何原因中断,wget可以从上次中断的位置继续下载,节省时间。 5. **重试机制**:在...

    windows 使用wget 下载命令

    在Windows操作系统中,`wget`是一个非常有用的命令行工具,用于从互联网上下载文件或整个网站。这个工具最初是为Linux系统开发的,但也可以在Windows环境下使用。本篇文章将详细讲解如何在Windows中安装和使用`wget`...

    下载工具WGET x64

    递归下载整个网站: ``` wget --mirror --convert-links --adjust-extension --page-requisites --no-parent http://example.com ``` ### 6. 其他资源 附带的`wget.html`文件可能是WGET的使用手册或帮助文档,包含...

    wget_wget_

    4. **镜像下载**:使用`-m`或`--mirror`选项可以镜像整个网站,这对于备份或者离线浏览非常有用。 5. **递归下载**:结合`-r`或`--recursive`选项,wget可以递归地下载指定目录下的所有链接,通常配合`--level`设定...

    win32_wget

    4. **递归下载**:可以跟随网页内的链接,下载整个网站。 5. **重试机制**:遇到网络问题或服务器错误时,wget会自动重试,直到成功下载。 6. **时间戳比对**:如果本地文件与远程文件的修改时间相同,wget会跳过...

    linux 离线安装wget

    在Linux系统中,`wget`是一个非常实用的命令行工具,用于从互联网上下载文件,尤其在没有图形化界面或者网络连接不稳定的情况下,其离线安装就显得尤为重要。本篇文章将详细阐述如何在Linux环境下离线安装`wget`,...

    【超级好用】wget win10 解压直接用

    3. **镜像下载**:wget可以用于完整镜像网站,`wget --mirror --convert-links --adjust-extension --page-requisites --no-parent http://example.com/`将下载整个网站到本地。 4. **HTTP和FTP协议**:wget支持...

    wget-1.20.3离线安装包.zip

    它的全名是“World Wide Web Get”,顾名思义,它可以从万维网上抓取文件,无论是单个文件还是整个网站。wget以其非交互式、后台运行以及断点续传等功能著称,使其成为系统管理员和开发者在没有图形界面环境时下载...

    wget 32位版本

    4. **递归下载**:`wget` 提供递归下载功能,可以下载整个网站或目录结构,这对于备份网站或镜像站点非常有用。 5. **时间戳比较**:在更新已存在的本地文件时,`wget` 可以检查远程文件的时间戳,只有当远程文件...

    windows wget 命令行下的wget

    如果要递归下载整个网站,可以添加`-r`选项: ```shell wget -r http://example.com ``` 注意,大量或频繁的递归下载可能会对目标服务器造成负担,因此在进行此类操作时应尊重网络礼仪。 此外,还可以通过编写...

    wget的完整代碼

    `wget`是一个强大的命令行工具,用于从互联网上下载文件,包括整个网站的镜像。在Linux、Unix以及macOS等操作系统中广泛使用,它支持HTTP、HTTPS和FTP协议,还可以通过代理服务器工作。`wget`的特点在于其非交互式...

Global site tag (gtag.js) - Google Analytics