`
zhangyafei_kimi
  • 浏览: 264092 次
  • 性别: Icon_minigender_1
  • 来自: 武汉
社区版块
存档分类
最新评论

用wget下载整个网站

互联网WindowsCC++C# 
阅读更多
wget下载整个网站
可以使用下面的命令 wget -r -p -k -np http://hi.baidu.com/phps , -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载 下来,由于互联网的特性,很有可能你会把整个互联网给下载下来 --,所以要加上 -np这个参数,表示不下载别的站点的链接. -k表示将下载的网页里的链接修改为本地链接.-p获得所以显示网页所需的元素,比如图片什么的.
另外还有其他的一些参数可以使用:

-c表示断点续传

-t 100表示重试100次,-t 0表示无穷次重试

另外可以将要下载的url写到一个文件中,每个url一行,使用这样的命令 wget -i download.txt.

--reject=avi,rmvb 表示不下载avi,rmvb的文件,--accept=jpg,jpeg,表示只下载jpg,jpeg的文件.

可以在用户目录下建立一个.wgetrc的文件(windows里面好像不能直接建立这样的文件,windows会认为没有文件名--),里面写上 http-proxy = 123.456.78.9:80,然后在加上参数 --proxy=on,如果需要密码,再加上下面的参数 --proxy-user=username, --proxy-passwd=password
分享到：
| 使用google breakpad生成dump文件
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    使用wget下载整个网页

    标题“使用wget下载整个网页”涉及的是一个网络爬虫工具——wget，它是一个在命令行环境中使用的开源工具，主要用于从互联网上下载文件或整个网站。本文将深入介绍wget的使用方法及其相关知识点。 wget，全称World ...

    wget下载整个网站1

    在本文中，我们将深入探讨如何使用 `wget` 来下载整个网站或特定目录，以及它的一些高级特性，如代理下载、断点续传、递归下载等。 ### 1. 下载整个网站或特定目录 要下载整个网站，可以使用 `-r` 参数进行递归...

    wget网站下载工具

    对于下载整个网站，可以使用`-r`和`-p`选项，同时可能还需要指定递归深度和接受的文件类型，以避免下载不必要的内容。例如： ```bash wget -r -np -k -p http://example.com ``` 这会递归下载`http://example.com`...

    wGet自动保存网页软件

    1. **网站备份**：定期使用wGet下载整个网站作为备份，防止在线内容丢失。 2. **离线阅读**：对于需要离线查看的网页，wGet可以帮助你提前下载所有内容。 3. **自动化下载**：在脚本或自动化任务中集成wGet，实现...

    wget网络多协议下载

    使用`--recursive`（或 `-r`）选项，wget可以递归地下载整个网站，`--level`选项可以设置下载深度。注意，这种操作可能会对目标服务器造成负担，因此需谨慎使用。 ### 6. 镜像网站 `--mirror`选项结合递归下载，...

    windows 使用wget 下载命令

    在Windows操作系统中，`wget`是一个非常有用的命令行工具，用于从互联网上下载文件或整个网站。这个工具最初是为Linux系统开发的，但也可以在Windows环境下使用。本篇文章将详细讲解如何在Windows中安装和使用`wget`...

    wget wget wget wget

    `wget`可以进行递归下载，复制整个网站或目录结构。通过添加`-r`或`--recursive`选项，可以启用此功能： ``` wget -r http://example.com ``` 若要限制下载深度，可以使用`--level`或`-l`参数，如`-l 3`表示最多三层...

    wget命令行下载工具

    - `-r`或`--recursive`：递归下载整个网站。 - `-P`或`--directory-prefix=DIR`：设定下载文件保存的目录。 - `-nH`或`--no-host-directories`：不创建基于主机名的目录结构。 - `-A`或`--accept=FILETYPE1,FILETYPE...

    wget for windows

    3. **递归下载**：可以按照网站结构下载整个网站或者指定目录，这对于镜像网站或者保存网页备份非常有效。 4. **HTTP、HTTPS和FTP支持**：`wget` 支持多种协议，包括HTTP、HTTPS（安全的HTTP）和FTP（文件传输协议...

    wget1.21.4.zip安装包

    3. **递归下载**：可以按照网站结构下载整个网站或者指定的目录，非常适合备份或者镜像网站。 4. **断点续传**：如果下载过程中因任何原因中断，wget可以从上次中断的位置继续下载，节省时间。 5. **重试机制**：在...

    下载工具WGET x64

    递归下载整个网站： ``` wget --mirror --convert-links --adjust-extension --page-requisites --no-parent http://example.com ``` ### 6. 其他资源 附带的`wget.html`文件可能是WGET的使用手册或帮助文档，包含...

    centos下wget安装包

    对于网络管理员和开发者来说，`wget`的一个强大特性是它可以递归下载整个网站或目录，只需使用`--mirror`选项： ```bash wget --mirror --convert-links --adjust-extension --page-requisites --no-parent ...

    wget_wget_

    4. **镜像下载**：使用`-m`或`--mirror`选项可以镜像整个网站，这对于备份或者离线浏览非常有用。 5. **递归下载**：结合`-r`或`--recursive`选项，wget可以递归地下载指定目录下的所有链接，通常配合`--level`设定...

    linux 离线安装wget

    在Linux系统中，`wget`是一个非常实用的命令行工具，用于从互联网上下载文件，尤其在没有图形化界面或者网络连接不稳定的情况下，其离线安装就显得尤为重要。本篇文章将详细阐述如何在Linux环境下离线安装`wget`，...

    win32_wget

    4. **递归下载**：可以跟随网页内的链接，下载整个网站。 5. **重试机制**：遇到网络问题或服务器错误时，wget会自动重试，直到成功下载。 6. **时间戳比对**：如果本地文件与远程文件的修改时间相同，wget会跳过...

    wget 32位版本

    4. **递归下载**：`wget` 提供递归下载功能，可以下载整个网站或目录结构，这对于备份网站或镜像站点非常有用。 5. **时间戳比较**：在更新已存在的本地文件时，`wget` 可以检查远程文件的时间戳，只有当远程文件...

    windows wget 命令行下的wget

    如果要递归下载整个网站，可以添加`-r`选项： ```shell wget -r http://example.com ``` 注意，大量或频繁的递归下载可能会对目标服务器造成负担，因此在进行此类操作时应尊重网络礼仪。 此外，还可以通过编写...

    wget的完整代碼

    `wget`是一个强大的命令行工具，用于从互联网上下载文件，包括整个网站的镜像。在Linux、Unix以及macOS等操作系统中广泛使用，它支持HTTP、HTTPS和FTP协议，还可以通过代理服务器工作。`wget`的特点在于其非交互式...

    wget for windows/dos

    `wget` 的主要功能是能够非交互式地从互联网上下载文件或整个网站，这使得它在自动化任务和脚本中非常有用。它的优点在于即使网络连接不稳定，也可以通过断点续传的方式继续下载，确保大文件的完整获取。 使用 `...

    wget-1.20.3离线安装包.zip

    它的全名是“World Wide Web Get”，顾名思义，它可以从万维网上抓取文件，无论是单个文件还是整个网站。wget以其非交互式、后台运行以及断点续传等功能著称，使其成为系统管理员和开发者在没有图形界面环境时下载...

Magicbox
Global site tag (gtag.js) - Google Analytics