`

使用wget下载整个网页

360PHPAjaxCSS脚本 
阅读更多

wget -r -p -k -np -t 5 http://hao.360.cn

 

 

虽然很好用,但是还是有不少局限性.

 

1. 不能解析CSS文件中 包含的图片信息 例如使用 @import 或者url等等导入的东西

 

2. 不能解析JS中动态写入的资源文件,对于Ajax载入的根本就无从弹起,可能模仿的不是http请求有关

 

3. 她是从取出来的数据流中去解析文件内引用的资源信息,而非使用Dom解析的方式来获取信息

 

4. 中文资源太少

 

优势:

 

1. 开源,免费 [切记: 开源 != 免费]

 

2. 实用,功能强劲 大多数系统平台上都有实现.

 

3. 可以与其他的工具无缝集成.通过PHP可以实现很多东西.我一般都是使用PHP来取代原始的shell脚本.

 

4. 单文件,很小. 可以作为自己的工具箱中的一员 

 

 

注意:

 

1. Wget1.5的windows版本不支持-p选项,我提供的这个版本是1.11.4,提供-p选项

 

3
顶
0
踩
分享到：
| 30小时彻底搞通英语语法
评论
1 楼 vb2005xu 2009-03-19  
如何让WGET达到100个线程?....

方法1： for /f "delims=" ％％i in (url.txt) do ( echo wget ％％i > download.bat echo exit >> download.bat call :download ) goto :eof :download start download.bat goto :eof
方法2： start wget.exe -i "url.lst" -t 3 -T 20 -w 3 -o log.txt
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    wGet自动保存网页软件

    **wGet自动保存网页软件** ...总之，wGet是一款功能强大的网页下载工具，虽然其界面简洁，但通过命令行参数的灵活配置，可以满足各种复杂的下载需求。无论是个人使用还是企业级应用，wGet都能成为你不可或缺的助手。

    windows 使用wget 下载命令

    5. **下载网页中的链接**：使用`--recursive`和`--level`参数递归下载网页中的链接，如`wget64 --recursive --level=3 http://example.com`将下载三层深度的链接。 6. **登录和密码**：对于需要身份验证的网站，...

    wget网站下载工具

    wget是一款强大的命令行网络下载工具，它在Linux系统中被广泛应用，同时也可在Windows等其他操作系统上通过模拟环境或专门的版本进行使用。wget以其非交互式、后台运行、续传功能以及广泛支持各种协议（如HTTP、...

    wget下载整个网站1

    在本文中，我们将深入探讨如何使用 `wget` 来下载整个网站或特定目录，以及它的一些高级特性，如代理下载、断点续传、递归下载等。 ### 1. 下载整个网站或特定目录 要下载整个网站，可以使用 `-r` 参数进行递归...

    wget网络多协议下载

    使用`--recursive`（或 `-r`）选项，wget可以递归地下载整个网站，`--level`选项可以设置下载深度。注意，这种操作可能会对目标服务器造成负担，因此需谨慎使用。 ### 6. 镜像网站 `--mirror`选项结合递归下载，...

    wget wget wget wget

    `wget`可以进行递归下载，复制整个网站或目录结构。通过添加`-r`或`--recursive`选项，可以启用此功能： ``` wget -r http://example.com ``` 若要限制下载深度，可以使用`--level`或`-l`参数，如`-l 3`表示最多三层...

    wget命令行下载工具

    `wget`命令行下载工具是Linux环境中广泛使用的网络数据抓取工具，它允许用户通过命令行界面批量下载文件和整个网站。在没有图形用户界面（GUI）或者远程服务器管理的场景下，`wget`显得尤为实用。这个工具以其强大的...

    wget_wget_

    4. **镜像下载**：使用`-m`或`--mirror`选项可以镜像整个网站，这对于备份或者离线浏览非常有用。 5. **递归下载**：结合`-r`或`--recursive`选项，wget可以递归地下载指定目录下的所有链接，通常配合`--level`设定...

    centos下wget安装包

    对于网络管理员和开发者来说，`wget`的一个强大特性是它可以递归下载整个网站或目录，只需使用`--mirror`选项： ```bash wget --mirror --convert-links --adjust-extension --page-requisites --no-parent ...

    wget for windows

    3. **递归下载**：可以按照网站结构下载整个网站或者指定目录，这对于镜像网站或者保存网页备份非常有效。 4. **HTTP、HTTPS和FTP支持**：`wget` 支持多种协议，包括HTTP、HTTPS（安全的HTTP）和FTP（文件传输协议...

    wget1.21.4.zip安装包

    wget1.21.4.zip安装包是一款包含wget 1.21.4版本的可执行文件的压缩包。...在日常工作中，wget可以用于自动下载网页资源、定期更新备份、搭建本地镜像站点等多种用途，对于IT专业人士来说，是一个非常实用的工具。

    下载工具WGET x64

    - **镜像下载**：WGET可以创建网站的完整镜像，使用`--mirror`选项。 - **递归下载**：结合`-r`或`--recursive`，可以递归地下载整个目录结构。 - **用户代理伪装**：使用`--user-agent`选项可以模拟不同的浏览器或...

    使用wget实现数据的回传备份

    它能够从互联网上下载文件、网页甚至整个网站，是进行非交互式下载的理想选择。在本场景中，我们将探讨如何利用wget进行数据的回传备份，以实现异地备份的重要功能。 **一、wget的基本用法** 1. **下载单个文件**...

    wget使用技巧（方便有用的参数）

    - 使用`-r`参数时，wget会递归地下载指定URL下的所有文件和子目录，非常适合下载整个网站或特定目录下的所有资源。 - 示例：`$ wget -r http://example.com/` 将下载example.com网站的所有可访问资源。 2. **-np ...

    win32_wget

    4. **递归下载**：可以跟随网页内的链接，下载整个网站。 5. **重试机制**：遇到网络问题或服务器错误时，wget会自动重试，直到成功下载。 6. **时间戳比对**：如果本地文件与远程文件的修改时间相同，wget会跳过...

    wget_windows_wget_Vc_

    例如，下载一个网页可以使用`wget http://example.com`，定时下载可以使用`wget --timeout=60 http://example.com`（60秒超时）。 6. **应用示例**：wget在Windows下的应用场景广泛，如下载大文件、备份网站、下载...

    windows wget 命令行下的wget

    wget是一款强大的互联网资源下载工具，它支持通过HTTP、HTTPS和FTP协议从命令行界面下载网页内容，包括整个网站的镜像。本篇文章将详细介绍如何在Windows环境下使用wget，以及其主要的命令行选项。 首先，你需要...

    Wget tools download

    3. **递归下载**：Wget可以按照网页上的链接下载整个网站，包括图片、CSS样式表、JavaScript文件等，这对于备份网站或者离线浏览非常有用。 4. **HTTP、HTTPS和FTP协议支持**：Wget不仅支持HTTP和HTTPS协议，还支持...

    wget的完整代碼

    `wget`是一个强大的命令行工具，用于从互联网上下载文件，包括整个网站的镜像。在Linux、Unix以及macOS等操作系统中广泛使用，它支持HTTP、HTTPS和FTP协议，还可以通过代理服务器工作。`wget`的特点在于其非交互式...

Magicbox
Global site tag (gtag.js) - Google Analytics