`
ppooooll
  • 浏览: 47009 次
  • 性别: Icon_minigender_1
  • 来自: 北京
最近访客 更多访客>>
社区版块
存档分类
最新评论

用wget下载网页

阅读更多
使用wget镜像整个网站的时候总是被返回“请稍等一会”之类的页面,使用的命令是:
wget --mirror -w 2 --html-extension --convert-links -P /home/me/message/

无奈只能自己把要下载的网页url弄好,写了一个shell,各种ugly

while read line
do
wget --html-extension -P /home/lai/message/ -p --convert-links $line;
sleep 0.5;
done


要是wget能停0.5秒就好了。我懒得找那命令了


ps:另一篇:
前些天学gimp,找到一个很好的帮助手册,唯一不足就是网页版的 。一个个下载太浪费时间了,
今天偶然看到一个命令。将整个网站镜像到本地,试了下,果然行。在这里分享给大家。

wget -r -p -np -k docs.gimp.org/2.2/zh_CN/index.html
· -r:在本机建立服务器端目录结构;
· -p: 下载显示HTML文件的所有图片;
· -np:只下载目标站点指定目录及其子目录的内容;
· -k: 转换非相对链接为相对链接。
分享到:
评论

相关推荐

    使用wget下载整个网页

    标题“使用wget下载整个网页”涉及的是一个网络爬虫工具——wget,它是一个在命令行环境中使用的开源工具,主要用于从互联网上下载文件或整个网站。本文将深入介绍wget的使用方法及其相关知识点。 wget,全称World ...

    wget网站下载工具

    使用wget下载文件非常简单,基本语法如下: ```bash wget [选项] URL ``` 其中,URL是你要下载的文件的网络地址,选项则包括但不限于以下这些常见用法: - `-c` 或 `--continue`:续传功能,如果下载中断,可以继续...

    wget网络多协议下载

    使用`--recursive`(或 `-r`)选项,wget可以递归地下载整个网站,`--level`选项可以设置下载深度。注意,这种操作可能会对目标服务器造成负担,因此需谨慎使用。 ### 6. 镜像网站 `--mirror`选项结合递归下载,...

    windows 使用wget 下载命令

    5. **下载网页中的链接**:使用`--recursive`和`--level`参数递归下载网页中的链接,如`wget64 --recursive --level=3 http://example.com`将下载三层深度的链接。 6. **登录和密码**:对于需要身份验证的网站,...

    wGet自动保存网页软件

    1. **网站备份**:定期使用wGet下载整个网站作为备份,防止在线内容丢失。 2. **离线阅读**:对于需要离线查看的网页,wGet可以帮助你提前下载所有内容。 3. **自动化下载**:在脚本或自动化任务中集成wGet,实现...

    wget for windows命令行下载工具, 支持https, 支持win10

    在Windows 10上使用wget下载HTTPS链接文件,你需要先安装wget工具。通常,你可以从官方网站或者第三方软件仓库获取预编译的Windows版本。安装完成后,你可以在命令提示符(CMD)或者PowerShell中使用它。下载一个...

    wget wget wget wget

    如果下载中断,`wget`可以使用`-c`或`--continue`选项继续未完成的下载: ``` wget -c http://example.com/large-file.iso ``` **用户代理伪装:** 为了隐藏真实身份或模拟其他浏览器,`wget`允许设置`User-Agent`头...

    windows wget.exe免费下载

    wget.exe 是一个命令行工具,主要用于在Windows操作系统中下载网页、文件和其他互联网资源。它源自于开源的GNU项目,功能强大且高度可配置,适用于自动化批量下载任务。wget支持HTTP、HTTPS和FTP协议,同时也能够...

    wget命令行下载工具

    `wget`命令行下载工具是Linux环境中广泛使用的网络数据抓取工具,它允许用户通过命令行界面批量下载文件和整个网站。在没有图形用户界面(GUI)或者远程服务器管理的场景下,`wget`显得尤为实用。这个工具以其强大的...

    wget for windows

    3. **递归下载**:可以按照网站结构下载整个网站或者指定目录,这对于镜像网站或者保存网页备份非常有效。 4. **HTTP、HTTPS和FTP支持**:`wget` 支持多种协议,包括HTTP、HTTPS(安全的HTTP)和FTP(文件传输协议...

    wget1.21.4.zip安装包

    wget1.21.4.zip安装包是一款包含wget 1.21.4版本的可执行文件的压缩包。...在日常工作中,wget可以用于自动下载网页资源、定期更新备份、搭建本地镜像站点等多种用途,对于IT专业人士来说,是一个非常实用的工具。

    centos下wget安装包

    对于网络管理员和开发者来说,`wget`的一个强大特性是它可以递归下载整个网站或目录,只需使用`--mirror`选项: ```bash wget --mirror --convert-links --adjust-extension --page-requisites --no-parent ...

    wget.exe网页下载利器

    wget.exe网页下载利器,使用方式 wget.exe www.baidu.com -r

    wget_wget_

    wget是Linux环境中广泛使用的命令行工具,用于从互联网上下载文件。它支持HTTP、HTTPS和FTP协议,甚至可以通过代理服务器工作,使得用户在各种网络环境下都能便捷地获取远程资源。wget的强大之处在于其非交互式操作...

    下载工具WGET x64

    - **镜像下载**:WGET可以创建网站的完整镜像,使用`--mirror`选项。 - **递归下载**:结合`-r`或`--recursive`,可以递归地下载整个目录结构。 - **用户代理伪装**:使用`--user-agent`选项可以模拟不同的浏览器或...

    Android 终端上可以使用的完全版本wget

    然而,对于更复杂的任务,如使用cookies进行身份验证或者设置特定的下载选项,原生版本的wget可能就显得力不从心了。在这种情况下,你需要一个完整功能的wget版本,这就是"Android终端上可以使用的完全版本wget"的...

    【超级好用】wget win10 解压直接用

    3. **镜像下载**:wget可以用于完整镜像网站,`wget --mirror --convert-links --adjust-extension --page-requisites --no-parent http://example.com/`将下载整个网站到本地。 4. **HTTP和FTP协议**:wget支持...

    wget下载整个网站1

    - `-p`:下载网页所需的全部文件,包括图片、CSS 和 JavaScript 等。 ### 2. 使用代理下载 在某些网络环境下,可能需要通过代理服务器下载。在 `wget` 中,你可以使用 `-Y on` 开启代理,并通过环境变量或 `wgetrc...

    win32_wget

    4. **递归下载**:可以跟随网页内的链接,下载整个网站。 5. **重试机制**:遇到网络问题或服务器错误时,wget会自动重试,直到成功下载。 6. **时间戳比对**:如果本地文件与远程文件的修改时间相同,wget会跳过...

    wget的完整代碼

    有时网站会识别`wget`并阻止下载,可以用`--user-agent`伪装: ``` wget --user-agent="Mozilla/5.0" http://example.com ``` 11. **超时设置**: 通过`--timeout`设置连接超时时间: ``` wget --timeout=30...

Global site tag (gtag.js) - Google Analytics