使用wget镜像整个网站的时候总是被返回“请稍等一会”之类的页面,使用的命令是:
wget --mirror -w 2 --html-extension --convert-links -P /home/me/message/
无奈只能自己把要下载的网页url弄好,写了一个shell,各种ugly
while read line
do
wget --html-extension -P /home/lai/message/ -p --convert-links $line;
sleep 0.5;
done
要是wget能停0.5秒就好了。我懒得找那命令了
ps:另一篇:
前些天学gimp,找到一个很好的帮助手册,唯一不足就是网页版的 。一个个下载太浪费时间了,
今天偶然看到一个命令。将整个网站镜像到本地,试了下,果然行。在这里分享给大家。
wget -r -p -np -k docs.gimp.org/2.2/zh_CN/index.html
· -r:在本机建立服务器端目录结构;
· -p: 下载显示HTML文件的所有图片;
· -np:只下载目标站点指定目录及其子目录的内容;
· -k: 转换非相对链接为相对链接。
wget --mirror -w 2 --html-extension --convert-links -P /home/me/message/
无奈只能自己把要下载的网页url弄好,写了一个shell,各种ugly
while read line
do
wget --html-extension -P /home/lai/message/ -p --convert-links $line;
sleep 0.5;
done
要是wget能停0.5秒就好了。我懒得找那命令了
ps:另一篇:
前些天学gimp,找到一个很好的帮助手册,唯一不足就是网页版的 。一个个下载太浪费时间了,
今天偶然看到一个命令。将整个网站镜像到本地,试了下,果然行。在这里分享给大家。
wget -r -p -np -k docs.gimp.org/2.2/zh_CN/index.html
· -r:在本机建立服务器端目录结构;
· -p: 下载显示HTML文件的所有图片;
· -np:只下载目标站点指定目录及其子目录的内容;
· -k: 转换非相对链接为相对链接。
发表评论
-
u 盘安装ubuntu
2012-12-01 11:16 493就不动了,后来网上找了找,原来ubuntu10.10以后就不支 ... -
graphviz和doxygen
2010-08-12 12:02 1082graphviz是一个很好的画图软件,对于我这种鼠标拿不稳,特 ... -
mount用法
2010-08-10 13:00 13291、挂载点必须是一个目录。 2、一个分区挂载在一个已存在的目 ... -
mysql常用操作
2010-08-08 23:31 702MySQL常用操作基本操作,以下都是MySQL5.0下测试通过 ... -
ubuntu下trac配置遇到的一些问题
2010-08-08 17:49 1000= 权限问题 = 1. 在配置trac之前首先要确定自己的s ... -
mysql搬家
2010-08-06 01:04 815将MySQL数据库拷贝到另 ... -
ubuntu aptget用法
2010-08-05 11:55 771Ubuntu apt-get是Ubuntu用户必须学习使用的, ... -
firefox利用vimperator一键切换代理
2010-08-03 18:07 1225map <F12> :set! network.p ... -
我用的conky的配置文件
2010-08-03 16:51 1356background no override_utf8_lo ... -
ubuntu下安装带有ssl的svn
2010-08-03 14:29 1661http://ubuntuforums.org/showthr ... -
beginning svn under ubuntu
2010-07-29 11:13 8071. apt-get install svn 2. I wis ... -
ipv6 inverse proxy hosts list
2010-07-24 11:30 1250/etc/hosts append: # The foll ... -
ubuntu下使用gappproxy构建个人的代理服务器
2010-07-24 11:22 336整个过程主要分两部分:1)上传一个fetch.py到googl ... -
ubuntu下几个好玩的软件
2010-07-24 11:01 264610.Gnofract 4D 创建漂亮的分形图片:下载地址:h ... -
virtualbox上的共享文件夹和usb的配置
2010-07-24 10:49 1484VirtualBox 在ubuntu 9.04(host li ... -
不加密码ssh的方法
2010-07-24 10:33 753省去每次登录远程主机的时候输入账号密码的麻烦,不过要求要有主机 ... -
ubuntu下gtk的安装
2010-07-24 10:22 1578http://blog.sina.com.cn/s/blog_ ... -
apache mysql svn wiki整合(trac)(ubuntu wiki里面有介绍)
2010-07-24 10:20 14931/ apt-get install apache2 2/ m ... -
firefox下面几个好用的插件
2010-07-24 10:17 1012ff插件wisestamp,可以用来编辑gmail邮件的签名 ... -
在公网ubuntu9.04安装ipv6
2010-07-24 00:45 905在终端下安装tspc sudo apt-get install ...
相关推荐
标题“使用wget下载整个网页”涉及的是一个网络爬虫工具——wget,它是一个在命令行环境中使用的开源工具,主要用于从互联网上下载文件或整个网站。本文将深入介绍wget的使用方法及其相关知识点。 wget,全称World ...
使用wget下载文件非常简单,基本语法如下: ```bash wget [选项] URL ``` 其中,URL是你要下载的文件的网络地址,选项则包括但不限于以下这些常见用法: - `-c` 或 `--continue`:续传功能,如果下载中断,可以继续...
使用`--recursive`(或 `-r`)选项,wget可以递归地下载整个网站,`--level`选项可以设置下载深度。注意,这种操作可能会对目标服务器造成负担,因此需谨慎使用。 ### 6. 镜像网站 `--mirror`选项结合递归下载,...
5. **下载网页中的链接**:使用`--recursive`和`--level`参数递归下载网页中的链接,如`wget64 --recursive --level=3 http://example.com`将下载三层深度的链接。 6. **登录和密码**:对于需要身份验证的网站,...
1. **网站备份**:定期使用wGet下载整个网站作为备份,防止在线内容丢失。 2. **离线阅读**:对于需要离线查看的网页,wGet可以帮助你提前下载所有内容。 3. **自动化下载**:在脚本或自动化任务中集成wGet,实现...
在Windows 10上使用wget下载HTTPS链接文件,你需要先安装wget工具。通常,你可以从官方网站或者第三方软件仓库获取预编译的Windows版本。安装完成后,你可以在命令提示符(CMD)或者PowerShell中使用它。下载一个...
如果下载中断,`wget`可以使用`-c`或`--continue`选项继续未完成的下载: ``` wget -c http://example.com/large-file.iso ``` **用户代理伪装:** 为了隐藏真实身份或模拟其他浏览器,`wget`允许设置`User-Agent`头...
wget.exe 是一个命令行工具,主要用于在Windows操作系统中下载网页、文件和其他互联网资源。它源自于开源的GNU项目,功能强大且高度可配置,适用于自动化批量下载任务。wget支持HTTP、HTTPS和FTP协议,同时也能够...
`wget`命令行下载工具是Linux环境中广泛使用的网络数据抓取工具,它允许用户通过命令行界面批量下载文件和整个网站。在没有图形用户界面(GUI)或者远程服务器管理的场景下,`wget`显得尤为实用。这个工具以其强大的...
3. **递归下载**:可以按照网站结构下载整个网站或者指定目录,这对于镜像网站或者保存网页备份非常有效。 4. **HTTP、HTTPS和FTP支持**:`wget` 支持多种协议,包括HTTP、HTTPS(安全的HTTP)和FTP(文件传输协议...
wget1.21.4.zip安装包是一款包含wget 1.21.4版本的可执行文件的压缩包。...在日常工作中,wget可以用于自动下载网页资源、定期更新备份、搭建本地镜像站点等多种用途,对于IT专业人士来说,是一个非常实用的工具。
对于网络管理员和开发者来说,`wget`的一个强大特性是它可以递归下载整个网站或目录,只需使用`--mirror`选项: ```bash wget --mirror --convert-links --adjust-extension --page-requisites --no-parent ...
wget.exe网页下载利器,使用方式 wget.exe www.baidu.com -r
wget是Linux环境中广泛使用的命令行工具,用于从互联网上下载文件。它支持HTTP、HTTPS和FTP协议,甚至可以通过代理服务器工作,使得用户在各种网络环境下都能便捷地获取远程资源。wget的强大之处在于其非交互式操作...
- **镜像下载**:WGET可以创建网站的完整镜像,使用`--mirror`选项。 - **递归下载**:结合`-r`或`--recursive`,可以递归地下载整个目录结构。 - **用户代理伪装**:使用`--user-agent`选项可以模拟不同的浏览器或...
然而,对于更复杂的任务,如使用cookies进行身份验证或者设置特定的下载选项,原生版本的wget可能就显得力不从心了。在这种情况下,你需要一个完整功能的wget版本,这就是"Android终端上可以使用的完全版本wget"的...
3. **镜像下载**:wget可以用于完整镜像网站,`wget --mirror --convert-links --adjust-extension --page-requisites --no-parent http://example.com/`将下载整个网站到本地。 4. **HTTP和FTP协议**:wget支持...
- `-p`:下载网页所需的全部文件,包括图片、CSS 和 JavaScript 等。 ### 2. 使用代理下载 在某些网络环境下,可能需要通过代理服务器下载。在 `wget` 中,你可以使用 `-Y on` 开启代理,并通过环境变量或 `wgetrc...
4. **递归下载**:可以跟随网页内的链接,下载整个网站。 5. **重试机制**:遇到网络问题或服务器错误时,wget会自动重试,直到成功下载。 6. **时间戳比对**:如果本地文件与远程文件的修改时间相同,wget会跳过...
有时网站会识别`wget`并阻止下载,可以用`--user-agent`伪装: ``` wget --user-agent="Mozilla/5.0" http://example.com ``` 11. **超时设置**: 通过`--timeout`设置连接超时时间: ``` wget --timeout=30...