wget抓取网页,如:
wget http://www.iteye.com/images/logo.gif?1268015091
如果遇到报错:
解析代理服务器 URL wpad:// 时发生错误:不支持的主题。
是由于环境变量设置了http_proxy所致:
pf-miles@pf-miles-desktop:~$ echo $http_proxy
wpad://
所以只要:
unset http_proxy
就OK乐:
wget http://www.iteye.com/images/logo.gif?1268015091
--2010-04-17 15:07:37-- http://www.iteye.com/images/logo.gif?1268015091
正在解析主机 www.iteye.com... 61.129.70.27
正在连接 www.iteye.com|61.129.70.27|:80... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度: 2095 (2.0K) [text/html]
保存到‘logo.gif?1268015091’
100%[===================================================================================================================>] 2,095 --.-K/s in 0s
2010-04-17 15:07:37 (380 MB/s) - `logo.gif?1268015091' 已经保存 [2095/2095]
每次在gnome中重新打开一个terminal都会有这个变量被设置,但我暂时没找到哪里设置乐这个变量...不过可以通过封装wget脚本来彻底解决这个问题:
将下述脚本保存为名叫wget的文件放在path中,只要保证比原本的wget先被找到就OK乐,或者将原有wget改名,用这个脚本替换也行:
#!/bin/sh
unset http_proxy
wget $*
分享到:
相关推荐
sudo wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.41.tar.gz sudo tar -zxvf pcre-8.41.tar.gz cd pcre-8.41 sudo ./configure sudo make sudo make install # 安装zlib库 cd /usr/local/...
尽管wget功能强大,但也有其局限性,例如不支持JavaScript,所以无法处理需要用户交互的网页。对于这种情况,可能需要使用更复杂的工具,如Selenium或Puppeteer。 综上所述,wget是Linux和Windows用户进行非交互式...
因为Jenkins是使用Java编写的,所以...运行以下命令下载并导入GPG密钥 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat-stable/jenkins.repo sudo rpm –import https://jenkins-ci.org/
yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.sh 2.破解宝塔 升级到宝塔专业版尽量不要破解 wget -O update.sh ...
在Linux、Unix以及macOS等操作系统中广泛使用,它支持HTTP、HTTPS和FTP协议,还可以通过代理服务器工作。`wget`的特点在于其非交互式操作,可以在后台运行,即使用户断开网络连接后仍能继续下载。 ### wget基本使用...
yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.sh 2.破解宝塔 升级到宝塔专业版尽量不要破解 wget -O update.sh ...
3. 支持代理服务器:wget 命令可以通过代理服务器进行下载,保护用户的系统安全。 4. 设置便利容易:wget 命令的设置非常容易,使用命令行可以快速设置下载选项。 5. 程序小,彻低免费:wget 命令的程序非常小,且...
- 如果不希望保留远程服务器的目录结构,可以使用 `-nd` 选项,例如:`wget -r -nd ftp://10.8.8.8/movie/` ##### 2. 控制目录结构 - **忽略远程目录结构**: - `-nH` 选项用来忽略远程主机的目录层次。 - 示例...
相比较初代 GNU Wget,Wget2 速度更快...GNU Wget2 2.0 的 OpenSSL 集成改进包括 ALPN 支持、OCSP 支持和 OCSP 装订,修复内存泄漏,以及其他方面的改进。 **下载** https://ftp.gnu.org/gnu/wget/wget2-2.0.0.tar.gz ...
yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.sh 2.破解宝塔 升级到宝塔专业版尽量不要破解 wget -O update.sh ...
3. 使用命令行工具:对于有一定技术基础的用户,还可以利用curl、wget等命令行工具,结合正则表达式解析特殊链接。 四、注意事项 1. 安全性:使用第三方转换工具时,确保链接的安全性,避免下载含有病毒或恶意软件...
wget -P images https://raw.githubusercontent.com/facebookresearch/segment-anything/main/notebooks/images/truck.jpg !wget -P images ...
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 本压缩包是通过上面三个命令下载的文件...
内有详细安装教程 ... 问题: 1.如果安装到第三步出错的话一般是yum有问题, 看文件夹内的替换文件名称为:... yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.s
wget https://github.com/intel/hyperscan/releases/tag/v5.4.0/hyperscan-5.4.0.tar.gz tar xvzf hyperscan-5.4.0.tar.gz wget http://downloads.sourceforge.net/project/boost/1.78.0/boost_1_78_0.tar.gz tar ...
短信接口: 支持阿里云 支付接口:支持支付宝 服务器配置: 4核8G宽带10兆以上,服务器系统:Linux CentOS 7.6 64位,是否需要域名:需要。 教程开始 开放28018 8383 1236端口 修改mongodb 端口为28018 php安装...
- `wget [选项] URL`: 下载指定 URL 的文件。 - `-r`: 开启递归下载模式,即下载整个目录及其子目录中的文件。 - `-nd`: 不创建目录结构,即下载时不保留远程文件夹结构。 - `-nH`: 使用主机目录,下载时按照主机...
10. **代理服务器**:通过`--proxy-user`、`--proxy-password`和`--proxy-server`参数,可以配置使用代理服务器进行下载。 在Windows 10中,解压并安装wget-1.20.3-win64后,可以在命令提示符或PowerShell中直接...
在支持但不需要身份验证的情况下,避免服务器发送质询。 ### 使用实例 1. **完整镜像网站** ```bash wget --mirror --convert-links --adjust-extension --page-requisites --no-parent http://example.com ``...