`

wget下载网站目录下的所有文件

阅读更多

wget是linux下命令行的下载工具,功能很强大。

 

一般下在一些小东西都是直接用chrome自带的下载功能下载,没有必要用wget或者其他下载工具。但是某些时候却不是浏览器自带的下载功能和一些其他的下载软件所能做的的,这时候就得用wget了。比如如果你想下载一个网页目录下的所有文件,如何做呢?比如,我需要下载django官方全部API Doc,假设source code没有文档的前提下。

 

介绍几个常用参数:

  •  

    -c 断点续传(备注:使用断点续传要求服务器支持断点续传),

     

  •  

    -r 递归下载(目录下的所有文件,包括子目录),

     

  •  

    -np 递归下载不搜索上层目录,

     

  •  

    -k 把绝对链接转为相对链接,这样下载之后的网页方便浏览。

     

  •  

    -L 递归时不进入其他主机,

     

  •  

    -p 下载网页所需要的所有文件。

     

 

e.g.

$ wget -c -r -np -k -L -p http://docs.python.org/ #下载python官方所有API doc
 
分享到:
评论

相关推荐

    wget网站下载工具

    这会递归下载`http://example.com`网站的所有页面,不进入子域名 (`-np`),并把链接转换为相对路径 (`-k`),同时下载所有页面上的资源文件 (`-p`)。 在解压缩Wget下载的文件时,如果文件是压缩格式(如.zip或.tar....

    支持中文目录wget版本,linux版本

    在wget的源代码中 src/url.c 这个文件中有wget如何处理文件名的函数url_file_name() url_file_name()在根据url的形式判断该保存为什么样的文件名,并进行了多方面的考虑,最终该函数调用了append_uri_pathel(),该...

    wget for windows命令行下载工具, 支持https, 支持win10

    在Windows 10系统中,wget同样表现优秀,用户可以通过命令行界面进行文件的下载操作,尤其适合自动化脚本或者无人值守的批量下载任务。 HTTPS(Hypertext Transfer Protocol Secure)是一种安全的网络通信协议,它...

    linux命令行下的ftp 多文件下载和目录下载

    使用 Linux 命令行下的 FTP 命令可以实现多文件下载和目录下载,而使用 `wget` 命令可以解决 FTP 命令行不支持目录下载的问题。同时,可以使用 Shell 脚本实现 FTP 多文件下载和上传的自动化任务。

    使用wget下载整个网页

    标题“使用wget下载整个网页”涉及的是一个网络爬虫工具——wget,它是一个在命令行环境中使用的开源工具,主要用于从互联网上下载文件或整个网站。本文将深入介绍wget的使用方法及其相关知识点。 wget,全称World ...

    centos下wget安装包

    对于网络管理员和开发者来说,`wget`的一个强大特性是它可以递归下载整个网站或目录,只需使用`--mirror`选项: ```bash wget --mirror --convert-links --adjust-extension --page-requisites --no-parent ...

    wget wget wget wget

    `wget`可以进行递归下载,复制整个网站或目录结构。通过添加`-r`或`--recursive`选项,可以启用此功能: ``` wget -r http://example.com ``` 若要限制下载深度,可以使用`--level`或`-l`参数,如`-l 3`表示最多三层...

    wget命令行下载工具

    `wget`命令行下载工具是Linux环境中广泛使用的网络数据抓取工具,它允许用户通过命令行界面批量下载文件和整个网站。在没有图形用户界面(GUI)或者远程服务器管理的场景下,`wget`显得尤为实用。这个工具以其强大的...

    wget网络多协议下载

    wget以其可靠性和自动化特性著称,支持HTTP、HTTPS和FTP三种主要的互联网协议,使得用户能够方便地从Web服务器下载文件,即使在不稳定或低速的网络环境下也能保证下载的顺利完成。 ### 1. wget的基本用法 wget的...

    wget1.21.4.zip安装包

    System32是Windows操作系统中存放系统级文件和驱动程序的地方,将wget放置在此目录意味着它可以在命令提示符下全局使用,无需指定完整路径。这样,无论用户在哪个目录下打开命令提示符,都可以直接输入“wget”命令...

    windows wget.exe免费下载

    wget.exe 是一个命令行工具,主要用于在Windows操作系统中下载网页、文件和其他互联网资源。它源自于开源的GNU项目,功能强大且高度可配置,适用于自动化批量下载任务。wget支持HTTP、HTTPS和FTP协议,同时也能够...

    wget_ForWindows 单文件版本

    这个“wget_ForWindows 单文件版本”提供了方便的 Windows 平台兼容性,以一个单独的 `.exe` 文件形式存在,无需额外安装过程,易于复制和在 DOS(命令提示符)环境下或批处理脚本中使用。 以下是对 `wget` 的详细...

    php-wget 把远程文件下载到本地服务器上。

    - `-P` 或 `--directory-prefix`:设置下载文件的保存目录。 - `-N` 或 `--no-clobber`:防止覆盖已存在的文件。 - `-c` 或 `--continue`:继续先前中断的下载。 - `-U` 或 `--user-agent`:设置用户代理字符串,...

    wget_wget_

    5. **递归下载**:结合`-r`或`--recursive`选项,wget可以递归地下载指定目录下的所有链接,通常配合`--level`设定递归深度。 6. **用户代理伪装**:通过`--user-agent`选项,可以设置wget模拟其他浏览器进行下载,...

    wget下载整个网站1

    - `-r`:递归下载,下载指定目录及其子目录下的所有文件。 - `-np`:不爬取父级目录,只下载指定目录的内容。 - `-k`:转换链接,使下载后的网页中的链接变为相对链接,便于离线浏览。 - `-L`:遵循重定向,防止误...

    wget for windows

    3. **递归下载**:可以按照网站结构下载整个网站或者指定目录,这对于镜像网站或者保存网页备份非常有效。 4. **HTTP、HTTPS和FTP支持**:`wget` 支持多种协议,包括HTTP、HTTPS(安全的HTTP)和FTP(文件传输协议...

    windows 使用wget 下载命令

    2. **设置保存路径**:默认情况下,wget会将下载的文件保存在当前目录下。如果你想改变保存位置,可以使用`-O`或`--output-document`选项,如`wget64 -O C:\Downloads\example.zip http://example.com/example.zip`...

    windows wget 命令行下的wget

    此外,还可以通过编写wget配置文件(通常是`.wgetrc`)来保存常用的下载设置,使命令行调用更加便捷。 总的来说,尽管Windows环境中没有内建wget,但通过第三方工具,我们可以享受到与Linux类似的命令行下载功能。...

    下载工具WGET x64

    在Windows系统中,将`wget.exe`文件放置于`C:\Windows\System32`目录下,可以方便地在CMD命令行中直接调用。为了全局使用,可以将`wget.exe`的路径添加到系统的PATH环境变量中。 ### 5. 使用示例 下载一个网页: `...

    离线安装wget依赖包

    wget是一款强大的网络下载工具,它支持通过HTTP、HTTPS和FTP协议下载,并且可以在用户退出后继续之前的下载任务,非常适合于在命令行环境中进行文件下载。然而,wget本身可能依赖于一些库和工具,因此在安装过程中...

Global site tag (gtag.js) - Google Analytics