网页抓取工具

简介

       Webdup能够把您想要浏览的信息(如网页和图片等)预先下载下来，保存在本地硬盘，使您可以从本地进行离线浏览，这样不仅可以大大减少上网时间，降低上网费用，还可以加快浏览速度；并且将来无须上网就可以很方便地查阅这些信息。不仅如此, Webdup更提供了备份历次下载记录和比较完善的管理功能，使您能够方便地分类保存和管理有价值的下载信息。

原理

       Webdup在下载项目时，从用户设定的"起始地址"开始，如果下载下来的是网页(即HTML文件)，则对它进行分析，解析出该网页中包含的所有链接，如果某个链接符合继续下载的条件(根据用户设定的"层数限制"，"URL过滤"和"文件过滤"等来进行判断)，则把该链接加入到下载队列中等待下载。就这样不断的下载和解析，直到所有的链接都被下载且没有新的需要下载的链接产生，项目下载结束。

功能

       支持HTTP和FTP下载，并支持HTTP和Socks5代理服务器；
       支持多线程下载；
       支持断点续传；
       可按URL和文件后缀名设置过滤，只下载所需文件；
       Webdup的过滤设置
       Webdup的过滤设置
       自动识别下载过的文件是否更新过，减少重复下载；
       可设置定时下载和定时停止；
       支持自动拨号和自动挂断；
       可导出和导入项目文件，方便用户交换网上资源；
       提供与浏览器(IE)的整合，方便快速地创建项目；
       支持项目和类别的拖拽操作，方便用户分类管理项目；
       能自动识别操作系统的语言，按需显示中文或英文。