推荐十个C#开源网络爬虫

1：.Net开源的跨平台爬虫框架 DotnetSpider(Star:449)

下载地址：http://www.17ky.net/soft/479.html

DotnetSpider是开源的.NET跨平台数据采集爬虫框架。

2：俄国牛人写的开源爬虫xNet(Star:121)

下载地址：http://www.17ky.net/soft/756.html

这个一个俄国牛人写的开源工具，为啥说他强悍了，因为他将所有Http协议的底层都实现了一遍，这有啥好处？只要你是写爬虫的，都会遇到一个让人抓狂的问题，就是明明知道自己Http请求头跟浏览器一模一样了，为啥还会获取不到自己想要的数据

3：开源的.net爬虫Abot(Star:1072)

下载地址：http://www.17ky.net/soft/66.html

Abot是一个开源的.net爬虫，速度快，易于使用和扩展

4：C#爬虫引擎内核版SmartSpider(Star:18)

下载地址：http://www.17ky.net/soft/549.html

SmartSpider爬虫引擎内核版，全新的设计理念，真正的极简版本

5：.Net开源的超级爬虫Hawk(Star:1068)

下载地址：http://www.17ky.net/soft/798.html

HAWK是一种数据采集和清洗工具，依据GPL协议开源，能够灵活，有效地采集来自网页，数据库，文件， 并通过可视化地拖拽， 快速地进行生成，过滤，转换等操作。其功能最适合的领域，是爬虫和数据清洗

6：基于C#.NET的简单且高效的网站爬虫(Star:64)

下载地址：http://www.17ky.net/soft/70470.html

Simple-Web-Crawler - 基于C#.NET的简单网页爬虫，支持异步并发、切换代理、操作Cookie、Gzip加速。

7：网络爬虫程序NWebCrawler

下载地址：http://www.17ky.net/soft/9291.html

NWebCrawler是一款开源的C#网络爬虫程序

8：爬虫小新Sinawler

下载地址：http://www.17ky.net/soft/34589.html

国内第一个针对微博数据的爬虫程序！原名“新浪微博爬虫”。 登录后，可以指定用户为起点，以该用户的关注人、粉丝为线索，延人脉关系搜集用户基本信息、微博数据、评论数据。 该应用获取的数据可作为科研、与新浪微博相关的研发等的数据支持，但请勿用于商业用途。该应用基于.NET2.0框架，需SQL SER...

9：多线程web爬虫程序spidernet

下载地址：http://www.17ky.net/soft/34598.html

spidernet是一个以递归树为模型的多线程web爬虫程序, 支持text/html资源的获取. 可以设定爬行深度, 最大下载字节数限制, 支持gzip解码, 支持以gbk(gb2312)和utf8编码的资源; 存储于sqlite数据文件. 源码中TODO:标记描述了未完成功能, 希望提交你...

10：Web爬虫工具NCrawler

下载地址：http://www.17ky.net/soft/34609.html

NCrawler 是一个Web Crawler 工具，它可以让开发人员很轻松的发展出具有Web Crawler 能力的应用程式，并且具有可以延展的能力，让开发人员可以扩充它的功能，以支援其他类型的资源（例如PDF /Word/Excel 等档案或其他资料来源）。 NCrawler 使用多执行绪...