flashsword20
- 浏览: 9221 次
- 性别:
- 来自: 南京
-
最新评论
文章列表
之前写过一年的垂直爬虫(抓博客什么的)，对于各种重复代码很厌倦，后来参考了据说是最优秀的爬虫框架scrapy，写了一个Java版的框架webmagic。
自己用着还是挺顺手的，底层封装了HttpClient、Jsoup、HtmlCleaner，支持多线程，也包括url去重、重试、编码判断什么的。希望能帮到把各位自己手写爬虫代码的同学。
代码不长，自认为模块化的也挺清晰，如果对爬虫感兴趣的可以看一看。
以下是使用webmagic抓取某个iteye博客的所有文章，并提取标题和正文的爬虫代码：
public class IteyeBlogProcessor implements PageProce ...
因为之前工作需要，写了一个DNS服务器，后来维护了半年，公司内部也一直在使用，现在比较稳定了，拿出来跟大家分享。
主要有DNS代理和缓存功能，也可以用hosts风格自定义域名，之前遇到的DNS服务器配置起来都比较复杂，实际上我们自己搭建大多数都是内网或者自己用，根本用不着。我这个默认代理了google的DNS 8.8.8.8，启动起来就能用了，不需要什么配置。只支持A记录配置，不过内部DNS算是足够了。
设计方面，当做一个web服务器来写的，也分了connector、container什么的，connector用的是多线程reactor。
缓存用了EhCache，性能还是比较好的。这个程序在 ...