[原创]美女图片爬虫程序实战!~用技术创造快感!

很久没把自己做的东西拿出来和大家分享了，今天总算想到可以写一些东西了。嘿嘿
美女图片爬虫程序很简单，就是从目标网站上将一些美女图片抓取下来，并按文件夹的方式归类存放(默认保存路径D:\Girl)。
现在以 http://www.36mn.com/网站为例，将论坛上面的一个个图片抓取下来慢慢欣赏。

程序说明：

com.th.spider.Main 运行这个抓取美女图片

com.th.spider.test.* 样例程序

com.th.spider.CookieLogin 模拟登陆实例

com.th.spider.Clean 清除没图片的目录和无效图片目录

 

用技术创造快感！！！！ 嘿嘿

 

Email:[e-mail]

 

下载资源：

图片抓取代码.zip

 

网络爬虫原理与实战PPT.zip

主要技术：
Jsoup、HttpClient.

配置说明：
config.properties

#保存目录
save.dir=D:/GIRL
#网站根路径#
url.base=http://www.36mn.com/
#URL访问模板
url.template=http://www.36mn.com/forum-62-#page#.html

#开始PAGE 替换url.template中page参数#
page.start=1
#结束PAGE 替换url.template中page参数#
page.end=2

#线程池大小,并发抓取图片的最大线程数#
thread.pool.size=50

配置中的page.start 和 page.end 指定了抓取论坛开始页到结束页，如果想抓取整个论坛的就page.start=1,page.end=100吧。
配置目录save.dir 默认会创建一个D:/GIRL的目录，用户保存抓取图片。图片保存方式:D:/GIRL/页号/帖子名/图片名

抓取思路：
1.获取论坛中的每个帖子标题和连接。
2.请求帖子连接返回帖子内容。
3.分析获取图片的URL。
4.定位URL下载图片到本地。

论坛帖子列表 http://www.36mn.com/forum-62-1.html

其中一个帖子内容 http://www.36mn.com/thread-22672-1-2.html

抓取结果

评论

29 楼 willl_ls 2011-06-28  

真心不错！

28 楼 willse 2011-06-28  

a68091555 写道

嘿嘿，刚才爬了下草榴的，有点意思

老大！！ 用拼音........ 小心被和谐了。

27 楼 chrrity 2011-06-28  

willse 写道

yunzhu 写道

bo_83 写道

你是如何分别美女与丑女的呢

正解  +10

美女网站的自然都是美女........ 嘿嘿

这个吹毛求疵了，美女有具体的定义吗？
可能你觉得特丑的，我觉得漂亮。这个跟个人审美观直接挂钩，
不能说人长得丑，只能说抽象。就像是梵高的画，当时人说这他妈都是画的毛啊？
你看现在...

26 楼 a68091555 2011-06-28  

嘿嘿，刚才爬了下草榴的，有点意思

25 楼 willse 2011-06-28  

lorry1113 写道

网络有代理怎么处理

你想番墙啊............ 嘿嘿

关于代理问题可以用HttpClient解决，然后用JSOUP分析HTML.
JSOUP官网 http://jsoup.org/
HttpClient参考 http://hc.apache.org/httpcomponents-client-ga/tutorial/html/

24 楼 newvirus 2011-06-28  

不错的东东 一直都想做个这么个工具玩玩 借鉴一下

23 楼 冰寒Alicv 2011-06-28  

这个可以有！！！

22 楼 fire_wang 2011-06-28  

lorry1113 写道

网络有代理怎么处理

由代理的话，你去看下httpClient的例子程序，有处理使用代理的，我没用过，不过应该没问题！

21 楼 wxwdt 2011-06-28  

好，值得学些和分析

20 楼 lorry1113 2011-06-28  

网络有代理怎么处理

19 楼 太平洋1986 2011-06-28  

ivin 写道

嘿嘿，几年之前刚毕业那时候上班没啥事的时候做过一个，在公司运行了一个小时，下载了400+Mb的MM图片，然后就被公司网管抓了！

哈哈！兄弟你太有才了！

18 楼 willse 2011-06-28  

yunzhu 写道

bo_83 写道

你是如何分别美女与丑女的呢

正解  +10

美女网站的自然都是美女........ 嘿嘿

17 楼 willse 2011-06-28  

txin0814 写道

我想问下 你的代码是不是只能取你给的指定网址的图片

目前只能抓取指定网站的！下一步计划配置化的方式来适应不同的网站。

16 楼 yangguo 2011-06-28  

能够图像识别出美女才叫牛！你这样猫猫狗狗也拿回来了。
何况我百度图片一下美女，不比你这个容易淫的一手好湿么。

15 楼 txin0814 2011-06-28  

我想问下 你的代码是不是只能取你给的指定网址的图片

14 楼 yunzhu 2011-06-28  

bo_83 写道

你是如何分别美女与丑女的呢

正解  +10

13 楼 willse 2011-06-28  

kidd3166 写道

回复贴怎么解决？

只分析了主题，没有管回复的帖子。

12 楼 willse 2011-06-28  

商用主要是公司内部使用，比如用爬虫完善论坛内容以及像京东，当当相互之间完善商品图片。很多小的B2C公司都从这些网站抓取图片内容来完善自己的信息。

11 楼 kidd3166 2011-06-28  

回复贴怎么解决？

10 楼 sunwenran 2011-06-28  

借这个贴问下:爬虫工具有哪些商用?