论坛首页 → Java企业应用论坛 →

爬取远程博文入本地数据库小应用（阉割在摇篮之中）

浏览 6813 次
锁定老帖子 主题：爬取远程博文入本地数据库小应用（阉割在摇篮之中）
该帖已经被评为隐藏帖
作者 正文
  • showr
  • 等级: 初级会员
  • 性别:
  • 文章: 124
  • 积分: 10
  • 来自: 北京
   发表时间：2010-07-26  
如何用 用URLConnection伪装个User-Agent ?
返回顶楼
          回帖地址
0 请登录后投票
  • ywlqi
  • 等级: 一星会员
  • 文章: 254
  • 积分: 112
   发表时间：2010-07-26  
伪装个User-Agent 是常用手段吧，网站既要保证普通用户的正常访问，又想防爬，几乎是不可能的，特别是不遵循robots.txt的爬虫
返回顶楼
          回帖地址
0 请登录后投票
  • pgy20032000
  • 等级: 初级会员
  • 性别:
  • 文章: 29
  • 积分: 40
  • 来自: 北京
   发表时间：2010-07-26  
我恨你。。
返回顶楼
          回帖地址
0 请登录后投票
  • C_J
  • 等级: 三星会员
  • 性别:
  • 文章: 331
  • 积分: 330
  • 来自: 北京
   发表时间：2010-07-26  
引用

伪装个User-Agent 是常用手段吧，网站既要保证普通用户的正常访问，又想防爬，几乎是不可能的，特别是不遵循robots.txt的爬虫


嗯

引用
我恨你。。


别啊，妹妹：）

楼上很多哥哥都说出答案了。
返回顶楼
          回帖地址
0 请登录后投票
  • hardPass
  • 等级: 初级会员
  • 性别:
  • 文章: 535
  • 积分: 60
  • 来自: 上海
   发表时间：2010-07-26  
知己知彼，才能防扒
知道如何防扒，才知道如何反防扒
道高一尺 魔 一丈
返回顶楼
          回帖地址
0 请登录后投票
  • JavaLanguageFun
  • 等级: 初级会员
  • 性别:
  • 文章: 69
  • 积分: 20
  • 来自: 武汉
   发表时间：2010-07-26  
我XX，你这写的啥？全是XXX,我也XXX
返回顶楼
          回帖地址
0 请登录后投票
论坛首页 → Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics