`
mcj8089
  • 浏览: 193363 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Java中使用代理IP获取网址内容(防IP被封,做数据爬虫)

阅读更多

推荐两个代理IP网站:

 

1. 全网代理IP:http://proxy.goubanjia.com/

 

2. 爱赚免费IP:http://ip.izmoney.com/

 

Java语言有两种方式使用代理IP访问网址并获取内容,

 

方式一,设置System系统属性

 

// 设置代理IP
System.getProperties().setProperty("proxySet", "true"); 	
System.getProperties().setProperty("http.proxyHost", "218.26.204.66");
System.getProperties().setProperty("http.proxyPort", "8080");

HttpUrlConnection connection = (HttpUrlConnection)new URL("http://www.baidu.com/").openConnection();
connection.setConnectTimeout(6000); // 6s
connection.setReadTimeout(6000);
connection.setUseCaches(false);

if(connection.getResponseCode == 200){
  System.out.println("使用代理IP连接网络成功");
}

 

方式二,使用java.net.Proxy类

 

// 使用java.net.Proxy类设置代理IP
Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress("123.22.43.3", 8080);       HttpUrlConnection connection = (HttpUrlConnection)new URL("http://www.baidu.com/").openConnection(proxy);
connection.setConnectTimeout(6000); // 6s
connection.setReadTimeout(6000);
connection.setUseCaches(false);

if(connection.getResponseCode == 200){
  System.out.println("使用代理IP连接网络成功");
}

 

分享到:
评论

相关推荐

    Java网络爬虫抓取代理ip

    通过Java网络爬虫爬取指定代理ip网上的ip,利用了jsoup、httpclient技术实现

    Java爬虫Jsoup+httpclient获取动态生成的数据

    要获取动态生成的数据,爬虫开发者需要寻找并分析JavaScript代码中所使用的数据接口。这些接口通常会向服务器发送Ajax请求,获取动态内容后更新到页面上。通过分析这些请求,开发者可以找到数据接口,并使用...

    java爬虫,利用代理IP爬取大众点评网站内容.zip

    如果您下载了本程序,但是该程序无法运行,或者您不会部署,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。

    Java采集最新动态代理IP

    在IT行业中,网络爬虫是数据获取的重要工具,而Java作为一种强大的编程语言,常被用于构建高效的爬虫系统。本文将深入探讨如何使用Java结合Jsoup库来实现代理IP的爬取,以突破IP访问限制,实现动态IP代理。 首先,...

    java多线程代理IP池

    简单的来说,启动后,会一直定时的获取代理ip,并自动检测代理ip的活跃度。运用多线程的技术,在极短的时间内获取大量的ip进行筛选。架构也比较清楚,方便大家学习参考 需要主要的是,代理ip获取成功后是放在redis...

    java-爬取代理IP

    本项目名为"java-爬取代理IP",显然聚焦于使用Java编程语言编写爬虫程序,目标是获取代理IP地址并将其存储到数据库中,以便后续的项目能够便捷地利用这些代理IP资源。 首先,我们要理解什么是代理IP。代理IP,也叫...

    Jsoup 网络爬虫(动态ip代理,突破ip访问次数限制) 爬取全国各省市区数据

    在“Jsoup网络爬虫(动态ip代理,突破ip访问次数限制)爬取全国各省市区数据”这个项目中,我们将会深入探讨如何使用Jsoup进行网络爬虫开发,并且解决在爬虫过程中遇到的IP访问限制问题。 首先,我们需要理解Jsoup...

    网络代理,网络爬虫刷IPJava版,最新有效刷ip方法

    网络代理,网络爬虫刷IPJava版,最新有效刷ip方法 Java代码,包括代理ip采集,设置代理服务、获取列表,刷IP,网页解析等知识

    java网络爬虫-通过登陆网站携带COOKIE信息爬取网站数据

    同时,为了提高效率和避免封IP,还需要考虑使用代理IP池,设置请求间隔,以及错误重试机制等。 总的来说,这个项目涉及了Java网络编程、HTTP请求、登录处理、COOKIE管理、HTML解析以及数据库操作等多个方面,这些都...

    Java爬虫详细完整源码实例

    1. **网络请求库**:在Java爬虫中,我们通常会用到如HttpURLConnection、HttpClient或OkHttp等网络请求库来模拟浏览器发送HTTP请求,获取网页内容。这些库提供了发送GET、POST请求,设置请求头,处理cookies等功能。...

    百度贴吧java爬虫

    1. **反爬机制**:百度贴吧可能会设置反爬策略,如限制IP访问频率,验证码等,因此需要合理设计爬虫的请求间隔,可能还需实现验证码识别或使用代理IP池。 2. **数据存储**:抓取的数据需要存储,可以是本地文件、...

    Java爬虫爬取网页数据

    在Java中,我们通常使用库如Jsoup或Apache HttpClient来实现爬虫功能。下面将详细介绍Java爬虫的基本概念、常用库以及如何使用它们来爬取网页数据。 一、Java爬虫基础 1. 网页抓取:爬虫通过发送HTTP请求到目标...

    java动态替换代理ip

    在Java编程中,动态替换代理IP是一个常见的需求,特别是在网络爬虫、自动化测试或需要频繁切换网络环境的应用中。这个话题涉及到Java的反射机制、动态代理以及网络编程的知识点。以下将详细介绍这些内容。 首先,...

    携程去哪儿机票爬虫,添加ip代理请求携程和去哪儿网,Java语言

    "添加ip代理请求"是指在爬虫运行过程中,为了避免因为频繁请求被目标网站封禁IP,我们采用了代理IP策略。代理IP相当于网络中的中介,爬虫通过代理IP去访问目标网站,这样即使请求频繁,实际的IP地址也不会暴露,降低...

    java 爬虫

    在实际开发中,我们还需要考虑反爬虫策略,如设置合理的请求间隔以避免被封IP,使用代理IP池增加访问的隐蔽性,以及处理登录验证和session管理等问题。同时,爬虫伦理也非常重要,遵守网站的robots.txt规则,尊重...

    java 动态换ip限制 ip频繁限制

    在提供的文件`crawlercity`中,可能包含了关于如何构建爬虫城市(可能是一个大规模的爬虫项目)的相关代码和配置,包括代理IP的获取、请求调度和异常处理等内容。通过对这些文件的学习和研究,我们可以深入了解如何...

    java爬虫模拟登陆源码

    这个过程在Java爬虫中也需要模拟,主要涉及以下几个步骤: 1. **分析登录页面**:使用浏览器的开发者工具(如Chrome的F12)观察登录页面的POST请求,获取表单提交的URL以及所需参数,包括隐藏字段、cookies等。 2....

    java网页爬虫demo

    7. **IP代理池**:对于大规模爬虫项目,为了避免IP被封,可能会使用IP代理池进行轮换,降低被目标网站识别的风险。 在"SpiderWidth.java"中,我们可以预期找到上述部分或全部功能的实现。通过阅读和学习这个示例,...

    java爬虫学习文档集

    - **代理与IP更换**:避免因频繁请求被目标网站封禁,可以通过代理服务器和切换IP来实现。 - **数据存储**:抓取的数据可能需要保存到文件、数据库或者云存储中,这涉及到文件操作和数据库操作知识。 - **反爬机制**...

Global site tag (gtag.js) - Google Analytics