- 浏览: 1220408 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (883)
- Spring (101)
- Swing (1)
- Mysql (21)
- Js (59)
- Jsp (2)
- Hibernate (19)
- Myeclipse (5)
- SqlServer 2000 (2)
- poi (15)
- Java (70)
- SSH (12)
- Html (47)
- Fusion Charts (1)
- C\C++ (2)
- 汇编 (36)
- Jquery (37)
- Struts2 (6)
- Ubuntu (16)
- powerDesinger (4)
- Jboss (3)
- JAX-RS (13)
- JAXB (5)
- JAX-WS (11)
- JMS (4)
- WebSocket (8)
- PHP (16)
- Flash (1)
- maven (3)
- Oracle (8)
- HttpClient (6)
- sqlserver (19)
- svn (5)
- Tomcat (3)
- Jdbc (3)
- EsayUi (11)
- 微信公众平台 (19)
- IIS (2)
- Freemarker (11)
- Comet (1)
- Spring MVC (85)
- JBoss Seam (3)
- 二维码 (9)
- Spring Security (4)
- Ehcache (3)
- Apache Shiro (7)
- jackson (16)
- JPA (8)
- jcaptcha (2)
- RSA (2)
- Ajax (6)
- 跟我学Shiro (0)
- Spring4 (19)
- 跟我学spring3 (0)
- css (32)
- excel (4)
- Filter (3)
- 微信公众帐号开发教程 (0)
- Android (6)
- log4j (6)
- 淘宝接口 (17)
- 支付集成 (3)
- 单点登录 (3)
- Html5 (27)
- 移动平台前端 (3)
- Linux (44)
- FusionCharts (27)
- Json Jackson Xml (5)
- 方培工作室-微信开发 (0)
- Apache与Tomcat与IIS整合 (10)
- Nginx (17)
- webService (2)
- apache (4)
- lucene (3)
- lodop (2)
- Shiro (3)
- zTree (2)
- ireport (12)
- Servlet3.0 (5)
- 前端美工 (19)
- AngularJS (1)
- C#开发微信门户及应用 (0)
- Shell (3)
- bat脚本 (16)
- Bootstrap (26)
- Less (10)
- photoshop (6)
- Redis (6)
- Mongodb (10)
- MyBatis (3)
- 数据结构 (0)
- 读写分离-主从复制 (0)
- JFinal (0)
- 百度地图api (3)
- hadoop-hbase-hive-spark (3)
- WebStorm (2)
- Quartz (5)
- ios (0)
- Mina (8)
- Android Studio (4)
- Ratchet教程 (0)
- 移动端重构系列 (1)
- cubic-bezier贝塞尔曲线CSS3动画工具 (1)
- nginx+tomcat+memcached集群 (0)
- 集群 (0)
- ZooKeeper (3)
- Dubbo (0)
- vpn (0)
- kafka (0)
- JVM垃圾回收机制 (0)
- 微信小程序 (0)
- Lua (0)
- Hystrix (0)
- Vue.js (0)
- mycat (0)
- Openresty (0)
- springBoot (0)
- 新分类 (0)
- guava (0)
- 大数据 (0)
- Sentinel (0)
最新评论
-
JackMacing:
中文怎么解决?
SpringMVC与iReport(JasperReports) 5.6整合开发实例 -
18335864773:
用pageoffice把.可以实现在线的文档操作.直接转pdf ...
转:使用jasperreport动态生成pdf,excel,html -
linhao0907:
推荐一款轻量开源的支付宝组件:https://github.c ...
关于Alipay支付宝接口(Java版) -
songronghu:
太好了,非常有用,谢谢分享~
Java ConcurrentModificationException 异常分析与解决方案 -
wzwahl36:
http://www.atool.org/json2javab ...
Java下利用Jackson进行JSON解析和序列化
Java设置代理IP访问网站
import java.io.BufferedInputStream; import java.net.URL; import java.net.URLConnection; public class TestProxyIp { public static void main(String args[]){ //System.getProperties().setProperty("proxySet", "true"); //如果不设置,只要代理IP和代理端口正确,此项不设置也可以 System.getProperties().setProperty("http.proxyHost", "218.26.204.66"); System.getProperties().setProperty("http.proxyPort", "8080"); System.out.println(getHtml("http://www.ip138.com/ip2city.asp")); //判断代理是否设置成功 } private static String getHtml(String address){ StringBuffer html = new StringBuffer(); String result = null; try{ URL url = new URL(address); URLConnection conn = url.openConnection(); conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5; .NET CLR 2.0.50727; CIBA)"); BufferedInputStream in = new BufferedInputStream(conn.getInputStream()); try { String inputLine; byte[] buf = new byte[4096]; int bytesRead = 0; while (bytesRead >= 0) { inputLine = new String(buf, 0, bytesRead, "ISO-8859-1"); html.append(inputLine); bytesRead = in.read(buf); inputLine = null; } buf = null; } finally { in.close(); conn = null; url = null; } result = new String(html.toString().trim().getBytes("ISO-8859-1"), "gb2312").toLowerCase(); }catch(Exception e){ e.printStackTrace(); return null; } html = null; return result; } }
2. 结果
发表评论
-
迄今为止把同步/异步/阻塞/非阻塞/BIO/NIO/AIO讲的最清楚的好文章(快快珍藏)
2019-07-04 14:11 0https://my.oschina.net/u/41 ... -
系统运行缓慢,CPU 100%,以及Full GC次数过多问题的排查思路
2019-07-04 11:11 0https://my.oschina.net/zhan ... -
五分钟搞懂什么是红黑树
2019-06-01 13:39 0www.360doc.com/content/18/0 ... -
史上最清晰的红黑树讲解(上、下)
2019-05-30 13:43 0https://www.cnblogs.com/Car ... -
JVM调优总结
2019-02-27 17:15 0https://www.cnblogs.com/and ... -
JVM:查看java内存情况命令
2019-02-27 16:59 5417jmap (linux下特 ... -
彻底理解Java的Future模式
2019-01-05 19:35 0https://www.cnblogs.com/cz1 ... -
java怎么传递泛型参数
2018-12-04 11:25 0package test; import java.uti ... -
java的集合(List)取出某一属性的方法
2018-11-23 10:39 0https://blog.csdn.net/qq_40 ... -
java7 WatchService监听文件
2017-08-19 10:24 9581package com.ssh.config ... -
java 常用集合list与Set、Map区别及适用场景总结
2017-07-04 15:49 0转载请备 ... -
(亲测可用)Description Resource Path Location Type Java compiler level does not match
2017-06-13 10:54 0解决办法 在项目上右键Properties-》Pro ... -
易百教程
2017-06-07 14:00 0http://www.yiibai.com/lua/l ... -
Zookeeper中文网
2017-05-26 14:44 0http://zookeeper.majunwe ... -
使用四种框架分别实现百万websocket常连接的服务器
2017-05-25 09:37 0http://colobu.com/2015/05/2 ... -
大数据-鸟窝
2017-05-25 08:52 0http://colobu.com/categorie ... -
Kafka深度解析,众人推荐,精彩好文!
2017-05-24 23:47 0http://www.cnblogs.com/cop ... -
Codis 是一个分布式 Redis 解决方案
2017-05-24 17:58 0http://www.oschina.net/p/co ... -
springmvc之redis篇(spring-data-redis整合)(redis单个和主从配置)
2017-05-23 18:39 0http://www.cnblogs.com/tank ... -
spring+springMvc+mybatis+maven+redis(单个redis配置)
2017-05-23 18:20 0http://blog.csdn.net/mynote ...
相关推荐
获取网络资源,使用动态代理ip解决单个ip访问次数限制问题
Java 实现免费代理IP的获取方式 并动态实时校验是否有效,java文件项目内含有Jsoup的Jar包(Jsoup是加工过的,含请求),有2个主入口程序: 其一:用于请求代理IP,并立即校验是否是一个有效的代理IP,如果有效,...
本文将深入探讨如何使用Java结合Jsoup库来实现代理IP的爬取,以突破IP访问限制,实现动态IP代理。 首先,让我们了解什么是Java爬虫。Java爬虫是使用Java语言编写的一种程序,它能够自动地遍历互联网上的网页,抓取...
总结来说,面对Java中的IP限制问题,开发者可以通过建立代理IP池、采用延时策略、模拟浏览器行为等多种方式来规避限制。同时,合理设计和优化爬虫架构,结合第三方库,能更好地应对复杂的网络环境。
### 使用Java获取访问者真实IP地址 在现代Web开发中,获取客户端的真实IP地址是非常重要的。这不仅有助于网站统计分析,还可以用于安全控制、地域限制等功能。然而,在使用如Apache、Squid等反向代理服务器的情况下...
本项目名为"java-爬取代理IP",显然聚焦于使用Java编程语言编写爬虫程序,目标是获取代理IP地址并将其存储到数据库中,以便后续的项目能够便捷地利用这些代理IP资源。 首先,我们要理解什么是代理IP。代理IP,也叫...
在Java编程中,获取IP地址是一项常见的任务,特别是在网络编程和服务器开发中。这个"java IP地址工具类"是为了解决这个问题而设计的。它提供了便捷的方法来获取和处理IP地址,尤其对于获取客户端IP地址在Web应用中至...
在“Jsoup网络爬虫(动态ip代理,突破ip访问次数限制)爬取全国各省市区数据”这个项目中,我们将会深入探讨如何使用Jsoup进行网络爬虫开发,并且解决在爬虫过程中遇到的IP访问限制问题。 首先,我们需要理解Jsoup...
如果您下载了本程序,但是该程序无法运行,或者您不会部署,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的...然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
为避免被目标网站检测到,可能需要使用到随机User-Agent、设置延迟请求、使用代理IP自身进行爬取(即IP代理的自我应用)等策略。 最后,压缩包文件"全自动提取IP代理"可能包含以下内容:完整的自动化脚本代码,用于...
在Java编程中,判断一个IP地址是内网IP(私有IP)还是公网IP(全局IP)是一项常见的任务,尤其在网络编程和服务器配置中。内网IP通常用于局域网内部通信,而公网IP则是互联网上的唯一标识。下面将详细探讨如何实现这...
需要注意的是,`getRemoteAddr()`方法返回的是客户端的IP地址,如果客户端经过了代理服务器,则返回的是代理服务器的IP地址。如果需要获取真实的客户端IP地址,还需要检查HTTP头部信息中的`X-Forwarded-For`字段。 ...
本地切换IP代理上网则指在个人计算机上设置和使用代理服务器,以便通过代理IP进行网络浏览。这可以通过以下几种方式进行: 1. **系统级代理设置**:在Windows系统中,可以在“网络和共享中心”里设置代理服务器,...
2. UV(独立访客数):指在一定时间内访问网站的不同访客数量,同一个访客在统计周期内多次访问只计算一次。 在Java+Spring+Mysql+C3P0的环境中,我们可以按照以下步骤实现这个功能: 1. **C3P0连接池**:C3P0是一...
在IT行业中,网络协议是构建互联网通信的基础,而代理IP则是网络访问的一种策略。本文将深入探讨代理IP检测工具,特别是针对HTTP、HTTPS以及SOCKS5协议的连通率和延迟检测,这对于网络爬虫、数据抓取、网络安全以及...
在Web开发中,经常需要获取客户端的真实IP地址来进行一系列的操作,比如统计访问来源、进行地理定位、安全防护等。然而,在实际应用场景中,客户端请求往往经过了多级代理(如Apache、Squid等),这使得直接使用`...
### 使用Java获取访问者真实IP地址 在现代Web开发中,获取客户端的真实IP地址是非常重要的。这不仅可以用于统计分析、安全审计,还可以帮助提供更好的用户体验。然而,在通过代理服务器(如Apache、Squid等)转发...
通常,当用户通过Nginx访问服务时,Nginx会作为客户端与服务器建立Socket连接,这时服务器接收到的Socket连接请求的源IP将是Nginx的IP,而不是用户的IP。为了获取用户的真实IP,我们需要利用HTTP头部信息,特别是"X-...
Java代理服务器程序是一种用于转发网络请求的应用,它在客户端与目标服务器之间起到中介的作用。这样的设计使得用户可以通过代理服务器访问互联网,从而实现多种功能,如匿名浏览、负载均衡、缓存优化、网络监控等。...
在IT领域,代理服务器是一种重要的网络工具,它作为客户端与目标服务器之间的中介,可以用于隐藏原始IP地址、提高访问速度、突破访问限制等目的。本文将深入探讨如何通过代理服务器网站获取代理服务器IP,并涉及多...