`
mcj8089
  • 浏览: 193617 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

使用动态代理IP让爬虫效率提高N倍

    博客分类:
  • Java
阅读更多
package com.goubanjia.test;

import java.io.BufferedInputStream;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.util.ArrayList;
import java.util.List;

import org.jsoup.Jsoup;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.ProxyConfig;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class TestDynamicIp {
	public static List ipList = new ArrayList();
	public static boolean gameOver = false;
	public static void main(String[] args) {
		long fetchIpSeconds = 5;
		int threadNum = 10;
		int testTime = 3;
		String order = "这里换成你的订单号,百度全网代理IP获取";
		System.out.println(">>>>>>>>>>>>>>全网代理动态IP测试开始<<<<<<<<<<<<<<");
		System.out.println("***************");
		System.out.println("接口返回IP为国内各地区,每次最多返回10个");
		System.out.println("提取IP间隔 " + fetchIpSeconds + " 秒 ");
		System.out.println("开启爬虫线程 " + threadNum);
		System.out.println("爬虫目标网址  http://1212.ip138.com/ic.asp");
		System.out.println("测试次数 3 ");
		System.out.println("***************\n");
		TestDynamicIp tester = new TestDynamicIp();
		new Thread(tester.new GetIP(fetchIpSeconds * 1000, testTime, order)).start();
		for (int i = 0; i < threadNum; i++) {
			tester.new Ip138Tester(100).start();
		}
		while(!gameOver){
			try {
				Thread.sleep(100);
			} catch (InterruptedException e) {
				e.printStackTrace();
			}
		}
		System.out.println(">>>>>>>>>>>>>>全网代理动态IP测试结束<<<<<<<<<<<<<<");
		System.exit(0);
	}
    
	// 抓取IP138,检测IP
	public class Ip138Tester extends Thread{
		@Override
		public void run() {
			while(!gameOver){
				webParseHtml("http://1212.ip138.com/ic.asp");
				try {
					Thread.sleep(sleepMs);
				} catch (InterruptedException e) {
					e.printStackTrace();
				}
			}
		}
		
		long sleepMs = 200;
		public Ip138Tester(long sleepMs) {
			this.sleepMs = sleepMs;
		}
		public String webParseHtml(String parentUrl) {
			String html = "";
			WebClient client = new WebClient();
			try {
				client.getOptions().setThrowExceptionOnFailingStatusCode(false);
				client.getOptions().setJavaScriptEnabled(false);
				client.getOptions().setCssEnabled(false);
				client.getOptions().setThrowExceptionOnScriptError(false);
				client.getOptions().setTimeout(10000); // 10s超时
				client.getOptions().setAppletEnabled(true);
				client.getOptions().setGeolocationEnabled(true);
				client.getOptions().setRedirectEnabled(true);
				
				String ipport = getAProxy();
				if (ipport != null) {
					ProxyConfig proxyConfig = new ProxyConfig(ipport.split(":")[0], Integer.parseInt(ipport.split(":")[1]));
					client.getOptions().setProxyConfig(proxyConfig);
				}else {
					System.out.print(".");
					return "";
				}
			
				HtmlPage page = client.getPage(parentUrl);
				html = page.asXml();
				
				if (html.length() > 0) {
					html = Jsoup.parse(html).select("center").first().text();
				}
				
				System.out.println(getName() + " 使用代理 " + ipport + "请求IP138返回:" + html);
				
			} catch (Exception e) {
				return webParseHtml(parentUrl);
			} finally {
				client.close();
			}
			return html;
		}
		
	    private String getAProxy() {
	    	if (ipList.size() > 0) {
	    		String ip = ipList.get((int)(Math.random() * ipList.size()));
	    		return ip ;
			}
			return null;
		}
	}
	
	// 定时获取动态IP
	public class GetIP implements Runnable{
		long sleepMs = 1000;
		int maxTime = 3;
		String order = "";
		
		public GetIP(long sleepMs, int maxTime, String order) {
			this.sleepMs = sleepMs;
			this.maxTime = maxTime;
			this.order = order;
		}
		
		@Override
		public void run() {
			long getIpTime = 0;
			int time = 1;
			while(!gameOver){
				if(time >= 4){
					gameOver = true;
					break;
				}
				try {
					java.net.URL url = new java.net.URL("http://dynamic.goubanjia.com/dynamic/get/" + order + ".html?ttl");
			    	HttpURLConnection connection = (HttpURLConnection)url.openConnection();
			    	connection.setConnectTimeout(3000);
			    	connection = (HttpURLConnection)url.openConnection();
			    	
			        InputStream raw = connection.getInputStream();  
			        InputStream in = new BufferedInputStream(raw);  
			        byte[] data = new byte[in.available()];
			        int bytesRead = 0;  
			        int offset = 0;  
			        while(offset < data.length) {  
			            bytesRead = in.read(data, offset, data.length - offset);  
			            if(bytesRead == -1) {  
			                break;  
			            }  
			            offset += bytesRead;  
			        }  
			        in.close();  
			        raw.close();
					String[] res = new String(data, "UTF-8").split("\n");
					List ipList = new ArrayList();
					for (String ip : res) {
						try {
							String[] parts = ip.split(",");
							if (Integer.parseInt(parts[1]) > 0) {
								ipList.add(parts[0]);
							}
						} catch (Exception e) {
						}
					}
					if (ipList.size() > 0) {
						TestDynamicIp.ipList = ipList;
						System.out.println("第" + ++getIpTime + "次获取动态IP " + ipList.size() + " 个");
						time += 1;
					}
				} catch (Exception e) {
					e.printStackTrace();
					System.err.println(">>>>>>>>>>>>>>获取IP出错");
				}
				try {
					Thread.sleep(sleepMs);
				} catch (InterruptedException e) {
					e.printStackTrace();
				}
			}
		}
	}
}

 

   完整项目包下载地址:http://www.goubanjia.com/download/test-dynamic-ip.zip

 

   使用动态代理IP,完全避免了被封IP的风险,爬虫效率直接提升了3倍以上。

 

   请填写全网代理IP订单号,填写之后才可以提取到IP哦

 

分享到:
评论

相关推荐

    爬虫用于爬取Bing搜索引擎的n页标题,可以改进后作为一个小的搜索api

    标题中的“爬虫用于爬取Bing搜索引擎的n页标题,可以改进后作为一个小的搜索api”揭示了这个项目的核心内容。它是一个Python爬虫程序,设计用来抓取Bing搜索引擎的结果页面,提取每一页上的搜索结果标题。这样的爬虫...

    Python代码源码-实操案例-框架案例-如何检测免费代理IP是否有效….zip

    在Python编程领域,有时我们需要利用代理IP来保护我们的网络身份或者提高访问速度,尤其是在进行大量网页抓取或网络请求时。然而,免费代理IP往往稳定性不佳,因此我们需要编写代码来检测这些代理IP是否有效。本案例...

    php编写的网络爬虫

    为了提高爬虫效率,可以使用多线程或异步请求。然而,必须注意遵守网站的robots.txt协议,避免过于频繁的请求导致IP被封禁。可以设置延迟或者使用User-Agent伪装浏览器。 **7. 扩展与优化** 更复杂的爬虫可能需要...

    Python网络爬虫实习报告-python实习报告.pdf

    **技术难点与关键点**:可能遇到的挑战包括反爬机制(如验证码、IP限制)、动态加载内容、异步加载等,解决方法包括设置User-Agent、使用代理IP、解析JavaScript等。\n\n六、总结\n\n通过本次实习,不仅掌握了...

    java爬虫源码

    为了提高爬虫效率,可以采用多线程技术,创建多个线程同时处理不同的网页。Java的`ExecutorService`和`Callable`接口可以帮助我们构建高效的多线程爬虫。 ### 6. 避免IP封锁 长时间大量请求同一网站可能导致IP被...

    python爬虫开发_python_

    - 多线程/多进程:使用Python的threading或multiprocessing库提高爬虫效率。 - 爬虫项目管理:Scrapy框架可以帮助组织复杂的爬虫项目,实现高效的数据抓取和处理。 - 数据清洗:使用pandas库对抓取的数据进行清洗...

    Python爬虫-笔趣阁小说爬虫-自动爬取小说

    除了基本的爬虫逻辑,我们还需要考虑一些实际问题,例如处理反爬策略(如User-Agent和代理IP)、处理JavaScript渲染的内容(可能需要使用Selenium等工具)、以及错误处理和重试机制等。此外,`readme.md`文件可能是...

    get_ip_python_

    对于西刺代理网站,我们需要定位到包含代理IP的网页元素,可能需要处理分页或动态加载的内容。例如: ```python import requests from bs4 import BeautifulSoup def fetch_proxy_ips(url): response = requests....

    python3.x爬虫代码

    3. 异步爬取:使用异步库如asyncio和aiohttp可以提高爬虫效率。 4. 数据清洗与处理:对抓取到的数据进行清洗和预处理,以便后续分析和使用。 5. 高级爬虫:涉及分布式爬虫、爬虫框架如Scrapy的使用、动态网页的...

    Python使用requests xpath 并开启多线程爬取西刺代理ip实例

    ### Python使用requests xpath 并开启多线程爬取西刺代理IP实例详解 在现代互联网应用开发中,网络爬虫技术被广泛应用于数据抓取、分析等场景。本篇文章将详细解析一个使用Python语言结合`requests`库和`lxml`库中...

    爬虫 使用python爬取微博热搜.zip

    如果数据量大,可考虑使用`asyncio`和`aiohttp`库实现异步爬虫,提高爬取效率。 7. **存储数据** 抓取的数据可以保存为CSV、JSON或数据库文件。例如,使用`pandas`库将数据写入CSV: ```python import pandas ...

    新浪微博爬虫,用python爬取新浪微博数据.zip

    5. **提高效率**:为避免频繁请求对网站服务器造成压力,可以使用延时策略,如time.sleep()函数,或者使用代理IP池。 6. **数据存储**:爬取到的数据通常需要保存到文件或数据库中,例如CSV、JSON或数据库如MySQL、...

    ~爬虫蜘蛛(C#版)~

    - 使用代理IP池,以避免因频繁请求同一网站而被封锁。 - 设置下载间隔,减少对目标服务器的压力。 总的来说,通过采用多线程技术和合理的同步机制,C#版爬虫可以显著提高抓取和处理网页数据的速度,更有效地服务于...

    爬虫开发简单介绍.pdf

    - **多线程**:使用Python标准库中的`threading`模块提高爬取效率。 - **异步IO**:利用`asyncio`库实现非阻塞式爬取,进一步提升速度。 **4.3 用户代理与代理IP** - **模拟浏览器**:设置请求头部中的User-Agent...

    Node.js-简单的安居客爬虫爬取经纪人信息

    为避免被封禁,我们需要模拟浏览器行为,设置合理的User-Agent,可能还需要使用`cookiejar`库来处理Cookie,甚至使用代理IP池进行轮换。 最后,爬取到的数据应该被妥善存储。可以选择CSV、JSON或其他数据库格式。`...

    spider:使用 PHP 进行爬虫

    1. **代理IP**:为了避免因频繁请求被目标网站封禁,可以使用代理IP池进行请求。 2. **User-Agent与Cookies**:设置User-Agent和Cookies模仿浏览器行为,避免被识别为爬虫。 3. **异步爬取**:使用多线程或多进程...

    信息安全_WEB流量监控防御系统.pptx

    **数据捕获**:利用Linux Raw Socket、Pcap套件和PF_ring套件捕获网络数据,提高数据处理效率。 2. **IP碎片重组**:在内核中维护一个IPq_hash表,用于存储和重组来自同一连接的IP碎片。 3. **TCP流重组**:跟踪TCP...

    python爬虫数据保存到mongoDB的实例方法

    在实际应用过程中,还可以进一步优化爬虫逻辑,如增加异常处理机制、使用代理池防止被封IP等,以提高爬虫的稳定性和效率。此外,MongoDB的灵活性也为数据存储提供了极大的便利,使得开发者可以根据业务需求轻松调整...

    Python课程体系.doc

    - **分布式爬虫**:利用多台机器协同工作提高爬虫效率,Docker和Redis基础。 - **验证码处理**:OCR识别、图像识别技术用于处理登录和爬虫过程中的验证码。 - **实际项目**:京东商城商品爬虫和知乎爬虫项目,...

    axel-1.0b

    - 部分网站可能有反爬虫策略,过多的并发请求可能导致IP被封锁。 - 使用代理服务器时,确保你有权访问并了解其使用规则。 在实际使用中,根据具体网络环境和需求,合理调整axel的配置,可以大大提高下载效率,同时...

Global site tag (gtag.js) - Google Analytics