`
xwcueh
  • 浏览: 25281 次
  • 性别: Icon_minigender_1
  • 来自: 青岛
社区版块
存档分类
最新评论

多线程ADSL切换IP

多线程ADSL切换IP 
阅读更多
ADSL拨号上网使用动态IP地址，每一次拨号得到的IP都不一样，所以我们可以通过程序来自动进行重新拨号以获得新的IP地址，以达到突破反爬虫封锁的目的。
8年多爬虫经验的人告诉你，国内ADSL是王道，多申请些线路，分布在多个不同的电信机房，能跨省跨市更好，我这里写好的断线重拨组件，你可以直接使用。

ADSL拨号上网使用动态IP地址，每一次拨号得到的IP都不一样，所以我们可以通过程序来自动进行重新拨号以获得新的IP地址，以达到突破反爬虫封锁的目的。

那么我们如何进行自动重新拨号呢？

假设有10个线程在跑，大家都正常的跑，跑着跑着达到限制了，WEB服务器提示你“非常抱歉，来自您ip的请求异常频繁”，于是大家争先恐后（几乎是同时）请求拨号，这个时候同步的作用就显示出来了，只会有一个线程能拨号，在他结束之前其他线程都在等，等他拨号成功之后，其他线程会被唤醒并返回

算法描述：
1、假设总共有N个线程抓取网页，发现被封锁之后依次排队请求锁，注意：可以想象成是同时请求。
2、线程1抢先获得锁，并且设置isDialing = true后开始拨号，注意：线程1设置isDialing = true后其他线程才可能获得锁。
3、其他线程（2-N）依次获得锁，发现isDialing = true，于是wait。注意：获得锁并判断一个布尔值，跟后面的拨号操作比起来，时间可以忽略。
4、线程1拨号完毕isDialing = false。注意：这个时候可以断定，其他所有线程必定是处于wait状态等待唤醒。
5、线程1唤醒其他线程，其他线程和线程1返回开始抓取网页。
6、抓了一会儿之后，又会被封锁，于是回到步骤1。

在本场景中，3和4的断定是没问题的，就算是出现“不可能”的情况，即线程1已经拨号完成了，可2-N还没获得锁（汗），也不会重复拨号的情况，因为算法考虑了请求拨号时间和上一次成功拨号时间。

下面以腾达300M无线路由器，型号：N302 v2为例子来说明。

首先，设置路由器：上网设置 -》请根据需要选择连接模式 -》手动连接，由用户手动进行连接，如下图所示。其他的路由器使用方法类似，参照本方法替换相应的登录地址、断开连接及建立连接地址即可。

自动更改IP地址反爬虫封锁，支持多线程

其次，利用Firefox的Firebug功能找到路由器的登录路径及参数、断开连接路径及参数、建立连接路径及参数，如下图所示。

自动更改IP地址反爬虫封锁，支持多线程

自动更改IP地址反爬虫封锁，支持多线程

自动更改IP地址反爬虫封锁，支持多线程

接着，参考如下代码，替换自己相关的路径和参数： 
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import java.util.*;

/**
 *
 * 自动更改IP地址反爬虫封锁，支持多线程
 *
 * ADSL拨号上网使用动态IP地址，每一次拨号得到的IP都不一样
 *
 * 使用腾达300M无线路由器，型号：N302 v2
 * 路由器设置中最好设置一下：上网设置 -》请根据需要选择连接模式 -》手动连接，由用户手动进行连接。
 * 其他的路由器使用方法类似，参照本类替换相应的登录地址、断开连接及建立连接地址即可
 *
 * @author 杨尚川
 */
public class DynamicIp {
    private DynamicIp(){}
    private static final Logger LOGGER = LoggerFactory.getLogger(DynamicIp.class);
    private static final String ACCEPT = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
    private static final String ENCODING = "gzip, deflate";
    private static final String LANGUAGE = "zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3";
    private static final String CONNECTION = "keep-alive";
    private static final String HOST = "192.168.0.1";
    private static final String REFERER = "http://192.168.0.1/login.asp";
    private static final String USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:36.0) Gecko/20100101 Firefox/36.0";
    private static volatile boolean isDialing = false;
    private static volatile long lastDialTime = 0l;

    public static void main(String[] args) {
        toNewIp();
    }

    /**
     * 假设有10个线程在跑，大家都正常的跑，跑着跑着达到限制了，
     * 于是大家争先恐后（几乎是同时）请求拨号，
     * 这个时候同步的作用就显示出来了，只会有一个线程能拨号，
     * 在他结束之前其他线程都在等，等他拨号成功之后，
     * 其他线程会被唤醒并返回
     *
     * 算法描述：
     * 1、假设总共有N个线程抓取网页，发现被封锁之后依次排队请求锁，注意：可以想象成是同时请求。
     * 2、线程1抢先获得锁，并且设置isDialing = true后开始拨号，注意：线程1设置isDialing = true后其他线程才可能获得锁。
     * 3、其他线程（2-N）依次获得锁，发现isDialing = true，于是wait。注意：获得锁并判断一个布尔值，跟后面的拨号操作比起来，时间可以忽略。
     * 4、线程1拨号完毕isDialing = false。注意：这个时候可以断定，其他所有线程必定是处于wait状态等待唤醒。
     * 5、线程1唤醒其他线程，其他线程和线程1返回开始抓取网页。
     * 6、抓了一会儿之后，又会被封锁，于是回到步骤1。
     * 注意：在本场景中，3和4的断定是没问题的，就算是出现“不可能”的情况，
     * 即线程1已经拨号完成了，可2-N还没获得锁（汗），也不会重复拨号的情况，
     * 因为算法考虑了请求拨号时间和上一次成功拨号时间。
     * @return 更改IP是否成功
     */
    public static boolean toNewIp() {
        long requestDialTime = System.currentTimeMillis();
        LOGGER.info(Thread.currentThread()+"请求重新拨号");
        synchronized (DynamicIp.class) {
            if (isDialing) {
                LOGGER.info(Thread.currentThread()+"已经有其他线程在进行拨号了，我睡觉等待吧，其他线程拨号完毕会叫醒我的");
                try {
                    DynamicIp.class.wait();
                } catch (InterruptedException e) {
                    LOGGER.error(e.getMessage(), e);
                }
                LOGGER.info(Thread.currentThread()+"其他线程已经拨完号了，我可以返回了");
                return true;
            }
            isDialing = true;
        }
        //保险起见，这里再判断一下
        //如果请求拨号的时间小于上次成功拨号的时间，则说明这个请求来的【太迟了】，则返回。
        if(requestDialTime <= lastDialTime){
            LOGGER.info("请求来的太迟了");
            isDialing = true;
            return true;
        }
        LOGGER.info(Thread.currentThread()+"开始重新拨号");
        long start = System.currentTimeMillis();
        Map<String, String> cookies = login("username***", "password***", "phonenumber***");
        if("true".equals(cookies.get("success"))) {
            LOGGER.info(Thread.currentThread()+"登陆成功");
            cookies.remove("success");
            while (!disConnect(cookies)) {
                LOGGER.info(Thread.currentThread()+"断开连接失败，重试！");
            }
            LOGGER.info(Thread.currentThread()+"断开连接成功");
            while (!connect(cookies)) {
                LOGGER.info(Thread.currentThread()+"建立连接失败，重试！");
            }
            LOGGER.info(Thread.currentThread()+"建立连接成功");
            LOGGER.info(Thread.currentThread()+"自动更改IP地址成功！");
            LOGGER.info(Thread.currentThread()+"拨号耗时："+(System.currentTimeMillis()-start)+"毫秒");
            //通知其他线程拨号成功
            synchronized (DynamicIp.class) {
                DynamicIp.class.notifyAll();
            }
            isDialing = false;
            lastDialTime = System.currentTimeMillis();
            return true;
        }
        isDialing = false;
        return false;
    }

    public static boolean connect(Map<String, String> cookies){
        return execute(cookies, "3");
    }
    public static boolean disConnect(Map<String, String> cookies){
        return execute(cookies, "4");
    }
    public static boolean execute(Map<String, String> cookies, String action){
        String url = "http://192.168.0.1/goform/SysStatusHandle";
        Map<String, String> map = new HashMap<>();
        map.put("action", action);
        map.put("CMD", "WAN_CON");
        map.put("GO", "system_status.asp");
        Connection conn = Jsoup.connect(url)
                .header("Accept", ACCEPT)
                .header("Accept-Encoding", ENCODING)
                .header("Accept-Language", LANGUAGE)
                .header("Connection", CONNECTION)
                .header("Host", HOST)
                .header("Referer", REFERER)
                .header("User-Agent", USER_AGENT)
                .ignoreContentType(true)
                .timeout(30000);
        for(String cookie : cookies.keySet()){
            conn.cookie(cookie, cookies.get(cookie));
        }

        String title = null;
        try {
            Connection.Response response = conn.method(Connection.Method.POST).data(map).execute();
            String html = response.body();
            Document doc = Jsoup.parse(html);
            title = doc.title();
            LOGGER.info("操作连接页面标题："+title);
        }catch (Exception e){
            LOGGER.error(e.getMessage());
        }
        if("LAN | LAN Settings".equals(title)){
            if(("3".equals(action) && isConnected())
                    || ("4".equals(action) && !isConnected())){
                return true;
            }
        }
        return false;
    }
    public static boolean isConnected(){
        try {
            Document doc = Jsoup.connect("http://www.baidu.com/s?wd=杨尚川&t=" + System.currentTimeMillis())
                    .header("Accept", ACCEPT)
                    .header("Accept-Encoding", ENCODING)
                    .header("Accept-Language", LANGUAGE)
                    .header("Connection", CONNECTION)
                    .header("Referer", "https://www.baidu.com")
                    .header("Host", "www.baidu.com")
                    .header("User-Agent", USER_AGENT)
                    .ignoreContentType(true)
                    .timeout(30000)
                    .get();
            LOGGER.info("搜索结果页面标题："+doc.title());
            if(doc.title() != null && doc.title().contains("杨尚川")){
                return true;
            }
        }catch (Exception e){
            if("Network is unreachable".equals(e.getMessage())){
                return false;
            }else{
                LOGGER.error("状态检查失败:"+e.getMessage());
            }
        }
        return false;
    }
    public static Map<String, String> login(String userName, String password, String verify){
        try {
            Map<String, String> map = new HashMap<>();
            map.put("Username", userName);
            map.put("Password", password);
            map.put("checkEn", "0");
            Connection conn = Jsoup.connect("http://192.168.0.1/LoginCheck")
                    .header("Accept", ACCEPT)
                    .header("Accept-Encoding", ENCODING)
                    .header("Accept-Language", LANGUAGE)
                    .header("Connection", CONNECTION)
                    .header("Referer", REFERER)
                    .header("Host", HOST)
                    .header("User-Agent", USER_AGENT)
                    .ignoreContentType(true)
                    .timeout(30000);

            Connection.Response response = conn.method(Connection.Method.POST).data(map).execute();
            String html = response.body();
            Document doc = Jsoup.parse(html);
            LOGGER.info("登陆页面标题："+doc.title());
            Map<String, String> cookies = response.cookies();
            if(html.contains(verify)){
                cookies.put("success", Boolean.TRUE.toString());
            }
            LOGGER.info("*******************************************************cookies start:");
            cookies.keySet().stream().forEach((cookie) -> {
                LOGGER.info(cookie + ":" + cookies.get(cookie));
            });
            LOGGER.info("*******************************************************cookies end:");
            return cookies;
        }catch (Exception e){
            LOGGER.error(e.getMessage(), e);
        }
        return Collections.emptyMap();
    }
}

最后，就可以使用了，例子如下： 
public static void classify(Set<Word> words){
    LOGGER.debug("待处理词数目："+words.size());
    AtomicInteger i = new AtomicInteger();
    Map<String, List<String>> data = new HashMap<>();
    words.forEach(word -> {
        if(i.get()%1000 == 999){
            save(data);
        }
        showStatus(data, i.incrementAndGet(), words.size(), word.getWord());
        String html = getContent(word.getWord());
        LOGGER.debug("获取到的HTML：" +html);
        while(html.contains("非常抱歉，来自您ip的请求异常频繁")){
            //使用新的IP地址
            DynamicIp.toNewIp();
            html = getContent(word.getWord());
        }
        if(StringUtils.isNotBlank(html)) {
            parse(word.getWord(), html, data);
        }else{
            NOT_FOUND_WORDS.add(word.getWord());
        }

    });
    //写入磁盘
    save(data);
    LOGGER.debug("处理完毕，总词数目："+words.size());
}

本文讲述的方法和代码来源于本人的开源目superword，superword是一个Java实现的英文单词分析软件，主要研究英语单词音近形似转化规律、前缀后缀规律、词之间的相似性规律等等。

代码链接:

1、https://github.com/ysc/superword/blob/master/src/main/java/org/apdplat/superword/tools/DynamicIp.java

2、https://github.com/ysc/superword/blob/master/src/main/java/org/apdplat/superword/tools/WordClassifier.java


来自：http://my.oschina.net/apdplat/blog/391088
分享到：
Excel2007写入表格
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    ADSL自动拨号实例小程序

    - **多线程/异步处理**：为了保证程序的响应性和避免阻塞，通常会使用多线程或异步编程模型来处理网络事件。 此外，程序的安全性也非常重要，确保账号信息加密存储，防止未授权访问。同时，应遵守当地法律法规，...

    Delphi实现的宽带拨号方法，换IP

    6. **多线程处理**：考虑到拨号和IP切换可能需要一些时间，源码可能采用了多线程技术，使得这些操作在后台执行，不阻塞用户界面。 通过研究这份源码，开发者不仅可以掌握Delphi编程的基础，还能深入了解网络连接...

    ubuntu skills ubuntu命令技巧（pdf格式）

    使用多线程下载文件，可以使用`aria2c`或`axel`工具。 #### 七、服务管理 ##### 7.1 添加一个服务 添加服务到系统服务列表中，可以使用`systemctl enable &lt;service-name&gt;.service`命令。 ##### 7.2 删除一个服务 ...

    谷歌卫星地图下载器11.15.78

    支持多线程高速下载软件支持多线程，默认为每个任务开启五个下载线程以提高下载速度，该线程数暂不提供给用户设置。 　14.支持计划的任务下载软件支持计划任务下载，当当前处于下载状态的任务大于五个时，新建的...

    Ubuntu命令技巧.pdf

    - 使用 `axel -n 4 &lt;url&gt;` 命令进行多线程下载。 #### 七、服务管理 **7.1 添加一个服务** - 使用 `systemctl enable &lt;service&gt;.service` 命令添加服务到开机启动项。 **7.2 删除一个服务** - 使用 `systemctl ...

    做过免杀处理的2010版上兴远控

    你可以跟据你的网速设置上线监听线程，在设置－系统设置中设置监听连接线程数，设越大就越快。 ------------------------------------------------------------------------------------------ 4、为什么显示对方...

    桌面运维工程师能力试卷试卷题库(面试版本)

    HT (Hyper-Threading): 超线程技术可以提升多任务处理能力。 - **正确答案**: C **3. ADSL宽带拨号提示691错误的原因** - **选项解析**: - A. 电话线路故障: 可能会导致拨号失败，但不会出现特定错误代码691。 ...

    上兴远程控制 这是一款优质的远程控制软件

    你可以跟据你的网速设置上线监听线程，在设置－系统设置中设置监听连接线程数，设越大就越快。 ------------------------------------------------------------------------------------------ 4、为什么显示对方有...

    redhat linux教材20课程学习文档

    2.5 线程与进程的基本概念 2.5.1 基本概念 2.5.2 僵尸进程 2.5.3 进程和多任务的实现 2.6 Linux设备与网络 2.7 Shell控制台 第二部分 基础知识 第三章 Shell命令使用 3.1 控制台相关命令 clear 命令 echo 命令 ...

Magicbox
Global site tag (gtag.js) - Google Analytics