`
learnworld
  • 浏览: 169575 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

多线程批量检测未注册域名

    博客分类:
  • java
阅读更多

最近想注册一个域名,使用万网尝试了很多域名,基本都已被注册。之前听说双拼域名很火,所以想写个脚本,看看哪些双拼域名还未被注册。

 

一、查询接口

网上搜索了一下,万网的域名查询接口比较简单易用,查询URL格式为: http://panda.www.net.cn/cgi-bin/check.cgi?area_domain=aaa.com

返回值及含义:

210 : Domain name is available
211 : Domain name is not available
212 : Domain name is invalid
214 : Unknown error

 

二、编程思路

1. DomainGenerator读取文件pinyin.txt,获取所有可用的拼音字母。遍历拼音字母, 组装成双拼域名。这个拼音列表是从网上搜索来的,可能会有纰漏。

2. 创建域名检测线程DomainRunner,每个线程采用httpclient调用万网的域名查询接口。

3. 每个线程调用DomainValidator检查返回结果。

4. 线程ResultRunner将可用域名写入domain.txt文件。

 

三、核心代码

DomainGenerator.java, 启动类,读取拼音列表,组装需要检测的域名,创建检测线程和结果处理线程。

 

package com.learnworld;

import java.util.List;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileReader;
import java.io.FileWriter;
import java.util.ArrayList;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.atomic.AtomicInteger;

import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;

public class DomainGenerator {

	public static void main(String[] args){
	    // pinyin list, read from pinyin.txt
		List<String> items = new ArrayList<String>();
		// domain list, which need to check
	    ArrayBlockingQueue<String> taskQueue = new ArrayBlockingQueue<String>(163620);
	    // available domain list, which need to save into file
	    LinkedBlockingQueue<String> resultQueue = new LinkedBlockingQueue<String>();
	    // counter, need to count unavailable domain statistical information
	    AtomicInteger count = new AtomicInteger(0);
	    
	    // Httpclient initialization
	    PoolingHttpClientConnectionManager cm = new PoolingHttpClientConnectionManager();
        cm.setMaxTotal(20);
        cm.setDefaultMaxPerRoute(20);
        CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(cm).build();
	    
		try {
		    // pinyin.txt, used to save all available pinyin
            BufferedReader reader = new BufferedReader(new FileReader("pinyin.txt"));
            // domain.txt, used to save all available domain result
            BufferedWriter writer = new BufferedWriter(new FileWriter("domain.txt"));
            
            String item = null;
            while((item = reader.readLine()) != null){
              items.add(item);
            }

            // generate domain list
            for (String item1 : items){
                for (String item2 : items) {
                    taskQueue.offer(item1 + item2 + ".com");
                }
            }
			
            int domainThreadNum = 3;
            CountDownLatch downLatch = new CountDownLatch(domainThreadNum);
			ExecutorService executor = Executors.newFixedThreadPool(domainThreadNum + 1); 
			
			// start domain check thread
			for(int i = 0; i < domainThreadNum; i++){
				executor.execute(new DomainRunner(taskQueue, resultQueue, downLatch, count, httpClient));
			}
			
			// start result handle thread
			executor.execute(new ResultRunner(resultQueue, writer));
			
			downLatch.await();
			System.out.println("All tasks are done!");
			
			// TODO, suggest use volatile flag to control ResultRunner
			executor.shutdownNow();
			
			reader.close();
			writer.close();
			httpClient.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
		
	}
}

 DomainRunner:域名检测线程,从域名domainQueue中读取域名,调用接口进行检测。 如果域名可用,将结果放入resultQueue中等待写入文件。

package com.learnworld;

import java.io.IOException;
import java.util.Calendar;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.CountDownLatch;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.atomic.AtomicInteger;

import org.apache.http.HttpEntity;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.protocol.BasicHttpContext;
import org.apache.http.protocol.HttpContext;
import org.apache.http.util.EntityUtils;

public class DomainRunner implements Runnable {

	private ArrayBlockingQueue<String> domainQueue;
	private LinkedBlockingQueue<String> resultQueue;
	private CountDownLatch downLatch;
	private AtomicInteger count;
	private CloseableHttpClient httpClient;
	
	public DomainRunner(ArrayBlockingQueue<String> domainQueue,
			LinkedBlockingQueue<String> resultQueue, CountDownLatch downLatch,
			AtomicInteger count, CloseableHttpClient httpClient) {
		super();
		this.domainQueue = domainQueue;
		this.resultQueue = resultQueue;
		this.downLatch = downLatch;
		this.count = count;
		this.httpClient = httpClient;
	}

	@Override
	public void run() {
		String domain = null;
		while ((domain = domainQueue.poll()) != null) {
				boolean isDomainAvailable = false;
		        
		        RequestConfig requestConfig = RequestConfig.custom()
		                .setSocketTimeout(5000)
		                .setConnectTimeout(5000)
		                .setConnectionRequestTimeout(5000)
		                .build();
		        
				HttpGet httpGet = new HttpGet("http://panda.www.net.cn/cgi-bin/check.cgi?area_domain=" + domain);
				httpGet.setConfig(requestConfig);
				httpGet.setHeader("Connection", "close");
				HttpContext context = new BasicHttpContext();
				CloseableHttpResponse response = null;
				try {
					response = httpClient.execute(httpGet, context);
					HttpEntity entity = response.getEntity();
		            int status = response.getStatusLine().getStatusCode();
		            if (status >= 200 && status < 300) {
		            	String resultXml = EntityUtils.toString(entity);
		            	isDomainAvailable = DomainValidator.isAvailableDomainForResponse(resultXml);
		            	EntityUtils.consumeQuietly(entity); 
		            } else {
		            	System.out.println(domain + " check error.");
		            }
				} catch (Exception e) {
				    e.printStackTrace();
				} finally {
					try {
						httpGet.releaseConnection();
						if (response != null) {
							response.close();
						}
						
					} catch (IOException e) {
						e.printStackTrace();
					}		
				}
			
			// result handle
			if(isDomainAvailable) {
				resultQueue.offer(domain);
			} else {
				int totalInvalid = count.addAndGet(1);
				if (totalInvalid % 100 == 0) {
					System.out.println(totalInvalid + " " + Calendar.getInstance().getTime());
				}
			}
		}
		
		downLatch.countDown();
		
	}
	
}

 

DomainValidator: 对万网返回结果进行检查,判断域名是否可用。

package com.learnworld;

public class DomainValidator {

	public static boolean isAvailableDomainForResponse(String responseXml){
		if(responseXml == null || responseXml.isEmpty()){
			return false;
		}
		
		if(responseXml.contains("<original>210")){
			return true;
		} else if(responseXml.contains("<original>211") 
		          || responseXml.contains("<original>212")
		          || responseXml.contains("<original>214")){
			return false;
		} else {
		    System.out.println("api callback error!");
		    try {
                Thread.sleep(60000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
		    
		    return false;
		}
	}
	
}

 

ResultRunner: 结果处理线程,将可用域名写入文件domain.txt中。

package com.learnworld;

import java.io.BufferedWriter;
import java.util.concurrent.LinkedBlockingQueue;

public class ResultRunner implements Runnable{

	private LinkedBlockingQueue<String> resultQueue;
	BufferedWriter writer;
	
	public ResultRunner(LinkedBlockingQueue<String> resultQueue,
			BufferedWriter writer) {
		super();
		this.resultQueue = resultQueue;
		this.writer = writer;
	}

	@Override
	public void run() {
		String result = null;
		try {
			while ((result = resultQueue.take()) != null) {
				writer.write(result);
				writer.newLine();
				writer.flush();			
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		
	}

}

 

 

四、总结

1. 第一版程序采用单线程处理,性能很差,每100个域名大概需要90s左右,主要原因是网络IO延迟比较大。将代码修改为多线程处理,创建两个检测线程,每100个域名大概需要30s左右。

 

2. 提高检测线程数会加快处理性能,但建议不超过三个,原因有两个:

1) 万网采用了阿里云的过滤技术,如果一段时间内某个IP的请求数很高,就会将该IP加入屏蔽列表。 我开始采用了100个线程,不到1分钟就被屏蔽。

2)当请求数很高时,网络连接不能得到及时释放,很多TCP连接处于TIME_WAIT状态,进而出现BindException错误。

 

3. 我遍历了所有的双拼域名,目前约有1万个域名尚未被注册,结果见附件。我又遍历了四位及以下的纯英文字母域名,已经全部被注册。

 

需要注册双拼域名的童鞋要抓紧了~~

 

 

分享到:
评论
2 楼 Jindev 2016-11-09  
 
1 楼 aliensb 2016-04-06  
api callback error!是怎么回事,谢谢

相关推荐

    未注册域名批量检测软件

    这个名为“未注册域名批量检测软件”的工具正是为了解决这个问题而设计的。它可以帮助用户快速查找并筛选出互联网上尚未被注册的可用域名。 首先,我们需要理解什么是域名。域名是互联网上的一个唯一标识,类似于...

    python-DNS多线程批量域名反诈拨测工具v2.0

    Python DNS多线程批量域名反诈拨测工具v2.0是一个高效且实用的软件,专为网络安全领域设计,用于对大规模的DNS域名进行快速、准确的解析与拨测。这款工具利用Python语言的强大功能,结合多线程技术,极大地提高了...

    超好用的域名批量查询工具

    除了多线程,好的域名批量查询工具还应具备以下功能: 1. **自定义查询项**:用户可以根据需求选择查询WHOIS信息、DNS解析、HTTPS证书状态等多种数据。 2. **结果导出**:查询结果应支持导出为CSV或Excel格式,...

    域名扫描工具,批量扫描域名注册情况,可导出

    本软件能快速扫描域名注册情况,批量导出导入,速度快,站长朋友不可多得的好工具,如今查找已备案域名比较困难,此工具配合已备案域名查询网】效果极佳。 版本介绍: ===========================================...

    微信域名拦截检测源码

    6. **代码优化**:考虑到效率和准确性,检测源码可能需要进行多线程处理,批量检测多个域名,并对结果进行缓存,避免重复检测。 7. **实时更新**:由于微信的拦截策略可能会发生变化,因此检测代码可能需要定期更新...

    墨安采集器(墨然工作室批量域名采集+域名批量转换IP工具)

    1. 高效性:墨安采集器采用了多线程和异步处理技术,能够在短时间内处理大量数据,速度远超传统手动操作。 2. 精准性:通过智能匹配算法,确保采集到的域名与用户设定的条件高度匹配,提高数据质量。 3. 易用性:...

    多线程ping

    这在批量检测网络状况、网络故障排查或者性能测试中非常有用。 **实现多线程ping** 在Python中,我们可以使用`threading`模块来实现多线程ping。首先,我们需要定义一个函数,该函数负责执行单个IP的ping操作,...

    多线程Shell资源扫描器

    **多线程Shell资源扫描器**是一种用于网络安全检测的工具,尤其关注于寻找服务器或网络设备中的潜在**Shell后门**。Shell后门通常是指黑客植入的一种恶意代码,允许他们在未经授权的情况下远程控制受害系统,执行...

    批量扫描弱口令检查工具

    弱口令批量扫描工具是一款支持批量多线程检查,可快速发现弱密码、弱口令账号,密码支持和用户名结合进行检查,大大提高成功率,支持自定义服务端口和字典。可进行单IP或域名,也可进行段扫描。

    Domain3.5旁注

    虚拟主机域名查询、二级域名查询、整站目录扫描(多线程)、网站批量扫描(多线程) 自动检测网站排名、自动读取\修改Cookies、自动检测注入点! 2:综合上传功能介绍 动网论坛上传漏洞功能、动力系统上传漏洞功能、...

    python程序动态获取可用域名

    4. **批量查询和异步处理**:当需要处理大量域名时,可以使用Python的多线程或异步IO(如asyncio库)来提高效率。批量查询可以避免单个请求之间的等待时间,大大加快整体速度。 5. **设置定时任务**:为了实时获取...

    scan-j:简单易用的基于go的多线程批量ip源代码预定,目录扫描工具

    标题中的"scan-j"是一个基于Go语言编写的多线程批量IP扫描工具,其特点是简单易用,能够进行目录扫描,并且具备根据域名生成字典爆破的功能。这款工具对于网络管理员、安全研究人员以及对网络安全感兴趣的开发者来说...

    杀破狼站长工具集之百度外链批量查询

    4. **效率优化**:由于批量查询涉及大量的网络请求,该工具可能采用多线程或异步处理技术,以提高查询速度,降低单个请求对服务器的影响,同时也缩短了用户等待时间。 5. **可视化界面**:良好的用户体验也是...

    草根站长工具箱 v10.1.rar

    七:N种批量查询工具(百度收录/反链批量查询,PR值批量查询,出站链接批量查询,雅虎反链批量查询,ALEXA批量查询,未注册域名批量查询.支持结果过滤/导出功能) 八:网页综合检测工具(查网页关键字密度,搜索引擎模拟抓取等...

    K8Cscan端口扫描插件C#源码

    Cscan分为检测存活主机、非检测存活主机两个版本 程序采用多线程批量扫描大型内网IP段C段存活主机(支持上万个C段) 插件含C段旁注扫描、子域名扫描、Ftp密码爆破、Mysql密码爆、系统密码爆破、存活主机扫描、Web信息...

    多功能邮箱账号注册器

    6. **多线程/并发处理**:为了提高效率,软件可能支持多线程或异步处理,同时处理多个注册任务。 然而,值得注意的是,此类工具的使用必须遵循合法性和道德规范。批量注册邮箱账号可能会涉及滥用服务、垃圾邮件发送...

    K8Cscan插件之Web主机扫描源码

    Cscan分为检测存活主机、非检测存活主机两个版本 程序采用多线程批量扫描大型内网IP段C段存活主机(支持上万个C段) 插件含C段旁注扫描、子域名扫描、Ftp密码爆破、Mysql密码爆、系统密码爆破、存活主机扫描、Web信息...

    online-port-scanner:一个基于Web的在线多线程端口扫描器,前端使用mdui框架开发,后台使用Springboot+SQLite开发。支持单IP单端口快速扫描,指定IP地址段和端口范围批量扫描,使用多线程提高扫描性能。用于检测指定的端口是否开放,并给出开放端口的相关信息

    支持单IP单端口快速扫描,指定IP地址段和端口范围批量扫描,使用多线程提高扫描性能。用于检测指定的端口是否开放,并给出开放端口的相关信息。 Quick Start Features 快速扫描: 在输入域名/IP地址和端口,点击右下...

    批量图片下载C#

    本项目涉及的是一个批量图片下载的应用,利用C#的特性实现对剪贴板内容监控,自动分析URL,然后进行多线程下载。下面我们将深入探讨这个项目中的关键知识点。 1. **剪贴板操作**:C#提供了System.Windows.Forms命名...

Global site tag (gtag.js) - Google Analytics