利用HttpURLConnection进行手机号段归属地数据采集

　　公司里需要手机号段归属地资料，手头上没有现成的数据，就自己做了个采集器，连到ip138.com网站上进行采集。这是最终运行界面：

 

 

 

 

　　首先在网页上输入至少7位的手机号码段进行查询，通过查看查询页面的HTML，发现将会提交两个参数：mobile=手机号码&action=mobile，然后对结果页面的HTML进行分析，找到关键的两行HTML：

<TD width="130" align="center" noswap>卡号归属地</TD>
<TD width=* align="center" class=tdc2>广东&nbsp;广州</TD>

接下来的事情就是利用HttpURLConnection进行查询请求，并将返回的结果用正则表达式进行提取。程序的功能并不复杂，设计上也就简单地做了两个类，一个负责数据的分析和采集；另一个为Main主程序，负责用AWT构建界面和创建一个后台线程来调用采集类进行手机号段范围的循环提交请求，并将获取的数据写入文本文件。

package com.funper.collector;

import java.io.IOException;
import java.io.InputStreamReader;
import java.io.BufferedReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.regex.Pattern;
import java.util.regex.Matcher;

/**
 * 分析和采集数据
 *
 */
public class CollectAction {
	
	//请求URL
	private static final String REQUEST_URL="http://www.ip138.com:8080/search.asp";
	//请求方法
	private static final String REQUEST_MOTHOD="POST";
	//提取手机号码归属地的正则表达式
	private static final String REGEX_EXP="^<TD width=\\* align=\"center\" class=tdc2>(.*)</TD>$";
	//编译后的正则表达式Pattern对象
	private static final Pattern p=Pattern.compile(REGEX_EXP);
	//连接URL的HttpURLConnection对象
	private HttpURLConnection httpConn=null;
	
	/**
	 * 获取手机号码归属地
	 * @param requestParameter 提交参数
	 * @return String
	 */
	public String getMobileArea(String requestParameter)
	{
		String mobileArea="";
		BufferedReader br=null;
		try
		{
			httpConn=(HttpURLConnection)new URL(REQUEST_URL).openConnection();
			httpConn.setRequestMethod(REQUEST_MOTHOD);
			httpConn.setDoOutput(true);
			httpConn.getOutputStream().write(requestParameter.getBytes());
			httpConn.getOutputStream().flush();
			httpConn.getOutputStream().close();
			
			br=new BufferedReader(new InputStreamReader(httpConn.getInputStream()));
			String lineStr=null;
			while((lineStr=br.readLine())!=null)
			{
				if("<TD width=\"130\" align=\"center\" noswap>卡号归属地</TD>".equals(lineStr.trim()))
				{
					lineStr=br.readLine().trim();
					Matcher m=p.matcher(lineStr);
					if(m.matches())
					{
						mobileArea=m.group(1);
						break;
					}
				}
			}
		}
		catch(IOException e) {
			e.printStackTrace();
		}
		finally
		{
			if(br!=null)
				try {
					br.close();
				} catch (IOException e) {
					e.printStackTrace();
				}
		}
		return mobileArea;
	}
}

 

　　主程序在构建界面时代码冗长，只贴执行操作的后台线程内部类代码：

	class ProcessorThread extends Thread
	{
		private boolean runMark=true;
		private BufferedWriter bw=null;
		@Override
		public void run() {
			try {
				bw=new BufferedWriter(new OutputStreamWriter(new FileOutputStream(savePlaceLabel.getText().substring(5))));
			} catch (FileNotFoundException e1) {
				e1.printStackTrace();
			}
			int sNumber=Integer.parseInt(startNumberField.getText());
			int eNumber=Integer.parseInt(endNumberField.getText());
			int readCount=0;
			int writeCount=0;
			CollectAction action=new CollectAction();
			for(;sNumber<=eNumber;sNumber++)
			{
				if(runMark)
				{
					try {
						sleep(300);//每请求一次就短暂睡眠一下,主要是担心请求过于频繁对网站服务器造成影响
					} catch (InterruptedException e) {
						e.printStackTrace();
						showErrorMessage(e.getMessage());
					}
					String area=null;
					try
					{
						area=action.getMobileArea("mobile="+sNumber+"&action=mobile");
						if(area!=null)
						{
							area=area.replaceAll("&nbsp;", " ");
						}
						msgLabel.setText("正在分析号段："+sNumber+"==" + area);
						//System.out.println(area);
						dataCountLabel.setText(String.valueOf(++readCount));
						bw.write(""+sNumber+","+area);
						bw.write(new char[]{'\r', '\n'});
						bw.flush();
						writeCountLabel.setText(String.valueOf(++writeCount));
					}
					catch(IOException e)
					{
						e.printStackTrace();
						showErrorMessage(e.getMessage());
					}
				}
				else
				{
					--sNumber;
					synchronized(this) {
						try {
							wait();
						} catch (InterruptedException e) {
							e.printStackTrace();
							showErrorMessage(e.getMessage());
						}
					}
				}
			}
			try {
				bw.flush();
				bw.close();
			} catch (IOException e) {
				e.printStackTrace();
				showErrorMessage(e.getMessage());
			}
			JOptionPane.showMessageDialog(frame, "采集完毕！", "提示", JOptionPane.INFORMATION_MESSAGE);
		}
		
		public synchronized void stopThread()
		{
			runMark=false;
		}
		
		public synchronized void startThread()
		{
			runMark=true;
			notify();
		}
		
		public boolean getRunMark()
		{
			return runMark;
		}

		//------------------
		
		public void showErrorMessage(String msg)
		{
			JOptionPane.showMessageDialog(frame, msg, "错误", JOptionPane.ERROR_MESSAGE);
		}
	}

 

　　OK，现在我的程序正采集着数据，很快就可以交差了：）

评论

8 楼 wy8232255 2012-09-18  

您好，楼主您好，我现在正需要这样的实例程序来完成公司的项目需求，能否把您的代码发到我的邮箱里，我的邮箱是：[e-mail] ，吾将感激不尽啊.....

7 楼 gzhzh 2009-07-16  

playfish 写道

楼主做得应该还算不错的哈。。不过我觉得用上httpclient来代替原生的httpurlconnection比较好，封装得比较完全，使用也比较简单。

至于解析，如果懂得正则表达式，那就完美了.不然可以考虑下一些html解析器，Jericho，html parser之类的。

谢谢指教！呵呵，其实做这个东东只是想一次性地获取数据并交差而已，界面甚至是多余的，HTMLParser用在这里也是杀鸡用牛刀了。功能完全是按公司的需求来做的，并没有做成常用工具的需求，如果有那个需求的话，我考虑的就会更全面了。

6 楼 playfish 2009-07-15  

楼主做得应该还算不错的哈。。不过我觉得用上httpclient来代替原生的httpurlconnection比较好，封装得比较完全，使用也比较简单。

至于解析，如果懂得正则表达式，那就完美了.不然可以考虑下一些html解析器，Jericho，html parser之类的。

引用

写的代码死板板的，如果人家把页面改成DIV的，不用table了，你岂不要是修改源码？

呵呵，这种情况第一，不多，第二，碰上了的话，无论如何是不可避免要改代码的。

PS：这种类型的东西我做得好多了。。熟练着。。

5 楼 gzhzh 2009-07-15  

yajie 写道

用动态代理
另外你写的代码死板板的，如果人家把页面改成DIV的，不用table了，你岂不要是修改源码？

谢谢指教！你说说如何能不修改源码就可以适应人家页面的修改？在网页还没使用XML和遵照制定好的标准之前，没人做得到吧？

4 楼 yajie 2009-07-15  

用动态代理
另外你写的代码死板板的，如果人家把页面改成DIV的，不用table了，你岂不要是修改源码？

3 楼 helynfeng 2009-07-14  

额,骗局.

2 楼 gzhzh 2009-07-14  

alexlee002 写道

嘿嘿， 仔细检查一下你的数据， 看看有没有问题。


我几年前写过一个脚本在这网站上抓数据， 发现访问太频繁的时候， 它会给你假数据。

我后来用N多个账号不定时轮番登陆去抓， 而且过一段时间还断网重连(adsl, 换ip)，

搞了将近一个星期才抓全。

后来直接去移动网站抓去了， 嘿嘿， 不用担心假数据。

还真担心会这样，不过刚才我随机机取了不少号段去别的网站上手工查询，结果都没有出入，是正确的。如果真如你所说的，就得搞点欺骗才行了

1 楼 alexlee002 2009-07-14  

嘿嘿， 仔细检查一下你的数据， 看看有没有问题。


我几年前写过一个脚本在这网站上抓数据， 发现访问太频繁的时候， 它会给你假数据。

我后来用N多个账号不定时轮番登陆去抓， 而且过一段时间还断网重连(adsl, 换ip)，

搞了将近一个星期才抓全。

后来直接去移动网站抓去了， 嘿嘿， 不用担心假数据。