`
binge520cn
  • 浏览: 23203 次
  • 性别: Icon_minigender_1
  • 来自: 湖南
社区版块
存档分类
最新评论

国际dhl与gatl运单号通过httpClient抓取数据

    博客分类:
  • java
阅读更多
package com.choice.ehr.utils;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import net.sf.json.JSONArray;
import net.sf.json.JSONObject;

import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.codehaus.jackson.map.ObjectMapper;

import com.alibaba.fastjson.JSON;
import com.choice.ehr.jobs.exchange.Checkpoints;
import com.choice.ehr.jobs.exchange.Courier;
import com.choice.ehr.jobs.exchange.Orders;
import com.choice.weixin.bean.ShptInfoWeiXinBean;
import com.sun.org.apache.xalan.internal.xsltc.compiler.sym;
import com.sunrise.vivo.utils.DateUtil;


public class DHLExchange {
	private static final Log log = LogFactory.getLog(DHLExchange.class);
	//dhl 请求返回json
	public static String QueryDHL(String dhlID) throws Exception {  
		String gjson="";
		//String strURL="http://api.open.baidu.com/pae/channel/data/asyncqury?cb=jQuery11020536401330732589_1417141855576&appid=4001&com=dhl&nu=96974175220&_=1417141855582";
			//String strURL="http://www.cn.dhl.com/shipmentTracking?AWB=9697417520&countryCode=cn&languageCode=zh&_=1416213138381";
			String strURL="http://www.cn.dhl.com/shipmentTracking?AWB="+dhlID+"&countryCode=cn&languageCode=en&_=1417403812558";
			
		//	http://www.cn.dhl.com/shipmentTracking?AWB=9697417520%2C9697426421%2C9697426340%2C9697426314%2C9697426270%2C9697426233%2C9697426222%2C9697426115%2C9697426071%2C9697426244&countryCode=cn&languageCode=zh&_=1417582317698
			//String strURL="http://www.cn.dhl.com/shipmentTracking?AWB=9697417523&countryCode=cn&languageCode=zh&_=1416213138381";
		    URL url = new URL(strURL);  
		    HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();  
		    InputStreamReader input = new InputStreamReader(httpConn  
		            .getInputStream(), "utf-8");  
		    BufferedReader bufReader = new BufferedReader(input);  
		    String line = "";  
		    StringBuilder contentBuf = new StringBuilder();  
		    while ((line = bufReader.readLine()) != null) {  
		        contentBuf.append(line);  
		    }  
		    System.out.println("captureJavascript()的结果:\n" + contentBuf.toString());  
		    gjson=contentBuf.toString();
		    return gjson;
		    
		}  
	
	//gatl 运单号 国外网站 
	public static List<Checkpoints> QueryGatlen(String fRefNo) {
		List returnList = new ArrayList();
		List<Checkpoints> poinsList= new ArrayList<Checkpoints>();
		
		// 构造HttpClient的实例
		chttpClient = new HttpClient();
		// 处理代理服务器
		//httpClient.getHostConfiguration().setProxy("10.200.1.19", 886);
		// 创建GET方法的实例
		//GetMethod getMethod = new GetMethod(
		//		"http://www.boc.cn/sourcedb/whpj/index.html");
		
		GetMethod getMethod= new GetMethod("http://www.gati.com/gatitrck.jsp?dktNo="+fRefNo+"");
		getMethod.getResponseCharSet();
		// 使用系统提供的默认的恢复策略
		getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
				new DefaultHttpMethodRetryHandler());
		try {
			// 执行getMethod
			int statusCode = httpClient.executeMethod(getMethod);
			if (statusCode != HttpStatus.SC_OK) {
				log.error("微信gati请求网站出错:" + getMethod.getStatusLine());
				System.err.println("Method failed: "
						+ getMethod.getStatusLine());
			}
			// 读取内容
			byte[] responseBody = getMethod.getResponseBody();
			// 处理内容
			String returnStr = new String(responseBody, "UTF-8");
			String regex;
			List<String> list = new ArrayList<String>();
			//<table border=\"0\" cellpadding=\"1\" cellspacing=\"1\"  width=\"98%\"  align=\"center\" class=\"form_table\">
			//regex="<table class=\"result-checkpoints show result-has-pieces\" summary=\"DHL Express shipments checkpoints\">.*?</table>";
		//	regex = "<table cellpadding=\"0\" align=\"left\" cellspacing=\"0\" width=\"100%\">.*?</table>";
			//regex="<table border=\"0\" cellpadding=\"1\" cellspacing=\"1\" width=\"98%\" align=\"center\" class=\"form_table\">.*?</table>";
			regex="<tr  bgcolor='#05a6c3' class=\"textbold\">.*?</table>";
			final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
			final Matcher ma = pa.matcher(returnStr);
			while (ma.find()) {
				list.add(ma.group());
			}
			for ( String s:list) {
				String regex1;
				String ye=s.replaceAll(" colspan='2'", "");
				List<String> list1 = new ArrayList<String>();
				regex1 = "<td>.*?</td>";
				final Pattern pa1 = Pattern.compile(regex1, Pattern.DOTALL);
				final Matcher ma1 = pa1.matcher(ye);
				while (ma1.find()) {
					list1.add(ma1.group());
				}
				int i = 0;
				String date="";
				String description="";
				for ( String s1:list1) {
					i ++;
					String str = s1.substring(4, s1.lastIndexOf("<"));
				   Checkpoints points=new Checkpoints();
					if ( i >3) {
						if(i%4==0){
							date=DateUtil.getEnsYYMM(str);
						}
						if(i%4==1){
							date+=" "+str;
							points.setDate(date);
						}
                        if(i%4==2){
                        	description=str;
						}
						if(i%4==3){
							points.setDate(date+":00");
							points.setDescription(str);
							points.setLocation(description);
							poinsList.add(points);
						}
					}
					
				}
				
			}
			
		} catch (HttpException e) {
			// 发生致命的异常,可能是协议不对或者返回的内容有问题
			System.out.println("Please check your provided http address!");
			e.printStackTrace();
		} catch (IOException e) {
			// 发生网络异常
			log.error("微信gati网站网络出错:"+e, e);
			e.printStackTrace();
		} finally {
			// 释放连接
			getMethod.releaseConnection();
			return poinsList;
		}
}
	
	  //国内gatl运单号抓取页面的快递信息
	public static List<Checkpoints> QueryGatlzg(String fRefNo) {
		List returnList = new ArrayList();
		List<Checkpoints> poinsList= new ArrayList<Checkpoints>();
		
		// 构造HttpClient的实例
		HttpClient httpClient = new HttpClient();
		GetMethod getMethod= new GetMethod("http://218.244.150.40/cgi-bin/GInfo.dll?EmmisTrack&cno="+fRefNo+"");
		getMethod.getResponseCharSet();
		// 使用系统提供的默认的恢复策略
		getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
				new DefaultHttpMethodRetryHandler());
		try {
			// 执行getMethod
			int statusCode = httpClient.executeMethod(getMethod);
			if (statusCode != HttpStatus.SC_OK) {
				log.error("微信gati请求网站出错:" + getMethod.getStatusLine());
				System.err.println("Method failed: "
						+ getMethod.getStatusLine());
			}
			// 读取内容
			byte[] responseBody = getMethod.getResponseBody();
			// 处理内容
			String returnStr = new String(responseBody, "gb2312");
			String regex;
			List<String> list = new ArrayList<String>();
			//<table border=\"0\" cellpadding=\"1\" cellspacing=\"1\"  width=\"98%\"  align=\"center\" class=\"form_table\">
			regex="<table width='98%' border='1' align='center' cellpadding='1' cellspacing=0 class='trackContentTable' id='oTHtable'>.*?</table>";
			final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
			final Matcher ma = pa.matcher(returnStr);
			while (ma.find()) {
				list.add(ma.group());
			}
			for ( String s:list) {
				String regex1;
				String ye=s.replaceAll(" align='left' bgcolor='#F5F9FA' class='trackListOdd'", "");
				ye=ye.replaceAll(" align='center' bgcolor='#FFFFFF' class='trackListEven'", "");
				ye=ye.replaceAll(" align='center' bgcolor='#F5F9FA' class='trackListOdd'", "");
				ye=ye.replaceAll(" align='left' bgcolor='#FFFFFF' class='trackListEven'", "");
				ye=ye.replaceAll(" align='center' bgcolor='#FFFFFF'", "");
				ye=ye.replaceAll(" align='center' bgcolor='#F5F9FA'", "");
				
				List<String> list1 = new ArrayList<String>();
				regex1 = "<td>.*?</td>";
				final Pattern pa1 = Pattern.compile(regex1, Pattern.DOTALL);
				final Matcher ma1 = pa1.matcher(ye);
				while (ma1.find()) {
					list1.add(ma1.group());
				}
				int i = 3;
				String date="";
				String description="";
				for ( String s1:list1) {
					String str = s1.substring(4, s1.lastIndexOf("<"));
				    Checkpoints points=new Checkpoints();
						if(i%3==0){
							date=DateUtil.getcgYYMM1(str);
						}
						if(i%3==1){
							description=str.trim();
						}
                        if(i%3==2){
							points.setDate(date);
							System.out.println();
							points.setDescription(str.substring(0, str.trim().length()-1));
							points.setLocation(description.substring(0, description.length()-1));
							poinsList.add(points);
					   }
                        i ++;
			        	
				}
			}
			
		} catch (HttpException e) {
			// 发生致命的异常,可能是协议不对或者返回的内容有问题
			System.out.println("Please check your provided http address!");
			e.printStackTrace();
		} catch (IOException e) {
			// 发生网络异常
			log.error("微信gati网站网络出错:"+e, e);
			e.printStackTrace();
		} finally {
			// 释放连接
			getMethod.releaseConnection();
			// 将ArrayLista中的元素进行倒序
			Collections.reverse(poinsList);
			return poinsList;
		}
}
	
	public static void main(String[] args) throws Exception {
		List<Checkpoints> list= DHLExchange.QueryGatlzg("641449633");
		for (Checkpoints opint : list) {
			System.out.println(opint.getDate()+"="+opint.getDescription()+"=="+opint.getLocation());
		}

		
	}
	 

}

 

分享到:
评论

相关推荐

    ReactiveMongoPerformance:Crud MongoDb存储库的性能评估

    为了比较REST MongoDb与React式和非React式解决方案的性能,编写了两个解决方案。 基于Rodrigo Chaves解决方案( ),我编写了解决方案account-servlet的非响应版本。 帐户React性 Rodrigo Chaves编写的React性解决...

    基于Qt开发的截图工具- 支持全屏截图, 支持自定义截图,支持捕获窗口截图,支持固定大小窗口截图,颜色拾取,图片编辑

    基于Qt开发的截图工具.zip 截图工具(QScreenShot) Qt编写的一款截图工具。 特点 - 支持全屏截图 - 支持自定义截图 - 支持捕获窗口截图 - 支持固定大小窗口截图 - 颜色拾取 - 图片编辑 - 图片上传到wordpress 环境 Qt6.2 QtCreate 8

    毕业设计&课设_ 校园活动管理系统,优化校园活动组织流程,涵盖多方面功能模块的便捷平台.zip

    该资源内项目源码是个人的课程设计、毕业设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过严格测试运行成功才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。

    毕业设计基于ASP.NET技术的班级展示网站构建(源代码+论文).zip

    基于ASP.NET技术的班级展示网站构建资源,是一套针对教育机构或学生团体,旨在通过ASP.NET框架开发班级风采展示平台的指导资料或教程。此资源详细介绍了如何利用ASP.NET的强大功能,快速搭建一个功能完善、界面友好的在线班级展示平台。 该资源涵盖了从需求分析、数据库设计、前端页面制作到后端逻辑实现的全过程。通过实例演示,指导用户如何设置班级信息、学生风采展示、活动公告、图片上传与浏览等核心功能模块。同时,结合ASP.NET的MVC架构,实现了前后端分离,提高了代码的可维护性和可扩展性。 此外,该资源还提供了丰富的代码示例和注释,帮助开发者深入理解ASP.NET框架的工作原理,掌握如何运用其强大的数据库操作、用户认证与授权等特性。对于初学者来说,这是一份难得的入门教程;而对于有一定经验的开发者,则是一份提升技能的参考资料。 总之,基于ASP.NET技术的班级展示网站构建资源,是教育机构和学生团体实现班级风采在线展示的理想选择,也是开发者学习ASP.NET框架应用的宝贵资源。

    基于springboot的流浪动物管理系统源码数据库文档.zip

    基于springboot的流浪动物管理系统源码数据库文档.zip

    基于springboot+vue的实践性教学系统源码数据库文档.zip

    基于springboot+vue的实践性教学系统源码数据库文档.zip

    基于Python+Django家居全屋定制系统源码数据库文档.zip

    基于Python+Django家居全屋定制系统源码数据库文档.zip

    Umi-OCR-main.zip

    Umi-OCR-main.zip

    基于springboot复兴村医疗管理系统源码数据库文档.zip

    基于springboot复兴村医疗管理系统源码数据库文档.zip

    基于springboot二手物品交易系统源码数据库文档.zip

    基于springboot二手物品交易系统源码数据库文档.zip

    2024年西安外事学院数学建模校赛题目.zip

    2024年西安外事学院数学建模校赛题目.zip

    基于springboot医疗废物管理系统源码数据库文档.zip

    基于springboot医疗废物管理系统源码数据库文档.zip

    colormaps.ipynb

    GEE训练教程

    Spring Boot设计实战:从入门到精通的语言教程、实战案例与项目资源

    内容概要:本文详细介绍了Spring Boot的设计和应用,涵盖了从基本概念到高级用法的全方位教学。首先通过环境搭建、首个项目创建、核心概念解析等步骤帮助读者快速上手。接着阐述了Spring Boot的设计原则与最佳实践,强调代码整洁和系统可维护性。最后,提供了两个实战案例:构建简单的RESTful API和电商网站后台管理系统,涉及项目结构、依赖配置、数据库设计、实体类与控制器的创建等内容,指导读者进行真实项目的开发。 适合人群:适合初学者到中级开发者的Java开发人员,尤其是对企业级应用开发感兴趣的人士。 使用场景及目标:①帮助开发者全面掌握Spring Boot的基本用法及其设计理念;②提供实用的实战案例和资源,使读者能够在实际项目中熟练应用Spring Boot技术。 阅读建议:跟随文章提供的步骤逐步操作,并结合实际开发需求灵活运用所学知识。建议多动手练习,加强对Spring Boot的理解和掌握。

    毕业设计&课设_基于 SSM 的城市公交查询系统,含多种信息及数据库脚本.zip

    该资源内项目源码是个人的课程设计、毕业设计,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! ## 项目备注 1、该资源内项目代码都经过严格测试运行成功才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。

    课程考试系统设计与开发:从理论到实践的全方位指南

    内容概要:本文详细介绍了一个课程考试系统的设计与开发过程,涵盖语言教程、实战案例和项目资源。主要内容包括:选择Java作为开发语言,详细讲解Java基础语法和Web开发基础;实战案例包括用户管理、课程管理和考试管理模块的实现;提供了项目结构、数据库设计和依赖管理的详细示例。 适合人群:适用于初学者和有一定经验的开发者,希望通过实际项目掌握课程考试系统的设计与开发。 使用场景及目标:帮助学习者全面提升从理论到实践的能力,最终能够独立完成一个完整的课程考试系统。无论是学习编程基础还是进阶实战,本文都提供了全面的指导。 其他说明:项目涉及多个关键技术和知识点,如Servlet、JSP、JDBC、MVC模式等,有助于深入理解和应用这些技术。此外,还包括项目部署和运行的具体步骤,方便学习者快速搭建和测试系统。

    《伯牙鼓琴》教学课件.pptx

    《伯牙鼓琴》教学课件.pptx

    基于springboot面向社区的智能化健康管理系统研究源码数据库文档.zip

    基于springboot面向社区的智能化健康管理系统研究源码数据库文档.zip

    基于springboot+javaweb宿舍管理系统源码数据库文档.zip

    基于springboot+javaweb宿舍管理系统源码数据库文档.zip

    基于SpringBoot的遥感影像共享系统源码数据库文档.zip

    基于SpringBoot的遥感影像共享系统源码数据库文档.zip

Global site tag (gtag.js) - Google Analytics