`
binge520cn
  • 浏览: 23377 次
  • 性别: Icon_minigender_1
  • 来自: 湖南
社区版块
存档分类
最新评论

国际dhl与gatl运单号通过httpClient抓取数据

    博客分类:
  • java
阅读更多
package com.choice.ehr.utils;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.Collections;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import net.sf.json.JSONArray;
import net.sf.json.JSONObject;

import org.apache.commons.httpclient.DefaultHttpMethodRetryHandler;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpException;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.methods.GetMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.codehaus.jackson.map.ObjectMapper;

import com.alibaba.fastjson.JSON;
import com.choice.ehr.jobs.exchange.Checkpoints;
import com.choice.ehr.jobs.exchange.Courier;
import com.choice.ehr.jobs.exchange.Orders;
import com.choice.weixin.bean.ShptInfoWeiXinBean;
import com.sun.org.apache.xalan.internal.xsltc.compiler.sym;
import com.sunrise.vivo.utils.DateUtil;


public class DHLExchange {
	private static final Log log = LogFactory.getLog(DHLExchange.class);
	//dhl 请求返回json
	public static String QueryDHL(String dhlID) throws Exception {  
		String gjson="";
		//String strURL="http://api.open.baidu.com/pae/channel/data/asyncqury?cb=jQuery11020536401330732589_1417141855576&appid=4001&com=dhl&nu=96974175220&_=1417141855582";
			//String strURL="http://www.cn.dhl.com/shipmentTracking?AWB=9697417520&countryCode=cn&languageCode=zh&_=1416213138381";
			String strURL="http://www.cn.dhl.com/shipmentTracking?AWB="+dhlID+"&countryCode=cn&languageCode=en&_=1417403812558";
			
		//	http://www.cn.dhl.com/shipmentTracking?AWB=9697417520%2C9697426421%2C9697426340%2C9697426314%2C9697426270%2C9697426233%2C9697426222%2C9697426115%2C9697426071%2C9697426244&countryCode=cn&languageCode=zh&_=1417582317698
			//String strURL="http://www.cn.dhl.com/shipmentTracking?AWB=9697417523&countryCode=cn&languageCode=zh&_=1416213138381";
		    URL url = new URL(strURL);  
		    HttpURLConnection httpConn = (HttpURLConnection) url.openConnection();  
		    InputStreamReader input = new InputStreamReader(httpConn  
		            .getInputStream(), "utf-8");  
		    BufferedReader bufReader = new BufferedReader(input);  
		    String line = "";  
		    StringBuilder contentBuf = new StringBuilder();  
		    while ((line = bufReader.readLine()) != null) {  
		        contentBuf.append(line);  
		    }  
		    System.out.println("captureJavascript()的结果:\n" + contentBuf.toString());  
		    gjson=contentBuf.toString();
		    return gjson;
		    
		}  
	
	//gatl 运单号 国外网站 
	public static List<Checkpoints> QueryGatlen(String fRefNo) {
		List returnList = new ArrayList();
		List<Checkpoints> poinsList= new ArrayList<Checkpoints>();
		
		// 构造HttpClient的实例
		chttpClient = new HttpClient();
		// 处理代理服务器
		//httpClient.getHostConfiguration().setProxy("10.200.1.19", 886);
		// 创建GET方法的实例
		//GetMethod getMethod = new GetMethod(
		//		"http://www.boc.cn/sourcedb/whpj/index.html");
		
		GetMethod getMethod= new GetMethod("http://www.gati.com/gatitrck.jsp?dktNo="+fRefNo+"");
		getMethod.getResponseCharSet();
		// 使用系统提供的默认的恢复策略
		getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
				new DefaultHttpMethodRetryHandler());
		try {
			// 执行getMethod
			int statusCode = httpClient.executeMethod(getMethod);
			if (statusCode != HttpStatus.SC_OK) {
				log.error("微信gati请求网站出错:" + getMethod.getStatusLine());
				System.err.println("Method failed: "
						+ getMethod.getStatusLine());
			}
			// 读取内容
			byte[] responseBody = getMethod.getResponseBody();
			// 处理内容
			String returnStr = new String(responseBody, "UTF-8");
			String regex;
			List<String> list = new ArrayList<String>();
			//<table border=\"0\" cellpadding=\"1\" cellspacing=\"1\"  width=\"98%\"  align=\"center\" class=\"form_table\">
			//regex="<table class=\"result-checkpoints show result-has-pieces\" summary=\"DHL Express shipments checkpoints\">.*?</table>";
		//	regex = "<table cellpadding=\"0\" align=\"left\" cellspacing=\"0\" width=\"100%\">.*?</table>";
			//regex="<table border=\"0\" cellpadding=\"1\" cellspacing=\"1\" width=\"98%\" align=\"center\" class=\"form_table\">.*?</table>";
			regex="<tr  bgcolor='#05a6c3' class=\"textbold\">.*?</table>";
			final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
			final Matcher ma = pa.matcher(returnStr);
			while (ma.find()) {
				list.add(ma.group());
			}
			for ( String s:list) {
				String regex1;
				String ye=s.replaceAll(" colspan='2'", "");
				List<String> list1 = new ArrayList<String>();
				regex1 = "<td>.*?</td>";
				final Pattern pa1 = Pattern.compile(regex1, Pattern.DOTALL);
				final Matcher ma1 = pa1.matcher(ye);
				while (ma1.find()) {
					list1.add(ma1.group());
				}
				int i = 0;
				String date="";
				String description="";
				for ( String s1:list1) {
					i ++;
					String str = s1.substring(4, s1.lastIndexOf("<"));
				   Checkpoints points=new Checkpoints();
					if ( i >3) {
						if(i%4==0){
							date=DateUtil.getEnsYYMM(str);
						}
						if(i%4==1){
							date+=" "+str;
							points.setDate(date);
						}
                        if(i%4==2){
                        	description=str;
						}
						if(i%4==3){
							points.setDate(date+":00");
							points.setDescription(str);
							points.setLocation(description);
							poinsList.add(points);
						}
					}
					
				}
				
			}
			
		} catch (HttpException e) {
			// 发生致命的异常,可能是协议不对或者返回的内容有问题
			System.out.println("Please check your provided http address!");
			e.printStackTrace();
		} catch (IOException e) {
			// 发生网络异常
			log.error("微信gati网站网络出错:"+e, e);
			e.printStackTrace();
		} finally {
			// 释放连接
			getMethod.releaseConnection();
			return poinsList;
		}
}
	
	  //国内gatl运单号抓取页面的快递信息
	public static List<Checkpoints> QueryGatlzg(String fRefNo) {
		List returnList = new ArrayList();
		List<Checkpoints> poinsList= new ArrayList<Checkpoints>();
		
		// 构造HttpClient的实例
		HttpClient httpClient = new HttpClient();
		GetMethod getMethod= new GetMethod("http://218.244.150.40/cgi-bin/GInfo.dll?EmmisTrack&cno="+fRefNo+"");
		getMethod.getResponseCharSet();
		// 使用系统提供的默认的恢复策略
		getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
				new DefaultHttpMethodRetryHandler());
		try {
			// 执行getMethod
			int statusCode = httpClient.executeMethod(getMethod);
			if (statusCode != HttpStatus.SC_OK) {
				log.error("微信gati请求网站出错:" + getMethod.getStatusLine());
				System.err.println("Method failed: "
						+ getMethod.getStatusLine());
			}
			// 读取内容
			byte[] responseBody = getMethod.getResponseBody();
			// 处理内容
			String returnStr = new String(responseBody, "gb2312");
			String regex;
			List<String> list = new ArrayList<String>();
			//<table border=\"0\" cellpadding=\"1\" cellspacing=\"1\"  width=\"98%\"  align=\"center\" class=\"form_table\">
			regex="<table width='98%' border='1' align='center' cellpadding='1' cellspacing=0 class='trackContentTable' id='oTHtable'>.*?</table>";
			final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
			final Matcher ma = pa.matcher(returnStr);
			while (ma.find()) {
				list.add(ma.group());
			}
			for ( String s:list) {
				String regex1;
				String ye=s.replaceAll(" align='left' bgcolor='#F5F9FA' class='trackListOdd'", "");
				ye=ye.replaceAll(" align='center' bgcolor='#FFFFFF' class='trackListEven'", "");
				ye=ye.replaceAll(" align='center' bgcolor='#F5F9FA' class='trackListOdd'", "");
				ye=ye.replaceAll(" align='left' bgcolor='#FFFFFF' class='trackListEven'", "");
				ye=ye.replaceAll(" align='center' bgcolor='#FFFFFF'", "");
				ye=ye.replaceAll(" align='center' bgcolor='#F5F9FA'", "");
				
				List<String> list1 = new ArrayList<String>();
				regex1 = "<td>.*?</td>";
				final Pattern pa1 = Pattern.compile(regex1, Pattern.DOTALL);
				final Matcher ma1 = pa1.matcher(ye);
				while (ma1.find()) {
					list1.add(ma1.group());
				}
				int i = 3;
				String date="";
				String description="";
				for ( String s1:list1) {
					String str = s1.substring(4, s1.lastIndexOf("<"));
				    Checkpoints points=new Checkpoints();
						if(i%3==0){
							date=DateUtil.getcgYYMM1(str);
						}
						if(i%3==1){
							description=str.trim();
						}
                        if(i%3==2){
							points.setDate(date);
							System.out.println();
							points.setDescription(str.substring(0, str.trim().length()-1));
							points.setLocation(description.substring(0, description.length()-1));
							poinsList.add(points);
					   }
                        i ++;
			        	
				}
			}
			
		} catch (HttpException e) {
			// 发生致命的异常,可能是协议不对或者返回的内容有问题
			System.out.println("Please check your provided http address!");
			e.printStackTrace();
		} catch (IOException e) {
			// 发生网络异常
			log.error("微信gati网站网络出错:"+e, e);
			e.printStackTrace();
		} finally {
			// 释放连接
			getMethod.releaseConnection();
			// 将ArrayLista中的元素进行倒序
			Collections.reverse(poinsList);
			return poinsList;
		}
}
	
	public static void main(String[] args) throws Exception {
		List<Checkpoints> list= DHLExchange.QueryGatlzg("641449633");
		for (Checkpoints opint : list) {
			System.out.println(opint.getDate()+"="+opint.getDescription()+"=="+opint.getLocation());
		}

		
	}
	 

}

 

分享到:
评论

相关推荐

    ReactiveMongoPerformance:Crud MongoDb存储库的性能评估

    为了比较REST MongoDb与React式和非React式解决方案的性能,编写了两个解决方案。 基于Rodrigo Chaves解决方案( ),我编写了解决方案account-servlet的非响应版本。 帐户React性 Rodrigo Chaves编写的React性解决...

    C++类构造与析构机制详解:掌握对象生命周期管理核心技术

    内容概要:本文详细阐述了C++类的构造与析构机制,解释了这两种特殊成员函数的工作原理和应用场景,涵盖构造函数的特点、分类与调用方式、构造函数初始化列表、以及析构函数的作用、调用时机和注意事项。文中还探讨了在C++编程中如何运用这些机制实现高效的资源管理和内存安全,特别是遵循RAII原则、避免常见错误(如资源未释放、重复析构、异常安全问题)、并在多线程环境中合理处理同步操作。 适合人群:具有基础C++编程技能的程序员,尤其是希望深入了解对象生命周期管理和高级资源管理技术的人群。 使用场景及目标:①理解和应用C++类的构造与析构机制来编写高效的代码;②预防和修复由于资源管理不当引发的各种错误和性能问题;③提高对面向对象编程的理解,掌握在多线程环境下的资源管理技巧。 其他说明:通过实际案例深入分析C++中构造函数和析构函数的应用,强调RAII(Resource Acquisition Is Initialization)原则的重要性。同时也提及了未来学习方向如智能指针和移动语义等内容,帮助开发者更好地掌握C++编程技巧。

    2025年汽车租赁业务系统应该具备的功能

    本文为抛砖引玉:简单描述,如需根据自身业务详细设计,请随时联系

    百合检验表格(食品香辛料质量验收记录表)检验表格(食品香辛料质量验收记录表).docx

    百合检验表格(食品香辛料质量验收记录表)检验表格(食品香辛料质量验收记录表).docx

    最新PHP盲盒商城系统源码ThinkPHP框架.zip

    最新PHP盲盒商城系统源码ThinkPHP框架

    奇异值确定K_K值VMD_K._vmd_VMD奇异值_VMDK

    奇异值分解(Singular Value Decomposition,简称SVD)是线性代数中的一种重要矩阵分解方法,广泛应用于数据处理和信号分析。在本场景中,我们关注的是如何利用SVD来确定VMD(Variable Modulation Decomposition,可变调制分解)的K值。VMD是一种信号分解技术,它能够将复杂信号分解为一系列调制频率成分,对于非平稳信号的分析和处理非常有用。 理解SVD的基本概念:任何m×n的实数或复数矩阵A都可以表示为三个矩阵的乘积,即A=UΣV^T,其中U是m×m的正交矩阵,Σ是一个m×n的对角矩阵,其对角线元素是奇异值,V是n×n的正交矩阵。奇异值σ_i按照非降序排列,它们反映了矩阵A的信息量和重要性。 在VMD中,奇异值分解的作用在于识别信号的不同频率成分。当对信号进行VMD时,目标是找到最佳的K值,以使分解后的子带信号尽可能独立且无交叉。K值代表了分解得到的调制模式数量,每个模式对应一个特定的频率范围。 为了确定K值,我们需要分析SVD的结果,即奇异值的分布。奇异值的大小反映了原始信号的结构信息。通常,信号中的主要成分对应较大的奇异值,而噪声或不重要的成分对应较小的奇异值。因此,奇异值的下降趋势可以作为判断信号成分变化的一个指标。 通过绘制奇异值的累积贡献率曲线,我们可以观察到奇异值的显著下降点,这个点通常对应着信号主要成分的结束,后续的奇异值可以视为噪声或次要成分。这个显著下降点即为选择K值的依据。一般来说,选择奇异值曲线出现“转折”或者“平台”的位置作为K值,可以确保主要信号成分被保留,同时尽可能减少噪声的影响。 具体实现步骤如下: 1. 对信号进行SVD,得到奇异值序列。 2. 计算奇异值的累积贡献率,即将奇异值按降序排列后,每个奇异值除以所有奇异值的和,然后累加。 3. 绘制累积贡献率曲线,并寻找曲线的转折点或者平台区。 4. 将转折点对应的奇异值个数作为VMD的K值。 在实际应用中,确定K值还可以结合其他准则,如信息熵、能量集中度等,以确保分解的合理性和稳定性。此外,不同的信号和应用场景可能需要调整K值的选择策略,这需要根据具体问题进行细致的研究和实验验证。 总结来说,利用SVD确定VMD的K值是通过对奇异值分布的分析,找出信号主要成分与噪声之间的界限,从而选择一个合适的分解模式数量。这种方法有助于提取信号的关键特征,提高VMD分解的效率和准确性。。内容来源于网络分享,如有侵权请联系我删除。

    常用护理技术操作规程49项.docx

    常用护理技术操作规程49项.docx

    局部阴影遮挡,灰狼MPPT,灰狼算法 灰狼算法实现部分遮阴的MPPT跟踪,包括光照突变情况,包括灰狼算法程序和matlab simulink模型的搭建,功率,电压,电流波形图和占空比波形图入如下

    局部阴影遮挡,灰狼MPPT,灰狼算法 灰狼算法实现部分遮阴的MPPT跟踪,包括光照突变情况,包括灰狼算法程序和matlab simulink模型的搭建,功率,电压,电流波形图和占空比波形图入如下。 ,局部阴影遮挡; 灰狼MPPT; 灰狼算法; 光照突变; 波形图; 程序搭建; matlab simulink模型,灰狼算法MPPT跟踪,局部遮阴及突变情况研究

    XCP或者CCP标定,A2L标定文件,基于map文件自动更新A2L的地址和结构体变量的地址 源码基于C#需要开发,编译器为VS2022 ,XCP/CCP标定; A2L标定文件; 地图文件自动更新;

    XCP或者CCP标定,A2L标定文件,基于map文件自动更新A2L的地址和结构体变量的地址 源码基于C#需要开发,编译器为VS2022 ,XCP/CCP标定; A2L标定文件; 地图文件自动更新; C#开发; VS2022编译器,基于C#开发的XCP/CCP标定系统,自动更新A2L文件地址与结构体变量

    Win - NEOGEO 颜色转换器-修改kof用

    给那些修改kof的玩家用的工具,简单快捷方便,需要自取

    s10207-024-00818-y.pdf

    s10207-024-00818-y.pdf

    Screenshot_20250314_152955.jpg

    Screenshot_20250314_152955.jpg

    Truvalue V3:环境、社会与治理(ESG)数据分析方法论详解(可复现,有问题请联系博主)

    内容概要:本文档详细介绍了 FactSet 公司推出的 Truvalue V3 平台的内容采集与处理流程及其评分方法。FactSet 利用人工智能技术和语义大数据处理能力收集并解析每日超过4000万份来自20多万信源的全球ESG相关信息。通过对这些非结构化文本数据的深度剖析,Truvalue平台能够识别关键ESG主题并量化情绪倾向度。它不仅提供单篇文章层面的情绪打分(从最消极0到最积极100),而且还综合评估公司长期发展趋势以及短期市场表现。此外,还讨论了动态重要性和重点事件检测等特征,使分析师更容易捕捉到企业活动背后的潜在机会与风险。 适用人群:金融行业从业者如投资顾问、基金经理以及其他关注企业可持续发展和社会责任的专业人士。 使用场景及目标:为投资者提供精准的数据支持以进行资产配置决策;辅助研究员对特定企业或行业的深度调研工作。 其他说明:本方法论特别强调采用SASB标准作为评价基准之一,并解释了几种重要的得分计算公式,如脉搏分数、洞察力分数及时势动量指标等的具体运作机制。同时概述了一些质量控制措施以确保所提供数据的有效性和准确性。

    毕业设计&课程设计 基于STM32单片机的物联网智能家庭安防系统(软件源码+硬件资料+部署教程+设计任务书+演示视频),高分项目,开箱即用

    毕业设计&课程设计 基于STM32单片机的物联网智能家庭安防系统(软件源码+硬件资料+部署教程+设计任务书+演示视频),高分项目,开箱即用 随着公众安全意识的提高,人们对家庭安全防控的需求愈发迫切,如何合理应用控制、通信及监控等自动化技术手段,打造智能化家庭安防系统成为研究重点。因此提出了基于物联网的家庭安防系统,实现监测燃气泄漏并报警、监测火灾烟雾并报警、检测非法入室并报警等功能,极大保障家庭居住场所的安全性。 用STM32单片机开发: 1、监测燃气泄漏(MQ-5)、监测火灾烟雾(DS18B20、MO-7)、检测非法入室(红外对管) 2、液晶显示燃气浓度、烟雾浓度、温度、是否有人闯入、布防状态 3、按键可以设置燃气、烟雾、温度的报警值,大于时候开启蜂鸣器报警以及对应的报警指示灯 4、当系统开启布防,有人闯入,开启蜂鸣器报警以及对应指示灯,撤防时,不检测非法闯入 5、数据通过wIFI上传到手机端 6、当报警时候发送报警短信,短信包含触发报警的情况:如燃气报警发送:gas leakage 温度或者烟雾报警发送:fire smoke alarm 非法入室发送:Illegal Entry

    白胡椒检验表格(食品香辛料质量验收记录表)检验表格(食品香辛料质量验收记录表).docx

    白胡椒检验表格(食品香辛料质量验收记录表)检验表格(食品香辛料质量验收记录表).docx

    信阳市乡镇边界,矢量边界,shp格式

    矢量边界,行政区域边界,精确到乡镇街道,可直接导入arcgis使用

    c++多媒体音视频播放器

    c++多媒体音视频播放器

    Adobe After Effects 插件

    Adobe After Effects 全套插件安装包

    Flac3d函数形式的应力边界施加编程 flac3d应力边界编程处理 本为本人做的简单案例:针对立方体模型,同时考虑重力和一侧应力边界对模型应力分布进行分析 特色:应力函数可以任意改变,调节简单

    Flac3d函数形式的应力边界施加编程 flac3d应力边界编程处理 本为本人做的简单案例:针对立方体模型,同时考虑重力和一侧应力边界对模型应力分布进行分析。 特色:应力函数可以任意改变,调节简单快捷 代码请前咨询了解清楚,不支持 款 针对地应力反演、走滑断层等分析中的应力边界位移边界问题如有需求定制 ,Flac3d;应力边界施加;编程处理;立方体模型;重力影响;应力分布分析;函数形式应力边界;地应力反演;走滑断层;位移边界问题。,Flac3d编程:应力边界施加的简易案例分析

    基于matlab的凝土随机球形骨料球体蒙特卡洛随机分布模型 三种粒径不同的骨料随机分布 模拟混凝土材料的过程,粒径可自行定义,可设置孔隙率 动画显示建模过程 程序已调通,可直接运行 ,基于Ma

    基于matlab的凝土随机球形骨料球体蒙特卡洛随机分布模型 三种粒径不同的骨料随机分布 模拟混凝土材料的过程,粒径可自行定义,可设置孔隙率 动画显示建模过程 程序已调通,可直接运行 ,基于Matlab; 凝土随机球形骨料; 球体蒙特卡洛随机分布模型; 不同粒径骨料随机分布; 模拟混凝土材料; 粒径可定义; 孔隙率可设置; 动画显示建模过程; 程序已调通。,基于Matlab的混凝土骨料随机分布模拟程序

Global site tag (gtag.js) - Google Analytics