import java.io.IOException;
import java.io.InterruptedIOException;
import java.net.UnknownHostException;
import java.security.KeyManagementException;
import java.security.NoSuchAlgorithmException;
import java.security.cert.CertificateException;
import java.security.cert.X509Certificate;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.Map;
import javax.net.ssl.SSLContext;
import javax.net.ssl.SSLException;
import javax.net.ssl.SSLHandshakeException;
import javax.net.ssl.TrustManager;
import javax.net.ssl.X509TrustManager;
import org.apache.commons.lang.builder.ToStringBuilder;
import org.apache.commons.lang.builder.ToStringStyle;
import org.apache.http.Consts;
import org.apache.http.HttpEntityEnclosingRequest;
import org.apache.http.HttpRequest;
import org.apache.http.NameValuePair;
import org.apache.http.NoHttpResponseException;
import org.apache.http.client.HttpRequestRetryHandler;
import org.apache.http.client.config.AuthSchemes;
import org.apache.http.client.config.CookieSpecs;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.HttpRequestBase;
import org.apache.http.client.protocol.HttpClientContext;
import org.apache.http.config.Registry;
import org.apache.http.config.RegistryBuilder;
import org.apache.http.conn.ConnectTimeoutException;
import org.apache.http.conn.socket.ConnectionSocketFactory;
import org.apache.http.conn.socket.PlainConnectionSocketFactory;
import org.apache.http.conn.ssl.NoopHostnameVerifier;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.entity.StringEntity;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import com.alibaba.fastjson.JSON;
public class HttpClient {
private static final Logger logger = LoggerFactory.getLogger(HttpClient.class);
public static String utf8 = "utf-8";
private static String userAgentName = "User-Agent";
private static String userAgentValue = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) "
+ "Gecko/20100101 Firefox/45.0";
private String userAgent = null;
public void setUserAgent(String userAgent) {
this.userAgent = userAgent;
}
private static TrustManager manager = new X509TrustManager() {
@Override
public X509Certificate[] getAcceptedIssuers() {
// TODO Auto-generated method stub
return null;
}
@Override
public void checkServerTrusted(X509Certificate[] chain, String authType)
throws CertificateException {
// TODO Auto-generated method stub
}
@Override
public void checkClientTrusted(X509Certificate[] chain, String authType)
throws CertificateException {
// TODO Auto-generated method stub
}
};
private static PoolingHttpClientConnectionManager connectionManager = null;
// 路由(MAX_PER_ROUTE)是对最大连接数(MAX_TOTAL)的细分,整个连接池的限制数量实际使用DefaultMaxPerRoute并非MaxTotal。
// 设置过小无法支持大并发(ConnectionPoolTimeoutException: Timeout waiting for
// connection from pool)
static {
try {
SSLContext context = SSLContext.getInstance("TLS");
context.init(null, new TrustManager[] { manager }, null);
SSLConnectionSocketFactory socketFactory = new SSLConnectionSocketFactory(context,
NoopHostnameVerifier.INSTANCE);
Registry<ConnectionSocketFactory> socketFactoryRegistry = RegistryBuilder
.<ConnectionSocketFactory>create()
.register("http", PlainConnectionSocketFactory.INSTANCE)
.register("https", socketFactory)
.build();
connectionManager = new PoolingHttpClientConnectionManager(socketFactoryRegistry);
connectionManager.setMaxTotal(50);// 将最大连接数增加到50
connectionManager.setDefaultMaxPerRoute(5);// 设置路由最大连接数
} catch (NoSuchAlgorithmException e) {
logger.error(e.getMessage());
} catch (KeyManagementException e) {
logger.error(e.getMessage());
}
}
CloseableHttpClient httpsClient = null;
private void create() {
RequestConfig defaultRequestConfig = RequestConfig.custom()
.setCookieSpec(CookieSpecs.STANDARD_STRICT)
.setExpectContinueEnabled(true)
.setConnectionRequestTimeout(5000)
.setConnectTimeout(10000)
.setSocketTimeout(10000)
.setTargetPreferredAuthSchemes(Arrays.asList(AuthSchemes.NTLM, AuthSchemes.DIGEST))
.setProxyPreferredAuthSchemes(Arrays.asList(AuthSchemes.BASIC)).build();
HttpRequestRetryHandler httpRequestRetryHandler = (exception, executionCount, context) -> {
if (executionCount >= 3) {// 如果已经重试了5次,就放弃
return false;
}
if (exception instanceof NoHttpResponseException) {// 如果服务器丢掉了连接,那么就重试
return true;
}
if (exception instanceof SSLHandshakeException) {// 不要重试SSL握手异常
return false;
}
if (exception instanceof InterruptedIOException) {// 超时
return false;
}
if (exception instanceof UnknownHostException) {// 目标服务器不可达
return false;
}
if (exception instanceof ConnectTimeoutException) {// 连接被拒绝
return false;
}
if (exception instanceof SSLException) {// ssl握手异常
return false;
}
HttpClientContext clientContext = HttpClientContext.adapt(context);
HttpRequest request = clientContext.getRequest();
// 如果请求是幂等的,就再次尝试
if (!(request instanceof HttpEntityEnclosingRequest)) {
return true;
}
return false;
};
httpsClient = HttpClients.custom()
.setConnectionManager(connectionManager)
.setDefaultRequestConfig(defaultRequestConfig)
.setRetryHandler(httpRequestRetryHandler)
.build();
}
public void close() {
try {
if(httpsClient != null) {
httpsClient.close();
}
} catch (IOException e) {
logger.error(e.getMessage());
}
}
private HttpClient() {
create();
}
public static HttpClient createHttpsClient() {
return new HttpClient();
}
private Result toResult(CloseableHttpResponse response) throws IOException {
Result result = null;
try {
String body = EntityUtils.toString(response.getEntity(), HttpClient.utf8);
result = new Result();
result.setBody(body);
result.setStatus(response.getStatusLine().getStatusCode());
if (logger.isDebugEnabled()) {
logger.debug("https result: {}", result);
}
} finally {
if (response != null) {
response.close();
}
}
return result;
}
/**
* post 不带参数请求, CloseableHttpResponse 需要调用方关闭
*
* @param url
* @return
* @throws IOException
*/
public CloseableHttpResponse doHttpsPost(String url) throws IOException {
return doHttpsPost(url, (List<NameValuePair>) null);
}
/**
* post 不带参数请求
*
* @param url
* @return Result 返回带字符串响应结果和响应状态的对象
* @throws IOException
*/
public Result doHttpsPostReturnResult(String url) throws IOException {
return toResult(doHttpsPost(url));
}
/**
* post 不带参数,返回对象,响应结果必须是json 对象
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> T doHttpsPostReturnObject(String url, Class<T> c) throws IOException {
T result = null;
Result response = doHttpsPostReturnResult(url);
result = JSON.parseObject(response.getBody(), c);
return result;
}
/**
* 不带参数,返回集合,响应结果必须是json 数组
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> List<T> doHttpsPostReturnArray(String url, Class<T> c) throws IOException {
List<T> result = null;
Result response = doHttpsPostReturnResult(url);
result = JSON.parseArray(response.getBody(), c);
return result;
}
public CloseableHttpResponse doHttpsPost(String url, Map<String, Object> params)
throws IOException {
List<NameValuePair> values = new ArrayList<>();
if (params != null) {
for (Map.Entry<String, Object> entry : params.entrySet()) {
NameValuePair p = new BasicNameValuePair(entry.getKey(), entry.getValue().toString());
values.add(p);
}
}
return doHttpsPost(url, values);
}
/**
* post 任意键值对数据
*
* @param url
* @return Result 返回带字符串响应结果和响应状态的对象
* @throws IOException
*/
public Result doHttpsPostReturnResult(String url, Map<String, Object> params) throws IOException {
return toResult(doHttpsPost(url, params));
}
/**
* post 任意键值对数据,返回对象,响应结果必须是json 对象
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> T doHttpsPostReturnObject(String url, Map<String, Object> params, Class<T> c)
throws IOException {
T result = null;
Result response = doHttpsPostReturnResult(url, params);
result = JSON.parseObject(response.getBody(), c);
return result;
}
/**
* post 键值对数据,返回集合,响应结果必须是json 数组
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> List<T> doHttpsPostReturnArray(String url, Map<String, Object> params, Class<T> c)
throws IOException {
List<T> result = null;
Result response = doHttpsPostReturnResult(url, params);
result = JSON.parseArray(response.getBody(), c);
return result;
}
public CloseableHttpResponse doHttpsPost(String url, List<NameValuePair> values) throws IOException {
HttpPost post = new HttpPost(url);
if (values != null) {
UrlEncodedFormEntity entity = new UrlEncodedFormEntity(values, Consts.UTF_8);
post.setEntity(entity);
}
RequestConfig requestConf = RequestConfig.custom()
.setSocketTimeout(10000)
.setConnectTimeout(10000)
.build();
post.setConfig(requestConf);
setCommonHeader(post);
CloseableHttpResponse response = httpsClient.execute(post);
return response;
}
/**
* post NameValuePair键值对参数
*
* @param url
* @return Result 返回带字符串响应结果和响应状态的对象
* @throws IOException
*/
public Result doHttpsPostReturnResult(String url, List<NameValuePair> values) throws IOException {
return toResult(doHttpsPost(url, values));
}
/**
* post NameValuePair键值对参数
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> T doHttpsPostReturnObject(String url, List<NameValuePair> values, Class<T> c)
throws IOException {
T result = null;
Result response = doHttpsPostReturnResult(url, values);
result = JSON.parseObject(response.getBody(), c);
return result;
}
/**
* post NameValuePair键值对参数
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> List<T> doHttpsPostReturnArray(String url, List<NameValuePair> values, Class<T> c)
throws IOException {
List<T> result = null;
Result response = doHttpsPostReturnResult(url, values);
result = JSON.parseArray(response.getBody(), c);
return result;
}
public CloseableHttpResponse doHttpsPost(String url, String values) throws IOException {
HttpPost post = new HttpPost(url);
if (values != null) {
StringEntity entity = new StringEntity(values, Consts.UTF_8);
post.setEntity(entity);
}
setCommonHeader(post);
CloseableHttpResponse response = httpsClient.execute(post);
return response;
}
/**
* post 任何字符串数据,包括json等
*
* @param url
* @return Result 返回带字符串响应结果和响应状态的对象
* @throws IOException
*/
public Result doHttpsPostReturnResult(String url, String values) throws IOException {
return toResult(doHttpsPost(url, values));
}
/**
* post 任何字符串数据,包括json等,返回对象,响应结果必须是json 对象
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> T doHttpsPostReturnObject(String url, String values, Class<T> c) throws IOException {
T result = null;
Result response = doHttpsPostReturnResult(url, values);
result = JSON.parseObject(response.getBody(), c);
return result;
}
/**
* post 任何字符串数据,包括json等,响应结果必须是json 数组
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> List<T> doHttpsPostReturnArray(String url, String values, Class<T> c) throws IOException {
List<T> result = null;
Result response = doHttpsPostReturnResult(url, values);
result = JSON.parseArray(response.getBody(), c);
return result;
}
public CloseableHttpResponse doHttpsGet(String url) throws IOException {
HttpGet get = new HttpGet(url);
RequestConfig requestConf = RequestConfig.custom()
.setSocketTimeout(10000)
.setConnectTimeout(10000)
.build();
get.setConfig(requestConf);
setCommonHeader(get);
CloseableHttpResponse response = httpsClient.execute(get);
return response;
}
/**
* post 不带参数请求
*
* @param url
* @return Result 返回带字符串响应结果和响应状态的对象
* @throws IOException
*/
public Result doHttpsGetReturnResult(String url) throws IOException{
return toResult(doHttpsGet(url));
}
/**
* post 不带参数,返回对象,响应结果必须是json 对象
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> T doHttpsGetReturnObject(String url, Class<T> c) throws IOException {
T result = null;
Result response = doHttpsGetReturnResult(url);
result = JSON.parseObject(response.getBody(), c);
return result;
}
/**
* 不带参数,返回集合,响应结果必须是json 数组
*
* @param url
* @param c
* @return
* @throws IOException
*/
public <T> List<T> doHttpsGetReturnArray(String url, Class<T> c) throws IOException {
List<T> result = null;
Result response = doHttpsGetReturnResult(url);
result = JSON.parseArray(response.getBody(), c);
return result;
}
private void setCommonHeader(HttpRequestBase request) {
if(userAgent == null) {
request.setHeader(userAgentName, userAgentValue);
} else {
request.setHeader(userAgentName, userAgent);
}
}
public static class Result {
private String body;
private Integer status;
public String getBody() {
return body;
}
public void setBody(String body) {
this.body = body;
}
public Integer getStatus() {
return status;
}
public void setStatus(Integer status) {
this.status = status;
}
@Override
public String toString() {
return ToStringBuilder.reflectionToString(this, ToStringStyle.SHORT_PREFIX_STYLE);
}
}
}
分享到:
相关推荐
本文详细介绍了PHP的基本语法、变量类型、运算符号以及文件上传和发邮件功能的实现方法,适合初学者了解和掌握PHP的基础知识。
公司金融整理的word文档
Prometheus Python客户端Prometheus的官方 Python 客户端。安装pip install prometheus-client这个包可以在PyPI上找到。文档文档可在https://prometheus.github.io/client_python上找到。链接发布发布页面显示项目的历史记录并充当变更日志。吡啶甲酸
DFC力控系统维护及使用
1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。
2019-2023GESP,CSP,NOIP真题.zip
博文链接 https://blog.csdn.net/weixin_47560078/article/details/127712877?spm=1001.2014.3001.5502
包含: 1、jasminum茉莉花 2、zotero-style 3、greenfrog 4、zotero-reference 5、translate-for-zotero 用法参考:https://zhuanlan.zhihu.com/p/674602898
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手
1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。
python技巧学习.zip
2023 年“泰迪杯”数据分析技能赛 A 题 档案数字化加工流程数据分析 完整代码
echarts 折线图数据源文件
Visual Studio Code 的 Python 扩展Visual Studio Code 扩展对Python 语言提供了丰富的支持(针对所有积极支持的 Python 版本),为扩展提供了访问点,以无缝集成并提供对 IntelliSense(Pylance)、调试(Python 调试器)、格式化、linting、代码导航、重构、变量资源管理器、测试资源管理器等的支持!支持vscode.devPython 扩展在vscode.dev (包括github.dev )上运行时确实提供了一些支持。这包括编辑器中打开文件的部分 IntelliSense。已安装的扩展Python 扩展将默认自动安装以下扩展,以在 VS Code 中提供最佳的 Python 开发体验Pylance - 提供高性能 Python 语言支持Python 调试器- 使用 debugpy 提供无缝调试体验这些扩展是可选依赖项,这意味着如果无法安装,Python 扩展仍将保持完全功能。可以禁用或卸载这些扩展中的任何一个或全部,但会牺牲一些功能。通过市场安装的扩展受市场使用条款的约束。可
Centos6.x通过RPM包升级OpenSSH9.7最新版 升级有风险,前务必做好快照,以免升级后出现异常影响业务
5 总体设计.pptx
Python 版 RPAv1.50 • 使用案例• API 参考 • 关于 和制作人员 • 试用云 • PyCon 视频 • Telegram 聊天 • 中文 • हिन्दी • 西班牙语 • 法语 • বাংলা • Русский • 葡萄牙语 • 印尼语 • 德语 • 更多..要为 RPA(机器人流程自动化)安装此 Python 包 -pip install rpa要在 Jupyter 笔记本、Python 脚本或交互式 shell 中使用它 -import rpa as r有关操作系统和可选可视化自动化模式的说明 -️ Windows -如果视觉自动化有故障,请尝试将显示缩放级别设置为推荐的 % 或 100% macOS -由于安全性更加严格,请手动安装 PHP并查看PhantomJS和Java 弹出窗口的解决方案 Linux -视觉自动化模式需要在 Linux 上进行特殊设置,请参阅如何安装 OpenCV 和 Tesseract Raspberry Pi - 使用此设置指南在 Raspberry Pies(低成本自
原生js识别手机端或电脑端访问代码.zip
浏览器
内容概要:本文介绍了基于Spring Boot和Vue开发的旅游可视化系统的设计与实现。该系统集成了用户管理、景点信息、路线规划、酒店预订等功能,通过智能算法根据用户偏好推荐景点和路线,提供旅游攻略和管理员后台,支持B/S架构,使用Java语言和MySQL数据库,提高了系统的扩展性和维护性。 适合人群:具有一定编程基础的技术人员,特别是熟悉Spring Boot和Vue框架的研发人员。 使用场景及目标:适用于旅游行业,为企业提供一个高效的旅游推荐平台,帮助用户快速找到合适的旅游信息和推荐路线,提升用户旅游体验。系统的智能化设计能够满足用户多样化的需求,提高旅游企业的客户满意度和市场竞争力。 其他说明:系统采用现代化的前后端分离架构,具备良好的可扩展性和维护性,适合在旅游行业中推广应用。开发过程中需要注意系统的安全性、稳定性和用户体验。