帮人做的,后来因为一个dll经常崩溃的问题他不要~~那白做就白做了吧 把过程分享一下
流程不难:
导入一堆账号密码文件(这边用了txt 其实用数据库好点 可以做些标识) 然后模拟网页登陆 登录成功后获取需要的数据并保存.
这边需要的工具:
- httpcomponents:用于网络连接
- java4Less:用于验证码识别
- jsoup:用于提取网页内数据
java4Less的介绍在上一篇文章中有:
http://fair-jm.iteye.com/blog/1914076
流程:
获取表单详情
这个比较简单。登陆,一般就是提交表单登陆,我们只要获得到表单的数据和提交地址就可以提交。
这里有两个常用的方式:
1,用浏览器的开发者工具
2,用wireshark抓包 分析
一般第二种比较好用,因为能抓到所有的数据,易于分析。
但这边以1用chrome为例:
打开表单提交的地址(这边以http://passport.cdcgames.net/account/login.aspx 为例了)
打开chrome的开发者工具 选中network页
乱填点数据,然后提交
查看数据:
以上是表达提交的详情了
内容很简单 以上需要注意的内容也标明了 还有一个状态码也需要注意 特别是302的状态码(要获取头中的Location进行再次跳转才可以)
用现有的用户名-密码文件不断刷就可以了。验证码用java4Less解决。
判断是否登录成功就判断返回的字段就好了,这个网站比较简单,登录成功状态码是302,得到之后再发一次请求就可以获取到了。
这边要注意一个问题:需要在客户端保存状态,也就是HttpClient的cookiestore要被保存。
在获取验证码和登录成功后,如果用了新的HttpClient对象 那么一定要把旧的对象的cookiestore给他,不然就会失败(浏览器实现了这些细节,所以不需要担心登陆之后跳转显示未登录的情况(但其实我在用一些状态极差的网络中常常遇到这样的情况....))。
涉及到在不同的网页获取的话也只要设计一下cookiestore就行了,这样就不会出现未登录的提示。
连接的工具类:
把连接的工具类发一下 不难:
package test.cc.util; //省略导包 /** * http的操作类 * * @author cc(fair_jm) * http://fair-jm.iteye.com */ public class HttpUtil { private String path = ""; private String action = ""; private CookieStore cookieStore = null; public HttpResponse sendGetTo(Map<String, String> map, String encoding) throws Exception { StringBuffer sb = new StringBuffer(); for (Map.Entry<String, String> entry : map.entrySet()) { BasicNameValuePair bv = new BasicNameValuePair(entry.getKey(), entry.getValue()); sb.append(entry.getKey()); sb.append("="); sb.append(entry.getValue()); sb.append("&"); } if (sb.length() > 0) { sb.substring(0, sb.length() - 1); } HttpGet get = new HttpGet(path + action + "?" + sb.toString()); DefaultHttpClient client = new DefaultHttpClient(); if (cookieStore != null) { client.setCookieStore(cookieStore); } HttpResponse response = client.execute(get); cookieStore = client.getCookieStore(); return response; } /** * * @param map * 传入的键值对 key=value的形式 * @param encoding * 传入的编码 * @throws Exception */ public HttpResponse sendPostTo(Map<String, String> map, String encoding) throws Exception { List<NameValuePair> list = new ArrayList<NameValuePair>(); for (Map.Entry<String, String> entry : map.entrySet()) { BasicNameValuePair bv = new BasicNameValuePair(entry.getKey(), entry.getValue()); list.add(bv); } UrlEncodedFormEntity entity = new UrlEncodedFormEntity(list, encoding); HttpPost post = new HttpPost(path + action); System.out.println(path + action); post.setEntity(entity); DefaultHttpClient client = new DefaultHttpClient(); if (cookieStore != null) { client.setCookieStore(cookieStore); } HttpResponse response = client.execute(post); cookieStore = client.getCookieStore(); return response; } /** * * @param map * 传入的键值对 * @throws Exception */ public HttpResponse sendPostTo(Map<String, String> map) throws Exception { return this.sendPostTo(map, "utf-8"); } public HttpResponse sendGetTo(Map<String, String> map) throws Exception { return this.sendGetTo(map, "utf-8"); } /** * * @param stream * @return 输入流的内容 * @throws IOException */ private static String streamToString(InputStream stream, String encoding) throws IOException { ByteArrayOutputStream ba = new ByteArrayOutputStream(); byte[] bytes = new byte[512]; int len = 0; while ((len = stream.read(bytes)) != -1) { ba.write(bytes, 0, len); } return new String(ba.toByteArray(), encoding); } public String getPath() { return path; } public void setPath(String path) { this.path = path; } public void setAction(String action) { this.action = action; } public String getAction() { return action; } public CookieStore getCookieStore() { return cookieStore; } public void setCookieStore(CookieStore cookieStore) { this.cookieStore = cookieStore; } public void clearCookieStore() { this.cookieStore = null; } }
以及获取数据中的其中的一段:
while (true) { po.clearCookieStore(); po.setPath("http://passport.cdcgames.net/account/login.aspx"); // 这边填地址 hr = po.sendGetTo(new HashMap<String, String>()); String data1=null; int hrCode=hr.getStatusLine().getStatusCode(); if(hrCode==200){ data1=streamToString(hr.getEntity().getContent(),"utf-8"); }else{ // System.out.println("连接失败,状态码:"+hrCode); mes.setError(true); mes.setErrorCode("连接失败,状态码:"+hrCode); return mes; } // <input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value="" // /> Pattern rex = Pattern.compile("value=\"(.*)\""); Matcher matcher = rex.matcher(data1); // System.out.println(data1); // System.out // .println("______________________________+++++++++++______________________"); String code = null; if (matcher.find()) { code = matcher.group(1); // System.out.println(code); } DefaultHttpClient client = new DefaultHttpClient(); client.setCookieStore(po.getCookieStore()); HttpGet get = new HttpGet( "http://passport.cdcgames.net/VerifyCode.aspx"); HttpResponse res = client.execute(get); String verify = OCRTestMine.getVerifyText(res.getEntity() .getContent()); po.setPath("http://passport.cdcgames.net/account/login.aspx"); HashMap<String, String> has = new HashMap<String, String>(); has.put("__EVENTTARGET", "LB_Login"); has.put("__EVENTARGUMENT", ""); has.put("__VIEWSTATE", code); has.put("TB_userid", userTrueName); has.put("TB_password", userPass); has.put("TB_rand", verify); hr2 = po.sendPostTo(has); String data2=""; int hr2Code=hr2.getStatusLine().getStatusCode(); if(hr2Code==302){ break; //302表示登陆成功执行跳转 }else{ if(hr2Code==200){ data2=streamToString(hr2.getEntity().getContent(), "utf-8"); }else{ // System.out.println("连接出错,状态码:"+hr2Code); mes.setError(true); mes.setErrorCode("连接出错,状态码:"+hr2Code); return mes; } } // System.out // .println("______________________________+++++++++++______________________"); boolean verifyFail = false; boolean passAndNameFail = false; verifyFail = data2.indexOf("验证码不正确") != -1; passAndNameFail = data2.indexOf("账号或密码错误") != -1; // System.out.println("验证码不正确:" // + (verifyFail = data2.indexOf("验证码不正确") != -1)); // System.out.println("账户或密码错误:" // + (passAndNameFail = data2.indexOf("账号或密码错误") != -1)); if (verifyFail) { if (failTime < 5) { failTime++; continue; } else { // System.out.println("验证码错误5次,退出"); mes.setVerifyError(true); mes.setErrorCode("验证码错误5次,退出"); return mes; } } if (passAndNameFail) { // System.out.println("账户或密码错误"); mes.setPassError(true); return mes; } break; }
数据获取:
获取数据的话用jsoup完成,主要观察包含数据的html元素是否有id(因为有id获取最方便)
过程就不多说 毕竟用jsoup完成的话是很轻松的事
相关推荐
1. **在线生成器**: 制作二维码最简单的方法是使用在线二维码生成器,如草料二维码、微信小程序等。只需输入要编码的信息(如网址、文本、联系信息等),系统会自动生成对应的二维码图片。 2. **编程实现**: 对于...
本教程将探讨如何在Android应用中实现一个简洁而易操作的仪表盘。我们的目标是减轻编程负担,将更多复杂的设计工作交给美工,从而使代码更加精简。 首先,我们需要了解仪表盘的基本元素。一个典型的仪表盘包括指针...
【微信小程序游戏飞翔的小鸟】是一款基于微信小程序平台开发的简单休闲游戏,它利用HTML5的Canvas技术来绘制游戏画面,结合Java后端提供服务,为玩家带来有趣的互动体验。这款小游戏是微信小程序开发的经典案例,...
内容概要:本文档《数据结构》(02331)第一章主要介绍数据结构的基础概念,涵盖数据与数据元素的定义及其特性,详细阐述了数据结构的三大要素:逻辑结构、存储结构和数据运算。逻辑结构分为线性结构(如线性表、栈、队列)、树形结构(涉及根节点、父节点、子节点等术语)和其他结构。存储结构对比了顺序存储和链式存储的特点,包括访问方式、插入删除操作的时间复杂度以及空间分配方式,并介绍了索引存储和散列存储的概念。最后讲解了抽象数据类型(ADT)的定义及其组成部分,并探讨了算法分析中的时间复杂度计算方法。 适合人群:计算机相关专业学生或初学者,对数据结构有一定兴趣并希望系统学习其基础知识的人群。 使用场景及目标:①理解数据结构的基本概念,掌握逻辑结构和存储结构的区别与联系;②熟悉不同存储方式的特点及应用场景;③学会分析简单算法的时间复杂度,为后续深入学习打下坚实基础。 阅读建议:本章节内容较为理论化,建议结合实际案例进行理解,尤其是对于逻辑结构和存储结构的理解要深入到具体的应用场景中,同时可以尝试编写一些简单的程序来加深对抽象数据类型的认识。
内容概要:本文详细介绍了施耐德M580系列PLC的存储结构、系统硬件架构、上电写入程序及CPU冗余特性。在存储结构方面,涵盖拓扑寻址、Device DDT远程寻址以及寄存器寻址三种方式,详细解释了不同类型的寻址方法及其应用场景。系统硬件架构部分,阐述了最小系统的构建要素,包括CPU、机架和模块的选择与配置,并介绍了常见的系统拓扑结构,如简单的机架间拓扑和远程子站以太网菊花链等。上电写入程序环节,说明了通过USB和以太网两种接口进行程序下载的具体步骤,特别是针对初次下载时IP地址的设置方法。最后,CPU冗余部分重点描述了热备功能的实现机制,包括IP通讯地址配置和热备拓扑结构。 适合人群:从事工业自动化领域工作的技术人员,特别是对PLC编程及系统集成有一定了解的工程师。 使用场景及目标:①帮助工程师理解施耐德M580系列PLC的寻址机制,以便更好地进行模块配置和编程;②指导工程师完成最小系统的搭建,优化系统拓扑结构的设计;③提供详细的上电写入程序指南,确保程序下载顺利进行;④解释CPU冗余的实现方式,提高系统的稳定性和可靠性。 其他说明:文中还涉及一些特殊模块的功能介绍,如定时器事件和Modbus串口通讯模块,这些内容有助于用户深入了解M580系列PLC的高级应用。此外,附录部分提供了远程子站和热备冗余系统的实物图片,便于用户直观理解相关概念。
某型自动垂直提升仓储系统方案论证及关键零部件的设计.zip
2135D3F1EFA99CB590678658F575DB23.pdf#page=1&view=fitH
可以搜索文本内的内容,指定目录,指定文件格式,匹配大小写等
Windows 平台 Android Studio 下载与安装指南.zip
Android Studio Meerkat 2024.3.1 Patch 1(android-studio-2024.3.1.14-windows.zip)适用于Windows系统,文件使用360压缩软件分割成两个压缩包,必须一起下载使用: part1: https://download.csdn.net/download/weixin_43800734/90557033 part2: https://download.csdn.net/download/weixin_43800734/90557035
国网台区终端最新规范
国网台区终端最新规范
1.【锂电池剩余寿命预测】Transformer-GRU锂电池剩余寿命预测(Matlab完整源码和数据) 2.数据集:NASA数据集,已经处理好,B0005电池训练、B0006测试; 3.环境准备:Matlab2023b,可读性强; 4.模型描述:Transformer-GRU在各种各样的问题上表现非常出色,现在被广泛使用。 5.领域描述:近年来,随着锂离子电池的能量密度、功率密度逐渐提升,其安全性能与剩余使用寿命预测变得愈发重要。本代码实现了Transformer-GRU在该领域的应用。 6.作者介绍:机器学习之心,博客专家认证,机器学习领域创作者,2023博客之星TOP50,主做机器学习和深度学习时序、回归、分类、聚类和降维等程序设计和案例分析,文章底部有博主联系方式。从事Matlab、Python算法仿真工作8年,更多仿真源码、数据集定制私信。
Android项目原生java语言课程设计,包含LW+ppt
大学生入门前端-五子棋vue项目
这是一个完整的端到端解决方案,用于分析和预测阿联酋(UAE)地区的二手车价格。数据集包含 10,000 条二手车信息,覆盖了迪拜、阿布扎比和沙迦等城市,并提供了精确的地理位置数据。此外,项目还包括一个基于 Dash 构建的 Web 应用程序代码和一个训练好的 XGBoost 模型,帮助用户探索区域市场趋势、预测车价以及可视化地理空间洞察。 数据集内容 项目文件以压缩 ZIP 归档形式提供,包含以下内容: 数据文件: data/uae_used_cars_10k.csv:包含 10,000 条二手车记录的数据集,涵盖车辆品牌、型号、年份、里程数、发动机缸数、价格、变速箱类型、燃料类型、颜色、描述以及销售地点(如迪拜、阿布扎比、沙迦)。 模型文件: models/stacking_model.pkl:训练好的 XGBoost 模型,用于预测二手车价格。 models/scaler.pkl:用于数据预处理的缩放器。 models.py:模型相关功能的实现。 train_model.py:训练模型的脚本。 Web 应用程序文件: app.py:Dash 应用程序的主文件。 callback
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
资源内项目源码是来自个人的毕业设计,代码都测试ok,包含源码、数据集、可视化页面和部署说明,可产生核心指标曲线图、混淆矩阵、F1分数曲线、精确率-召回率曲线、验证集预测结果、标签分布图。都是运行成功后才上传资源,毕设答辩评审绝对信服的保底85分以上,放心下载使用,拿来就能用。包含源码、数据集、可视化页面和部署说明一站式服务,拿来就能用的绝对好资源!!! 项目备注 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、大作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.txt文件,仅供学习参考, 切勿用于商业用途。
此为代码审查工具 可查 文件数,字节数,总行数,代码行数,注释行数,空白行数,注释率等
内容概要:本文档涵盖了一项关于企业破产概率的详细分析任务,分为书面回答和Python代码实现两大部分。第一部分涉及对业务类型和破产状态的边际分布、条件分布及相对风险的计算,并绘制了相应的二维条形图。第二部分利用Python进行了数据处理和可视化,包括计算比值比、识别抽样技术类型、分析鱼类数据集以及探讨辛普森悖论。此外,还提供了针对鱼类和树木数据的统计分析方法。 适合人群:适用于有一定数学和编程基础的学习者,尤其是对统计学、数据分析感兴趣的大学生或研究人员。 使用场景及目标:①帮助学生掌握统计学概念如边际分布、条件分布、相对风险和比值比的实际应用;②教授如何用Python进行数据清洗、分析和可视化;③提高对不同类型抽样技术和潜在偏见的理解。 其他说明:文档不仅包含了理论知识讲解,还有具体的代码实例供读者参考实践。同时提醒读者在完成作业时需要注意提交格式的要求。