- 浏览: 1505479 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (798)
- struts2 (42)
- servlet (20)
- quartz (4)
- jquery & ajax (24)
- tomcat (5)
- javascript (15)
- struts1 (8)
- 搜索关键字及链接 (3)
- fckeditor (3)
- Apache (5)
- spring (22)
- linux (3)
- 企业应用 (8)
- 综合应用 (13)
- 服务器 (2)
- 数据库 (85)
- 性能调优 (21)
- 网络应用 (15)
- 缓存技术 (8)
- 设计模式 (39)
- 面试题 (7)
- 程序人生&前辈程序员 (29)
- java基础 (59)
- hibernate (75)
- log4j (4)
- http (11)
- 架构设计 (28)
- 网页设计 (12)
- java邮件 (4)
- 相关工具 (11)
- ognl (7)
- 工作笔记 (18)
- 知识面扩展 (12)
- oracle异常 (1)
- 正则表达式 (2)
- java异常 (5)
- 项目实践&管理 (1)
- 专业术语 (11)
- 网站参考 (1)
- 论坛话题 (2)
- web应用 (11)
- cxf&webservice (22)
- freemarker (3)
- 开源项目 (9)
- eos (1)
- ibatis (6)
- 自定义标签 (3)
- jsp (3)
- 内部非公开文档(注意:保存为草稿) (0)
- 国内外知名企业 (2)
- 网店 (3)
- 分页 (1)
- 消费者习惯 (2)
- 每日关注 (1)
- 商业信息 (18)
- 关注商业网站 (1)
- 生活常识 (3)
- 新闻 (2)
- xml&JSON (5)
- solaris (1)
- apache.common (3)
- BLOB/CLOB (1)
- lucene (2)
- JMS (14)
- 社会进程 (8)
- SSH扩展 (2)
- 消费心理 (1)
- 珠三角 (1)
- 设计文档 (1)
- XWork&webwork (1)
- 软件工程 (3)
- 数据库及链接 (1)
- RMI (2)
- 国内外知名企业&人物 (1)
最新评论
-
司c马:
简介易懂、
OutputStream和InputStream的区别 -
在世界的中心呼喚愛:
解决我的问题
Java获取客户端的真实IP地址 -
bo_hai:
都是些基本的概念呀!
SSO -
tian_4238:
哥们,你也是搞水利这块的吧。
巧用SQLQuery中的addScalar -
loveEVERYday:
java.util.Date、java.sql.Date、java.sql.Time、java.sql.Timestamp小结
package test;
/*
* Created on 2010-08-16
* 注意:执行之前,需记录tb_trouble_code_desc,tb_trouble_code记录数,最大的ID,另外将序列值调整到最大的ID
*
*/
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.io.PrintWriter;
import java.io.UnsupportedEncodingException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.Arrays;
import org.apache.commons.httpclient.Header;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.NameValuePair;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.log4j.Logger;
/**
* @author madp
* 用于抓取canobd2网站上故障码数据
*/
public class GrabDTCByHttpClient extends Thread{
private static final Logger log = Logger.getLogger(GrabDTCByHttpClient.class);
String [] makeArray = null;
public GrabDTCByHttpClient(){}
public GrabDTCByHttpClient(String [] makes){
makeArray = makes;
}
public static void main(String[] args) {
runMain();
}
public static void runMain(){
String [] makes = {
"Infiniti",
"Isuzu",
"Jaguar",
"Jeep",
"Kia",
"Land Rover",
"Lexus",
"Lincoln",
"Maybach",
"Mazda",
"Mercedes-Benz",
"Mercury",
"Merkur",
"Mitsubishi",
"Nissan",
"Oldsmobile",
"Plymouth",
"Pontiac",
"Porsche",
"Saab",
"Saturn",
"Scion",
"Sterling",
"Subaru",
"Suzuki",
"Toyota",
"Volkswagen"};
String [] bb = new String[1];
/** 利用多线程,开启27个线程 **/
for(int i=0;i<27;i++){
System.arraycopy(makes, i, bb, 0, 1);
for(int j=0;j<1;j++){
System.out.println("--bb-->"+bb[j]);
}
Thread thread = new GrabDTCByHttpClient(bb);
thread.start();
}
}
/**
* 的到Http请求结果
*
* @param url请求地址
* @param parms请求参数
* @return
*/
public byte[] getBody(String url, Map parms) {
byte[] body = null;
// 构造HttpClient的实例
HttpClient httpClient = new HttpClient();
// 创建post方法的实例
PostMethod postMethod = new PostMethod(url);
// 填入各个表单域的值
NameValuePair[] data = new NameValuePair[parms.keySet().size()];
Iterator it = parms.entrySet().iterator();
int i = 0;
while (it.hasNext()) {
Map.Entry entry = (Map.Entry) it.next();
Object key = entry.getKey();
Object value = entry.getValue();
data[i] = new NameValuePair(key.toString(), value.toString());
i++;
}
// 将表单的值放入postMethod中
postMethod.setRequestBody(data);
try {
// 执行postMethod
int statusCode = httpClient.executeMethod(postMethod); // HttpClient对于要求接受后继服务的请求,象POST和PUT等不能自动处理转发
// 301或者302
if (statusCode == HttpStatus.SC_MOVED_PERMANENTLY
|| statusCode == HttpStatus.SC_MOVED_TEMPORARILY) {
// 从头中取出转向的地址
Header locationHeader = postMethod
.getResponseHeader("location");
String location = null;
if (locationHeader != null) {
location = locationHeader.getValue();
System.out
.println("The page was redirected to:" + location);
} else {
System.err.println("Location field value is null.");
}
}
body = postMethod.getResponseBody();
} catch (Exception e) {
e.printStackTrace();
System.out.println("--getBody出现问题--");
log.info("--getBody出现问题--"+e);
runMain();
}
return body;
}
public void run(){
runGrab(makeArray);
}
public void runGrab(String [] makes){
synchronized(makes){
File file11 = new File("d://commonMakes.txt");
FileOutputStream fos11 = null;
try {
fos11 = new FileOutputStream(file11);
} catch (FileNotFoundException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
PrintWriter pw11 = new PrintWriter(fos11);
String url = "http://www.canobd2.com/DtcLibrary/default.aspx";
/** 数组:所有车系 注意:Land Rover车系单独处理 别忘记了 **/
/** 如果执行中断,将当前的车系独立出来,将没有执行的故障码执行完后再列出以后的车系,并且将FOR循环里变量还原为初始状态,即从0-10迭代**/
// String[] makes = { /** 检查车系是否完整 **/
// "Hyundai" };
/**
"Acura",
"Alfa Romeo",
"Asuna",
"Audi",
"BMW",
"Buick",
"Cadillac",
"Chevrolet",
"Chrysler",
"Daewoo",
"Dodge",
"Eagle",
"Ford",
"Geo",
"GMC",
"Honda",
"Hyundai",
"Infiniti",
"Isuzu",
"Jaguar",
"Jeep",
"Kia",
"Land Rover",
"Lexus",
"Lincoln",
"Maybach",
"Mazda",
"Mercedes-Benz",
"Mercury",
"Merkur",
"Mitsubishi",
"Nissan",
"Oldsmobile",
"Plymouth",
"Pontiac",
"Porsche",
"Saab",
"Saturn",
"Scion",
"Sterling",
"Subaru",
"Suzuki",
"Toyota",
"Volkswagen"
*/
/** 将Land Rover车系单独出来处理,因为与crecorder的车系名称LANDROVER有区别 **/
Long startTime = new Date().getTime();
/** troublecodes:通用、专用故障码 **/
List<String> troublecodes = new ArrayList<String>();
/** finalTroublecodes:需抓取数据的故障码 **/
List<String> finalTroublecodes = new ArrayList<String>();
String strP0 = null;
String strP1 = null;
String strP2 = null;
String strP3 = null;
String str1 = null;
for(int i=1;i<10;i++){
for(int j=0;j<10;j++){
for(int k=0;k<10;k++){
str1 = String.valueOf(i)+String.valueOf(j)+String.valueOf(k);
strP0 = "P0"+ str1;
strP2 = "P2"+ str1;
if(Integer.parseInt(str1.substring(0, 1))>=4){
strP3 = "P3"+ str1;
}
if(strP0!=null){
troublecodes.add(strP0);
}
if(strP2!=null){
troublecodes.add(strP2);
}
if(strP3!=null){
troublecodes.add(strP3);
}
}
}
}
/** 获得数据库连接 **/
Connection connection = null;
try {
connection = getConnection();
} catch (ClassNotFoundException e3) {
e3.printStackTrace();
System.out.println("--getConnection出现问题--");
new GrabDTCByHttpClient().start();
} catch (SQLException e) {
e.printStackTrace();
System.out.println("--getConnection出现问题--");
new GrabDTCByHttpClient().start();
}
File file1 = new File("d://commonRecord.txt");
FileOutputStream fos = null;
try {
fos = new FileOutputStream(file1);
} catch (FileNotFoundException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
PrintWriter pw = new PrintWriter(fos);
/** 分为两种情况 **/
/** 1、通用情况 **/
String commonTroubleCodeSql = "select count(1) from tb_trouble_code_desc where trouble_code = ?" +
" and lan_id = 15";
Long count = null;
System.out.println("---通用故障码总数量-->"+troublecodes.size());
print(pw,"---通用故障码总数量-->"+troublecodes.size());
for(int i=0;i<troublecodes.size();i++){
/** 查看数据库中是否有记录 **/
count = getCount(connection,troublecodes.get(i),null,commonTroubleCodeSql);
String str = "--通用:数据库中记录数-->"+count+"->"+troublecodes.get(i);
System.out.println(str);
print(pw,str);
if(count==0){ /** 没有记录时,收集故障码 **/
System.out.println("--通用:待插入的故障码-->"+troublecodes.get(i));
print(pw,"--通用:待插入的故障码-->"+troublecodes.get(i));
finalTroublecodes.add(troublecodes.get(i));
}
}
System.out.println("---通用:待抓取并插入的故障码总数量-->"+finalTroublecodes.size()); /** 此数据应该与共插入的条数匹配 **/
print(pw,"---通用:待抓取并插入的故障码总数量-->"+finalTroublecodes.size());
/** 通用情况,所有车系对应统一的故障码描述,所以只取一个车系**/
String subMake [] = new String[1];
System.arraycopy(makes, 0, subMake, 0, 1);
for(String sr:makes){
print(pw11, sr);/** 打印每个开启的线程里的车系 **/
}
for(int i=0;i<subMake.length;i++){
System.out.println(subMake[i]);
}
grabAndInsert(pw,subMake,finalTroublecodes,url,connection);
print(pw,"--通用结束,开始专用情况--");
if(pw!=null){
pw.close();
pw = null;
}
try{
if(fos!=null){
fos.close();
fos = null;
}
}catch(Exception e){
e.printStackTrace();
}
if(pw11!=null){
pw11.close();
pw11 = null;
}
try{
if(fos11!=null){
fos11.close();
fos11 = null;
}
}catch(Exception e){
e.printStackTrace();
}
System.out.println("--通用结束,开始专用情况--");
System.out.println("************************");
/** 2、专用故障码情况 **/
troublecodes.clear();/** 清空 **/
finalTroublecodes.clear();/** 清空 **/
for(int i=1;i<10;i++){
for(int j=0;j<10;j++){
for(int k=0;k<10;k++){
str1 = String.valueOf(i)+String.valueOf(j)+String.valueOf(k);
strP1 = "P1"+ str1;
if(Integer.parseInt(str1.substring(0, 1))<4&&Integer.parseInt(str1.substring(0, 1))>=0){
strP3 = "P3"+ str1;
}
if(strP1!=null){
troublecodes.add(strP1);
}
if(strP3!=null){
troublecodes.add(strP3);
}
}
}
}
File file2 = new File("d://singleRecord.txt");
FileOutputStream fos2 = null;
try {
fos2 = new FileOutputStream(file2);
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
PrintWriter pw2 = new PrintWriter(fos2);
System.out.println("---专用故障码总数量-->"+troublecodes.size());
print(pw2,"---专用故障码总数量-->"+troublecodes.size());
String isExistSql = "select count(1) from tb_trouble_code_desc where trouble_code = ?" +
" and lan_id = 15 and models = ?";
for(int j=0;j<makes.length;j++){
for(int i=0;i<troublecodes.size();i++){
count = getCount(connection,troublecodes.get(i),makes[j],isExistSql);
System.out.println("--专用:数据库中记录数-->"+count);
print(pw2,"--专用:数据库中记录数-->"+count);
if(count==0){/** 数据库中无记录,列出有哪些troublecode,然后统一抓取后插入数据库 **/
System.out.println("--专用:待插入的故障码-->"+troublecodes.get(i)+"->"+makes[j]);
print(pw2,"--专用:待插入的故障码-->"+troublecodes.get(i)+"->"+makes[j]);
finalTroublecodes.add(troublecodes.get(i));
}
}
}
System.out.println("---专用:待抓取并插入的故障码总数量-->"+finalTroublecodes.size()); /** 此数据应该与共插入的条数匹配 **/
print(pw2,"---专用:待抓取并插入的故障码总数量-->"+finalTroublecodes.size());
grabAndInsert(pw2,makes,finalTroublecodes,url,connection);
if(pw2!=null){
pw2.close();
pw2 = null;
}
try{
if(fos2!=null){
fos2.close();
fos2 = null;
}
}catch(Exception e){
e.printStackTrace();
}
/** 关闭数据库链接 **/
closeConnection(connection);
Long endTime = new Date().getTime();
System.out.println("---------success----->"+(endTime-startTime)); /** 抓取数据及插入数据库,执行成功 **/
}
}
public static Long getCount(Connection connection,String troubleCode,String model,String sql){ /** 获取记录数 **/
PreparedStatement pr = null;
ResultSet rs = null;
Long count = null;
try {
pr = connection.prepareStatement(sql);
if(model==null){/** 判断通用故障码 如:P0开头等**/
pr.setString(1, troubleCode);
}else{
pr.setString(1, troubleCode);
pr.setString(2, model);
}
rs = pr.executeQuery();
if(rs.next()){
count = rs.getLong(1);
}
} catch (SQLException e) {
e.printStackTrace();
}finally{
try {
if(rs!=null){
rs.close();
rs = null;
}
if(pr!=null){
pr.close();
pr = null;
}
} catch (SQLException e) {
e.printStackTrace();
}
}
return count;
}
/** 打印输出到文件 **/
public void print(PrintWriter pw,String str){
try{
pw.println(str);
pw.flush();
}catch(Exception e){
e.printStackTrace();
}
}
/** 抓取数据后插入数据库 **/
public void grabAndInsert(PrintWriter pw,String[] makes,List<String> troublecodes,String url,Connection connection){
Map parms1 = new HashMap();
GrabDTCByHttpClient client = new GrabDTCByHttpClient();
parms1.put("submitButton", "Submit");
parms1.put("__EVENTARGUMENT", "");
parms1.put("__EVENTTARGET", "");
parms1.put("__sx", "0");
parms1
.put(
"__VIEWSTATE",
"/wEPDwULLTE5MzcxNjE1MzkPFgQeDl9fUHJldmlvdXNQYWdlZR4LX19SZXR1cm5VcmwFGC9EdGNMaWJyYXJ5L2RlZmF1bHQuYXNweBYCAgEPZBYIZg9kFgZmDxYCHgVzdHlsZQUNZGlzcGxheTpub25lO2QCAg8WAh4HVmlzaWJsZWdkAgMPFgIfA2hkAgUPEA8WAh4LXyFEYXRhQm91bmRnZBAVLQ5TZWxlY3QgTWFrZS4uLgVBY3VyYQpBbGZhIFJvbWVvBUFzdW5hBEF1ZGkDQk1XBUJ1aWNrCENhZGlsbGFjCUNoZXZyb2xldAhDaHJ5c2xlcgZEYWV3b28FRG9kZ2UFRWFnbGUERm9yZANHZW8DR01DBUhvbmRhB0h5dW5kYWkISW5maW5pdGkFSXN1enUGSmFndWFyBEplZXADS2lhCkxhbmQgUm92ZXIFTGV4dXMHTGluY29sbgdNYXliYWNoBU1hemRhDU1lcmNlZGVzLUJlbnoHTWVyY3VyeQZNZXJrdXIKTWl0c3ViaXNoaQZOaXNzYW4KT2xkc21vYmlsZQhQbHltb3V0aAdQb250aWFjB1BvcnNjaGUEU2FhYgZTYXR1cm4FU2Npb24IU3RlcmxpbmcGU3ViYXJ1BlN1enVraQZUb3lvdGEKVm9sa3N3YWdlbhUtAAVBY3VyYQpBbGZhIFJvbWVvBUFzdW5hBEF1ZGkDQk1XBUJ1aWNrCENhZGlsbGFjCUNoZXZyb2xldAhDaHJ5c2xlcgZEYWV3b28FRG9kZ2UFRWFnbGUERm9yZANHZW8DR01DBUhvbmRhB0h5dW5kYWkISW5maW5pdGkFSXN1enUGSmFndWFyBEplZXADS2lhCkxhbmQgUm92ZXIFTGV4dXMHTGluY29sbgdNYXliYWNoBU1hemRhDU1lcmNlZGVzLUJlbnoHTWVyY3VyeQZNZXJrdXIKTWl0c3ViaXNoaQZOaXNzYW4KT2xkc21vYmlsZQhQbHltb3V0aAdQb250aWFjB1BvcnNjaGUEU2FhYgZTYXR1cm4FU2Npb24IU3RlcmxpbmcGU3ViYXJ1BlN1enVraQZUb3lvdGEKVm9sa3N3YWdlbhQrAy1nZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dkZAIIDxYCHwNnFgZmDw8WAh4EVGV4dAUFUDAwMDFkZAIBDw8WAh8FBQNCTVdkZAICDw8WAh8FBSxGdWVsIFZvbHVtZSBSZWd1bGF0b3IgQ29udHJvbCBDaXJjdWl0IC8gT3BlbmRkAgkPFgIfA2hkZOkD5Ngxd3cE1BXKSzs9IYasdy+1");
parms1.put("__sy", "102");
int ii = 0;
int jj = 0;
for (int i = 0; i < makes.length; i++) { //45
parms1.put("vehicleMake", makes[i]);
for (int j = 0; j < troublecodes.size(); j++) { //4000
parms1.put("dtc", troublecodes.get(j));
// 根据车系、故障码查出描述
String result2 = null;
try {
result2 = new String(client.getBody(url, parms1),"utf-8");
} catch (UnsupportedEncodingException e2) {
System.out.println("-- 字符串转换错误 --");
e2.printStackTrace();
}
//String [] str = result2.split("descriptionLabel"+"\\p{Punct}\\p{Punct}"); /** 判断返回的字符串中是否包含descriptionLabel"> **/
String regex = "<span id=\"descriptionLabel\">([^<]*)</span>";
Pattern pattern = Pattern.compile(regex);
Matcher matcher = pattern.matcher(result2);
if(matcher.find()){ /** 若length>1,一定包含 **/
String str = matcher.group(1);
/**
* 获得的数据:
* 车系:makes[i]
* 故障码:troublecodes.get(j)
* 描述:str[1]
*/
if(makes[i] == "Land Rover"){
makes[i] = "LANDROVER";
}
System.out.println("-- 插入的数据 -->"+makes[i].toUpperCase()+" -> "+troublecodes.get(j)+" -> "+str);
print(pw,"-- 插入的数据 -->"+makes[i].toUpperCase()+" -> "+troublecodes.get(j)+" -> "+str);
preInsertData(connection,makes[i].toUpperCase(),troublecodes.get(j),str);
ii++;
}else{ /** 没有找到对应的数据 **/
System.out.println("--没有抓取到数据-->"+makes[i]+"->"+troublecodes.get(j));
print(pw, "--没有抓取到数据-->"+makes[i]+"->"+troublecodes.get(j));
jj++;
//System.out.println("-------------***--str--22-----"+makes[i]+"@"+troublecodes.get(j)+"@"+"Sorry, we were unable to find that code.");
//String ret = makes[i]+"@"+troublecodes.get(j)+"@"+"Sorry, we were unable to find that code.";
//pw.println(ret);
//pw.flush();
}
}
}
System.out.println("--共插入数据库的数据量-->"+ii);
System.out.println("--没有抓取到数据的总量-->"+jj);
print(pw, "--共插入数据库的数据量-->"+ii);
print(pw, "--没有抓取到数据的总量-->"+jj);
}
/** 获得连接 *
* @throws ClassNotFoundException
* @throws SQLException */
public static Connection getConnection() throws ClassNotFoundException, SQLException{
String driverName = "oracle.jdbc.driver.OracleDriver";
String url = "jdbc:oracle:thin:@192.168.17.96:1521:TX431";
String user = "crecorder";
String password = "crecorder";
Connection conn = null;
try {
Class.forName(driverName);
conn = DriverManager.getConnection(url, user, password);
System.out.println("-- 获取数据库链接成功 --");
}catch(ClassNotFoundException e){
System.out.println("-- 获取数据库链接失败,驱动不存在 --");
e.printStackTrace();
throw e;
}catch (SQLException e) {
System.out.println("-- 获取数据库链接失败 --");
e.printStackTrace();
throw e;
}
return conn;
}
/** 准备插入数据 **/
public static void preInsertData(Connection connection,String make,String troubleCode,String desc){
System.out.println("-- 开始插入数据 --");
/** 根据故障码,获得父键PID **/
Long pid = getPidByTroubleCode(connection,troubleCode);
if(pid!=null){ /** 父键存在 **/
insertData(connection,pid,troubleCode,desc,make);
}else{ /** 父键不存在,插入故障码到父表,获得父键PID **/
pid = getPidByInsertTroubleCode(connection,troubleCode);
insertData(connection,pid,troubleCode,desc,make);
}
}
/** 插入数据 **/
public static void insertData(Connection connection,Long pid,String troubleCode,String desc,String make){
String sql = "insert into tb_trouble_code_desc values(trouble_code_desc_seq.nextval,?,?,'','',15,?,?,'','')";
// String string = "insert into tb_trouble_code_desc values(trouble_code_desc_seq.nextval,"+pid+","+troubleCode+",'','',15,"+desc+","+make+",'','')";
// System.out.println("-->"+string);
/**
* ID NUMBER(15)
PID NUMBER(15)
TROUBLE_CODE VARCHAR2(512)
DESCRIPTION VARCHAR2(1536)
PDF_PATH VARCHAR2(250)
LAN_ID NUMBER(15)
BRIEF_DESC VARCHAR2(1024)
MODELS VARCHAR2(256)
YEAR NUMBER(4)
TYPE NUMBER(1)
*/
PreparedStatement pstmt = null;
try {
pstmt = connection.prepareStatement(sql);
pstmt.setLong(1, pid);
pstmt.setString(2, troubleCode);
pstmt.setString(3, desc);
pstmt.setString(4, make);
pstmt.execute();
System.out.println("-- 插入数据成功 --");
} catch (SQLException e) {
System.out.println("-- 插入数据失败 --");
e.printStackTrace();
}
try {
pstmt.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
/** 通过故障码查询父键PID**/
public static Long getPidByTroubleCode(Connection connection,String troubleCode){
Long pid = null;
/** 查询数据库,获得父键PID**/
String pidSql = "select id from tb_trouble_code t where t.trouble_code = ?";
ResultSet rs = null;
PreparedStatement pStatement = null;
try{
pStatement = connection.prepareStatement(pidSql);
pStatement.setString(1, troubleCode);
rs = pStatement.executeQuery();
while(rs.next()){
pid = rs.getLong("id"); /** 一条记录 **/
}
//System.out.println("-- 获取父键PID成功 -->"+pid);
}catch(SQLException e){
System.out.println("-- 获取父键PID失败 --");
e.printStackTrace();
}
try {
rs.close();
pStatement.close();
} catch (SQLException e) {
e.printStackTrace();
}
return pid;
}
/** 插入故障码并返回主键PID**/
public static Long getPidByInsertTroubleCode(Connection connection,String troubleCode){
Long pid = null;
/** 为了获得主表的PID,先取sequence,再往主表插入记录。**/
String sequenceSql = "select trouble_code_seq.nextval pid from dual ";
try {
PreparedStatement pr = connection.prepareStatement(sequenceSql);
ResultSet rs = pr.executeQuery();
if(rs.next()){
pid = rs.getLong("pid");
}
System.out.println("-- 获取sequence,返回主键PID成功-->"+pid);
rs.close();
pr.close();
} catch (SQLException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
String troubleCodeSql = "insert into tb_trouble_code values(?,?,'','madp')";
/**
* ID NUMBER(15)
TROUBLE_CODE VARCHAR2(512)
ENTRY_TIME DATE
CREATOR VARCHAR2(60)
*/
try {
PreparedStatement prstmt = connection.prepareStatement(troubleCodeSql, Statement.RETURN_GENERATED_KEYS);
prstmt.setLong(1, pid);
prstmt.setString(2, troubleCode);
prstmt.execute();
// ResultSet rSet = prstmt.getGeneratedKeys();
// while(rSet.next()){
// System.out.println("----"+rSet.getString(1));
// //pid = Integer.valueOf(rSet.getInt(1)).longValue();
// }
System.out.println("-- 插入故障码成功--");
//rSet.close();
prstmt.close();
} catch (SQLException e) {
System.out.println("-- 插入故障码并返回主键PID失败--");
e.printStackTrace();
}
return pid;
}
/** 关闭数据库连接 **/
public static void closeConnection(Connection conn){
try{
if(!conn.isClosed()){
conn.close();
}
}catch(SQLException e){
e.printStackTrace();
}
}
/** 插入数据库中没有的车系 表:tb_car_desc *
* @throws ClassNotFoundException
* @throws SQLException */
public static void insertMake(String make) throws ClassNotFoundException, SQLException{
Connection connection = getConnection();
String sql = "select count(1) from tb_car_desc where code = ? and lan_id = 15 ";
try {
PreparedStatement ps = connection.prepareStatement(sql);
ps.setString(1, make);
ResultSet rs = ps.executeQuery();
Long count = null;
while(rs.next()){
count = rs.getLong(1);
}
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
/**
-- 插入数据成功 --
java.net.SocketException: Connection reset
at java.net.SocketInputStream.read(SocketInputStream.java:168)
at java.io.BufferedInputStream.read1(BufferedInputStream.java:256)
at java.io.BufferedInputStream.read(BufferedInputStream.java:317)
at org.apache.commons.httpclient.ContentLengthInputStream.read(ContentLengthInputStream.java:169)
at java.io.FilterInputStream.read(FilterInputStream.java:116)
at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:107)
at java.io.FilterInputStream.read(FilterInputStream.java:90)
at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:126)
at org.apache.commons.httpclient.HttpMethodBase.getResponseBody(HttpMethodBase.java:684)
at test.GrabDTCByHttpClient.getBody(GrabDTCByHttpClient.java:86)
at test.GrabDTCByHttpClient.main(GrabDTCByHttpClient.java:247)
Exception in thread "main" java.lang.NullPointerException
at java.lang.String.<init>(String.java:515)
at test.GrabDTCByHttpClient.main(GrabDTCByHttpClient.java:247)
**/
/*
* Created on 2010-08-16
* 注意:执行之前,需记录tb_trouble_code_desc,tb_trouble_code记录数,最大的ID,另外将序列值调整到最大的ID
*
*/
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.io.PrintWriter;
import java.io.UnsupportedEncodingException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import java.util.Arrays;
import org.apache.commons.httpclient.Header;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.HttpStatus;
import org.apache.commons.httpclient.NameValuePair;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.log4j.Logger;
/**
* @author madp
* 用于抓取canobd2网站上故障码数据
*/
public class GrabDTCByHttpClient extends Thread{
private static final Logger log = Logger.getLogger(GrabDTCByHttpClient.class);
String [] makeArray = null;
public GrabDTCByHttpClient(){}
public GrabDTCByHttpClient(String [] makes){
makeArray = makes;
}
public static void main(String[] args) {
runMain();
}
public static void runMain(){
String [] makes = {
"Infiniti",
"Isuzu",
"Jaguar",
"Jeep",
"Kia",
"Land Rover",
"Lexus",
"Lincoln",
"Maybach",
"Mazda",
"Mercedes-Benz",
"Mercury",
"Merkur",
"Mitsubishi",
"Nissan",
"Oldsmobile",
"Plymouth",
"Pontiac",
"Porsche",
"Saab",
"Saturn",
"Scion",
"Sterling",
"Subaru",
"Suzuki",
"Toyota",
"Volkswagen"};
String [] bb = new String[1];
/** 利用多线程,开启27个线程 **/
for(int i=0;i<27;i++){
System.arraycopy(makes, i, bb, 0, 1);
for(int j=0;j<1;j++){
System.out.println("--bb-->"+bb[j]);
}
Thread thread = new GrabDTCByHttpClient(bb);
thread.start();
}
}
/**
* 的到Http请求结果
*
* @param url请求地址
* @param parms请求参数
* @return
*/
public byte[] getBody(String url, Map parms) {
byte[] body = null;
// 构造HttpClient的实例
HttpClient httpClient = new HttpClient();
// 创建post方法的实例
PostMethod postMethod = new PostMethod(url);
// 填入各个表单域的值
NameValuePair[] data = new NameValuePair[parms.keySet().size()];
Iterator it = parms.entrySet().iterator();
int i = 0;
while (it.hasNext()) {
Map.Entry entry = (Map.Entry) it.next();
Object key = entry.getKey();
Object value = entry.getValue();
data[i] = new NameValuePair(key.toString(), value.toString());
i++;
}
// 将表单的值放入postMethod中
postMethod.setRequestBody(data);
try {
// 执行postMethod
int statusCode = httpClient.executeMethod(postMethod); // HttpClient对于要求接受后继服务的请求,象POST和PUT等不能自动处理转发
// 301或者302
if (statusCode == HttpStatus.SC_MOVED_PERMANENTLY
|| statusCode == HttpStatus.SC_MOVED_TEMPORARILY) {
// 从头中取出转向的地址
Header locationHeader = postMethod
.getResponseHeader("location");
String location = null;
if (locationHeader != null) {
location = locationHeader.getValue();
System.out
.println("The page was redirected to:" + location);
} else {
System.err.println("Location field value is null.");
}
}
body = postMethod.getResponseBody();
} catch (Exception e) {
e.printStackTrace();
System.out.println("--getBody出现问题--");
log.info("--getBody出现问题--"+e);
runMain();
}
return body;
}
public void run(){
runGrab(makeArray);
}
public void runGrab(String [] makes){
synchronized(makes){
File file11 = new File("d://commonMakes.txt");
FileOutputStream fos11 = null;
try {
fos11 = new FileOutputStream(file11);
} catch (FileNotFoundException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
PrintWriter pw11 = new PrintWriter(fos11);
String url = "http://www.canobd2.com/DtcLibrary/default.aspx";
/** 数组:所有车系 注意:Land Rover车系单独处理 别忘记了 **/
/** 如果执行中断,将当前的车系独立出来,将没有执行的故障码执行完后再列出以后的车系,并且将FOR循环里变量还原为初始状态,即从0-10迭代**/
// String[] makes = { /** 检查车系是否完整 **/
// "Hyundai" };
/**
"Acura",
"Alfa Romeo",
"Asuna",
"Audi",
"BMW",
"Buick",
"Cadillac",
"Chevrolet",
"Chrysler",
"Daewoo",
"Dodge",
"Eagle",
"Ford",
"Geo",
"GMC",
"Honda",
"Hyundai",
"Infiniti",
"Isuzu",
"Jaguar",
"Jeep",
"Kia",
"Land Rover",
"Lexus",
"Lincoln",
"Maybach",
"Mazda",
"Mercedes-Benz",
"Mercury",
"Merkur",
"Mitsubishi",
"Nissan",
"Oldsmobile",
"Plymouth",
"Pontiac",
"Porsche",
"Saab",
"Saturn",
"Scion",
"Sterling",
"Subaru",
"Suzuki",
"Toyota",
"Volkswagen"
*/
/** 将Land Rover车系单独出来处理,因为与crecorder的车系名称LANDROVER有区别 **/
Long startTime = new Date().getTime();
/** troublecodes:通用、专用故障码 **/
List<String> troublecodes = new ArrayList<String>();
/** finalTroublecodes:需抓取数据的故障码 **/
List<String> finalTroublecodes = new ArrayList<String>();
String strP0 = null;
String strP1 = null;
String strP2 = null;
String strP3 = null;
String str1 = null;
for(int i=1;i<10;i++){
for(int j=0;j<10;j++){
for(int k=0;k<10;k++){
str1 = String.valueOf(i)+String.valueOf(j)+String.valueOf(k);
strP0 = "P0"+ str1;
strP2 = "P2"+ str1;
if(Integer.parseInt(str1.substring(0, 1))>=4){
strP3 = "P3"+ str1;
}
if(strP0!=null){
troublecodes.add(strP0);
}
if(strP2!=null){
troublecodes.add(strP2);
}
if(strP3!=null){
troublecodes.add(strP3);
}
}
}
}
/** 获得数据库连接 **/
Connection connection = null;
try {
connection = getConnection();
} catch (ClassNotFoundException e3) {
e3.printStackTrace();
System.out.println("--getConnection出现问题--");
new GrabDTCByHttpClient().start();
} catch (SQLException e) {
e.printStackTrace();
System.out.println("--getConnection出现问题--");
new GrabDTCByHttpClient().start();
}
File file1 = new File("d://commonRecord.txt");
FileOutputStream fos = null;
try {
fos = new FileOutputStream(file1);
} catch (FileNotFoundException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
PrintWriter pw = new PrintWriter(fos);
/** 分为两种情况 **/
/** 1、通用情况 **/
String commonTroubleCodeSql = "select count(1) from tb_trouble_code_desc where trouble_code = ?" +
" and lan_id = 15";
Long count = null;
System.out.println("---通用故障码总数量-->"+troublecodes.size());
print(pw,"---通用故障码总数量-->"+troublecodes.size());
for(int i=0;i<troublecodes.size();i++){
/** 查看数据库中是否有记录 **/
count = getCount(connection,troublecodes.get(i),null,commonTroubleCodeSql);
String str = "--通用:数据库中记录数-->"+count+"->"+troublecodes.get(i);
System.out.println(str);
print(pw,str);
if(count==0){ /** 没有记录时,收集故障码 **/
System.out.println("--通用:待插入的故障码-->"+troublecodes.get(i));
print(pw,"--通用:待插入的故障码-->"+troublecodes.get(i));
finalTroublecodes.add(troublecodes.get(i));
}
}
System.out.println("---通用:待抓取并插入的故障码总数量-->"+finalTroublecodes.size()); /** 此数据应该与共插入的条数匹配 **/
print(pw,"---通用:待抓取并插入的故障码总数量-->"+finalTroublecodes.size());
/** 通用情况,所有车系对应统一的故障码描述,所以只取一个车系**/
String subMake [] = new String[1];
System.arraycopy(makes, 0, subMake, 0, 1);
for(String sr:makes){
print(pw11, sr);/** 打印每个开启的线程里的车系 **/
}
for(int i=0;i<subMake.length;i++){
System.out.println(subMake[i]);
}
grabAndInsert(pw,subMake,finalTroublecodes,url,connection);
print(pw,"--通用结束,开始专用情况--");
if(pw!=null){
pw.close();
pw = null;
}
try{
if(fos!=null){
fos.close();
fos = null;
}
}catch(Exception e){
e.printStackTrace();
}
if(pw11!=null){
pw11.close();
pw11 = null;
}
try{
if(fos11!=null){
fos11.close();
fos11 = null;
}
}catch(Exception e){
e.printStackTrace();
}
System.out.println("--通用结束,开始专用情况--");
System.out.println("************************");
/** 2、专用故障码情况 **/
troublecodes.clear();/** 清空 **/
finalTroublecodes.clear();/** 清空 **/
for(int i=1;i<10;i++){
for(int j=0;j<10;j++){
for(int k=0;k<10;k++){
str1 = String.valueOf(i)+String.valueOf(j)+String.valueOf(k);
strP1 = "P1"+ str1;
if(Integer.parseInt(str1.substring(0, 1))<4&&Integer.parseInt(str1.substring(0, 1))>=0){
strP3 = "P3"+ str1;
}
if(strP1!=null){
troublecodes.add(strP1);
}
if(strP3!=null){
troublecodes.add(strP3);
}
}
}
}
File file2 = new File("d://singleRecord.txt");
FileOutputStream fos2 = null;
try {
fos2 = new FileOutputStream(file2);
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
PrintWriter pw2 = new PrintWriter(fos2);
System.out.println("---专用故障码总数量-->"+troublecodes.size());
print(pw2,"---专用故障码总数量-->"+troublecodes.size());
String isExistSql = "select count(1) from tb_trouble_code_desc where trouble_code = ?" +
" and lan_id = 15 and models = ?";
for(int j=0;j<makes.length;j++){
for(int i=0;i<troublecodes.size();i++){
count = getCount(connection,troublecodes.get(i),makes[j],isExistSql);
System.out.println("--专用:数据库中记录数-->"+count);
print(pw2,"--专用:数据库中记录数-->"+count);
if(count==0){/** 数据库中无记录,列出有哪些troublecode,然后统一抓取后插入数据库 **/
System.out.println("--专用:待插入的故障码-->"+troublecodes.get(i)+"->"+makes[j]);
print(pw2,"--专用:待插入的故障码-->"+troublecodes.get(i)+"->"+makes[j]);
finalTroublecodes.add(troublecodes.get(i));
}
}
}
System.out.println("---专用:待抓取并插入的故障码总数量-->"+finalTroublecodes.size()); /** 此数据应该与共插入的条数匹配 **/
print(pw2,"---专用:待抓取并插入的故障码总数量-->"+finalTroublecodes.size());
grabAndInsert(pw2,makes,finalTroublecodes,url,connection);
if(pw2!=null){
pw2.close();
pw2 = null;
}
try{
if(fos2!=null){
fos2.close();
fos2 = null;
}
}catch(Exception e){
e.printStackTrace();
}
/** 关闭数据库链接 **/
closeConnection(connection);
Long endTime = new Date().getTime();
System.out.println("---------success----->"+(endTime-startTime)); /** 抓取数据及插入数据库,执行成功 **/
}
}
public static Long getCount(Connection connection,String troubleCode,String model,String sql){ /** 获取记录数 **/
PreparedStatement pr = null;
ResultSet rs = null;
Long count = null;
try {
pr = connection.prepareStatement(sql);
if(model==null){/** 判断通用故障码 如:P0开头等**/
pr.setString(1, troubleCode);
}else{
pr.setString(1, troubleCode);
pr.setString(2, model);
}
rs = pr.executeQuery();
if(rs.next()){
count = rs.getLong(1);
}
} catch (SQLException e) {
e.printStackTrace();
}finally{
try {
if(rs!=null){
rs.close();
rs = null;
}
if(pr!=null){
pr.close();
pr = null;
}
} catch (SQLException e) {
e.printStackTrace();
}
}
return count;
}
/** 打印输出到文件 **/
public void print(PrintWriter pw,String str){
try{
pw.println(str);
pw.flush();
}catch(Exception e){
e.printStackTrace();
}
}
/** 抓取数据后插入数据库 **/
public void grabAndInsert(PrintWriter pw,String[] makes,List<String> troublecodes,String url,Connection connection){
Map parms1 = new HashMap();
GrabDTCByHttpClient client = new GrabDTCByHttpClient();
parms1.put("submitButton", "Submit");
parms1.put("__EVENTARGUMENT", "");
parms1.put("__EVENTTARGET", "");
parms1.put("__sx", "0");
parms1
.put(
"__VIEWSTATE",
"/wEPDwULLTE5MzcxNjE1MzkPFgQeDl9fUHJldmlvdXNQYWdlZR4LX19SZXR1cm5VcmwFGC9EdGNMaWJyYXJ5L2RlZmF1bHQuYXNweBYCAgEPZBYIZg9kFgZmDxYCHgVzdHlsZQUNZGlzcGxheTpub25lO2QCAg8WAh4HVmlzaWJsZWdkAgMPFgIfA2hkAgUPEA8WAh4LXyFEYXRhQm91bmRnZBAVLQ5TZWxlY3QgTWFrZS4uLgVBY3VyYQpBbGZhIFJvbWVvBUFzdW5hBEF1ZGkDQk1XBUJ1aWNrCENhZGlsbGFjCUNoZXZyb2xldAhDaHJ5c2xlcgZEYWV3b28FRG9kZ2UFRWFnbGUERm9yZANHZW8DR01DBUhvbmRhB0h5dW5kYWkISW5maW5pdGkFSXN1enUGSmFndWFyBEplZXADS2lhCkxhbmQgUm92ZXIFTGV4dXMHTGluY29sbgdNYXliYWNoBU1hemRhDU1lcmNlZGVzLUJlbnoHTWVyY3VyeQZNZXJrdXIKTWl0c3ViaXNoaQZOaXNzYW4KT2xkc21vYmlsZQhQbHltb3V0aAdQb250aWFjB1BvcnNjaGUEU2FhYgZTYXR1cm4FU2Npb24IU3RlcmxpbmcGU3ViYXJ1BlN1enVraQZUb3lvdGEKVm9sa3N3YWdlbhUtAAVBY3VyYQpBbGZhIFJvbWVvBUFzdW5hBEF1ZGkDQk1XBUJ1aWNrCENhZGlsbGFjCUNoZXZyb2xldAhDaHJ5c2xlcgZEYWV3b28FRG9kZ2UFRWFnbGUERm9yZANHZW8DR01DBUhvbmRhB0h5dW5kYWkISW5maW5pdGkFSXN1enUGSmFndWFyBEplZXADS2lhCkxhbmQgUm92ZXIFTGV4dXMHTGluY29sbgdNYXliYWNoBU1hemRhDU1lcmNlZGVzLUJlbnoHTWVyY3VyeQZNZXJrdXIKTWl0c3ViaXNoaQZOaXNzYW4KT2xkc21vYmlsZQhQbHltb3V0aAdQb250aWFjB1BvcnNjaGUEU2FhYgZTYXR1cm4FU2Npb24IU3RlcmxpbmcGU3ViYXJ1BlN1enVraQZUb3lvdGEKVm9sa3N3YWdlbhQrAy1nZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dnZ2dkZAIIDxYCHwNnFgZmDw8WAh4EVGV4dAUFUDAwMDFkZAIBDw8WAh8FBQNCTVdkZAICDw8WAh8FBSxGdWVsIFZvbHVtZSBSZWd1bGF0b3IgQ29udHJvbCBDaXJjdWl0IC8gT3BlbmRkAgkPFgIfA2hkZOkD5Ngxd3cE1BXKSzs9IYasdy+1");
parms1.put("__sy", "102");
int ii = 0;
int jj = 0;
for (int i = 0; i < makes.length; i++) { //45
parms1.put("vehicleMake", makes[i]);
for (int j = 0; j < troublecodes.size(); j++) { //4000
parms1.put("dtc", troublecodes.get(j));
// 根据车系、故障码查出描述
String result2 = null;
try {
result2 = new String(client.getBody(url, parms1),"utf-8");
} catch (UnsupportedEncodingException e2) {
System.out.println("-- 字符串转换错误 --");
e2.printStackTrace();
}
//String [] str = result2.split("descriptionLabel"+"\\p{Punct}\\p{Punct}"); /** 判断返回的字符串中是否包含descriptionLabel"> **/
String regex = "<span id=\"descriptionLabel\">([^<]*)</span>";
Pattern pattern = Pattern.compile(regex);
Matcher matcher = pattern.matcher(result2);
if(matcher.find()){ /** 若length>1,一定包含 **/
String str = matcher.group(1);
/**
* 获得的数据:
* 车系:makes[i]
* 故障码:troublecodes.get(j)
* 描述:str[1]
*/
if(makes[i] == "Land Rover"){
makes[i] = "LANDROVER";
}
System.out.println("-- 插入的数据 -->"+makes[i].toUpperCase()+" -> "+troublecodes.get(j)+" -> "+str);
print(pw,"-- 插入的数据 -->"+makes[i].toUpperCase()+" -> "+troublecodes.get(j)+" -> "+str);
preInsertData(connection,makes[i].toUpperCase(),troublecodes.get(j),str);
ii++;
}else{ /** 没有找到对应的数据 **/
System.out.println("--没有抓取到数据-->"+makes[i]+"->"+troublecodes.get(j));
print(pw, "--没有抓取到数据-->"+makes[i]+"->"+troublecodes.get(j));
jj++;
//System.out.println("-------------***--str--22-----"+makes[i]+"@"+troublecodes.get(j)+"@"+"Sorry, we were unable to find that code.");
//String ret = makes[i]+"@"+troublecodes.get(j)+"@"+"Sorry, we were unable to find that code.";
//pw.println(ret);
//pw.flush();
}
}
}
System.out.println("--共插入数据库的数据量-->"+ii);
System.out.println("--没有抓取到数据的总量-->"+jj);
print(pw, "--共插入数据库的数据量-->"+ii);
print(pw, "--没有抓取到数据的总量-->"+jj);
}
/** 获得连接 *
* @throws ClassNotFoundException
* @throws SQLException */
public static Connection getConnection() throws ClassNotFoundException, SQLException{
String driverName = "oracle.jdbc.driver.OracleDriver";
String url = "jdbc:oracle:thin:@192.168.17.96:1521:TX431";
String user = "crecorder";
String password = "crecorder";
Connection conn = null;
try {
Class.forName(driverName);
conn = DriverManager.getConnection(url, user, password);
System.out.println("-- 获取数据库链接成功 --");
}catch(ClassNotFoundException e){
System.out.println("-- 获取数据库链接失败,驱动不存在 --");
e.printStackTrace();
throw e;
}catch (SQLException e) {
System.out.println("-- 获取数据库链接失败 --");
e.printStackTrace();
throw e;
}
return conn;
}
/** 准备插入数据 **/
public static void preInsertData(Connection connection,String make,String troubleCode,String desc){
System.out.println("-- 开始插入数据 --");
/** 根据故障码,获得父键PID **/
Long pid = getPidByTroubleCode(connection,troubleCode);
if(pid!=null){ /** 父键存在 **/
insertData(connection,pid,troubleCode,desc,make);
}else{ /** 父键不存在,插入故障码到父表,获得父键PID **/
pid = getPidByInsertTroubleCode(connection,troubleCode);
insertData(connection,pid,troubleCode,desc,make);
}
}
/** 插入数据 **/
public static void insertData(Connection connection,Long pid,String troubleCode,String desc,String make){
String sql = "insert into tb_trouble_code_desc values(trouble_code_desc_seq.nextval,?,?,'','',15,?,?,'','')";
// String string = "insert into tb_trouble_code_desc values(trouble_code_desc_seq.nextval,"+pid+","+troubleCode+",'','',15,"+desc+","+make+",'','')";
// System.out.println("-->"+string);
/**
* ID NUMBER(15)
PID NUMBER(15)
TROUBLE_CODE VARCHAR2(512)
DESCRIPTION VARCHAR2(1536)
PDF_PATH VARCHAR2(250)
LAN_ID NUMBER(15)
BRIEF_DESC VARCHAR2(1024)
MODELS VARCHAR2(256)
YEAR NUMBER(4)
TYPE NUMBER(1)
*/
PreparedStatement pstmt = null;
try {
pstmt = connection.prepareStatement(sql);
pstmt.setLong(1, pid);
pstmt.setString(2, troubleCode);
pstmt.setString(3, desc);
pstmt.setString(4, make);
pstmt.execute();
System.out.println("-- 插入数据成功 --");
} catch (SQLException e) {
System.out.println("-- 插入数据失败 --");
e.printStackTrace();
}
try {
pstmt.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
/** 通过故障码查询父键PID**/
public static Long getPidByTroubleCode(Connection connection,String troubleCode){
Long pid = null;
/** 查询数据库,获得父键PID**/
String pidSql = "select id from tb_trouble_code t where t.trouble_code = ?";
ResultSet rs = null;
PreparedStatement pStatement = null;
try{
pStatement = connection.prepareStatement(pidSql);
pStatement.setString(1, troubleCode);
rs = pStatement.executeQuery();
while(rs.next()){
pid = rs.getLong("id"); /** 一条记录 **/
}
//System.out.println("-- 获取父键PID成功 -->"+pid);
}catch(SQLException e){
System.out.println("-- 获取父键PID失败 --");
e.printStackTrace();
}
try {
rs.close();
pStatement.close();
} catch (SQLException e) {
e.printStackTrace();
}
return pid;
}
/** 插入故障码并返回主键PID**/
public static Long getPidByInsertTroubleCode(Connection connection,String troubleCode){
Long pid = null;
/** 为了获得主表的PID,先取sequence,再往主表插入记录。**/
String sequenceSql = "select trouble_code_seq.nextval pid from dual ";
try {
PreparedStatement pr = connection.prepareStatement(sequenceSql);
ResultSet rs = pr.executeQuery();
if(rs.next()){
pid = rs.getLong("pid");
}
System.out.println("-- 获取sequence,返回主键PID成功-->"+pid);
rs.close();
pr.close();
} catch (SQLException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
String troubleCodeSql = "insert into tb_trouble_code values(?,?,'','madp')";
/**
* ID NUMBER(15)
TROUBLE_CODE VARCHAR2(512)
ENTRY_TIME DATE
CREATOR VARCHAR2(60)
*/
try {
PreparedStatement prstmt = connection.prepareStatement(troubleCodeSql, Statement.RETURN_GENERATED_KEYS);
prstmt.setLong(1, pid);
prstmt.setString(2, troubleCode);
prstmt.execute();
// ResultSet rSet = prstmt.getGeneratedKeys();
// while(rSet.next()){
// System.out.println("----"+rSet.getString(1));
// //pid = Integer.valueOf(rSet.getInt(1)).longValue();
// }
System.out.println("-- 插入故障码成功--");
//rSet.close();
prstmt.close();
} catch (SQLException e) {
System.out.println("-- 插入故障码并返回主键PID失败--");
e.printStackTrace();
}
return pid;
}
/** 关闭数据库连接 **/
public static void closeConnection(Connection conn){
try{
if(!conn.isClosed()){
conn.close();
}
}catch(SQLException e){
e.printStackTrace();
}
}
/** 插入数据库中没有的车系 表:tb_car_desc *
* @throws ClassNotFoundException
* @throws SQLException */
public static void insertMake(String make) throws ClassNotFoundException, SQLException{
Connection connection = getConnection();
String sql = "select count(1) from tb_car_desc where code = ? and lan_id = 15 ";
try {
PreparedStatement ps = connection.prepareStatement(sql);
ps.setString(1, make);
ResultSet rs = ps.executeQuery();
Long count = null;
while(rs.next()){
count = rs.getLong(1);
}
} catch (SQLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
/**
-- 插入数据成功 --
java.net.SocketException: Connection reset
at java.net.SocketInputStream.read(SocketInputStream.java:168)
at java.io.BufferedInputStream.read1(BufferedInputStream.java:256)
at java.io.BufferedInputStream.read(BufferedInputStream.java:317)
at org.apache.commons.httpclient.ContentLengthInputStream.read(ContentLengthInputStream.java:169)
at java.io.FilterInputStream.read(FilterInputStream.java:116)
at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:107)
at java.io.FilterInputStream.read(FilterInputStream.java:90)
at org.apache.commons.httpclient.AutoCloseInputStream.read(AutoCloseInputStream.java:126)
at org.apache.commons.httpclient.HttpMethodBase.getResponseBody(HttpMethodBase.java:684)
at test.GrabDTCByHttpClient.getBody(GrabDTCByHttpClient.java:86)
at test.GrabDTCByHttpClient.main(GrabDTCByHttpClient.java:247)
Exception in thread "main" java.lang.NullPointerException
at java.lang.String.<init>(String.java:515)
at test.GrabDTCByHttpClient.main(GrabDTCByHttpClient.java:247)
**/
发表评论
-
Java获取客户端的真实IP地址
2011-01-04 15:16 34028像移动网关一样,iisforward这个ISAPI过滤器也会对 ... -
Nginx做负载均衡时X-Forwarded-For信息头的处理
2011-01-04 15:14 5760如今利用nginx做负载均 ... -
HTTP协议详解---持久连接与非持久连接
2010-11-16 19:45 4472最近写作完HTTP协议一节,略做总结:非持久连接是在http ... -
相关知识
2010-08-11 10:30 12091、网页内嵌pdf,前提是保证该浏览器安装了pdf插件,否则无 ... -
response.setHeader()的用法
2010-08-11 09:52 1746response.setHeader()下载中 ... -
response.setHeader参数、用法的介绍
2010-08-11 09:32 1409response.setHeader 是用来设 ... -
抓取canobd2网站数据
2010-07-29 15:20 1701/* * Created on 2009-10-12 ... -
commons.httpclient.HttpMethodDirector java.net.SocketException: Connection reset
2010-07-29 11:32 2770httpClient使用过程中的问题: http:// ... -
利用htmlparser抓取网页内容
2010-07-07 10:36 1752import org.htmlparser.Node;impo ... -
JAVA实现httpClient实例
2010-07-07 09:52 1283/* * Created on 2009-10-12 ...
相关推荐
Termux (Android 5.0+).apk.cab
【资源说明】 基于go、vue开发的堡垒机系统(运维安全审计系统)全部资料+详细文档.zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
制作报表
本项目为金山培训大作业源码汇总,采用C++与Qt技术构建,包含401个文件,涵盖106个C++源文件、72个头文件、41个PNG图片、27个项目文件以及HTML、JavaScript、CSS等多种文件类型。项目包含四个主要模块:KVector向量库、命令行会议系统、KSvg绘图板和KHttp音乐播放器。尽管最终未能入选,但展现了作者在C++编程和Qt框架应用方面的扎实功底和努力。
内容来源于网络分享,如有侵权请联系我删除。另外如果没有积分的同学需要下载,请私信我。
【资源说明】 基于课程设计:C语言爬虫、详细文档+全部资料+高分项目.zip 【备注】 1、该项目是个人高分项目源码,已获导师指导认可通过,答辩评审分达到95分 2、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 3、本项目适合计算机相关专业(人工智能、通信工程、自动化、电子信息、物联网等)的在校学生、老师或者企业员工下载使用,也可作为毕业设计、课程设计、作业、项目初期立项演示等,当然也适合小白学习进阶。 4、如果基础还行,可以在此代码基础上进行修改,以实现其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
《自动控制原理》是自动化及相关专业的重要课程,涵盖了控制系统的基础理论和分析方法。这份资料集是针对杭州电子科技大学自动控制原理课程的期末复习资源,包含了试卷答案和复习PPT,对于学习者来说是一份非常宝贵的参考资料。 我们来看文件"9自控原理第五章习题参考答案.doc",它提供了第五章的习题解答。第五章通常涉及根轨迹法,这是分析线性系统稳定性的一种图形方法。通过绘制根轨迹,我们可以直观地理解系统动态性能的变化,例如系统的稳定性、超调量和调节时间等。 接着,"1第一章作业(答案).docx"涵盖了课程的初步概念,如控制系统的基本组成部分、控制系统的定义以及开环与闭环控制的区别。第一章的内容通常包括控制系统的基本模型,如传递函数和信号流图。 "10测试4.docx"和"13第7章测试.docx"可能是关于控制系统设计和分析的测试题目,可能涉及到频率响应分析或状态空间模型等内容。第七章常常讨论系统稳定性分析,比如奈奎斯特稳定判据或劳斯判据。 "7测试1.docx"可能包含有关拉普拉斯变换和控制系统动态特性的问题,这是控制系统分析的基础工具。 "4自动控制第二章习题答案.pdf"提供了第二章习题
066 - 直播逗大哥话术
AOP项目demo 案例
皮带输送线3D+2DCAD+加工件标准件清单BOMsw2016可编辑全套技术资料100%好用.zip
154-基于stm32单片机花样流水灯设计Proteus仿真+源程序.zip
鲸鱼WOA-XGboost拟合预测建模模型,数据格式多维自变量输入,单维因变量输出,直接替数据就可以使用,程序内注释详细
项目均经过测试,可正常运行! 环境说明: 开发语言:java JDK版本:jdk1.8 框架:springboot 数据库:mysql 5.7/8 数据库工具:navicat 开发软件:eclipse/idea
RocketDock-v1.3.5是一款专为Windows 7设计的桌面工具,它模仿Mac OS X的Dock功能,通过直观的图标排列提高应用启动效率。该工具提供快捷启动、动画效果、自定义设置以及扩展性,使用户能够根据个人喜好调整Dock栏并减少桌面杂乱。安装和设置过程简单,配有详细的说明文件,帮助用户更好地了解和使用工具。
会员制医疗预约服务管理信息系统的作用,可以提高会员制医疗预约服务管理的工作人员的效率,协助他们对会员制医疗预约服务信息进行统一管理,为管理者提供信息储存和查询搜索系统。一个良好的会员制医疗预约服务管理信息系统可以实现对会员制医疗预约服务的精细化管理:对在线会员制医疗预约服务管理流程的全过程进行电子化操作,其主要作用是管理和控制会员制医疗预约服务所有的信息,分析库存数据,使工作人员对会员制医疗预约服务管理信息系统进行监管,根据系统所提供的相应信息,采取适当的措施,及时补救管理中的漏洞,提高在线会员制医疗预约服务管理的工作效率,使得在线会员制医疗预约服务管理变的更加系统和规范。 环境说明: 开发语言:java JDK版本:jdk1.8 框架:springboot 数据库:mysql 5.7/8 数据库工具:navicat 开发软件:eclipse/idea
**CCNA(思科认证网络助理工程师)是网络技术领域中的一个基础认证,它涵盖了网络基础知识、IP编址、路由与交换技术等多个方面。以下是对CCNA中文版PPT中可能涉及的知识点的详细说明:** ### 第1章 高级IP编址 #### 1.1 IPv4地址结构 - IPv4地址由32位二进制组成,通常分为四段,每段8位,用点分十进制表示。 - 子网掩码用于定义网络部分和主机部分,如255.255.255.0。 - IP地址的分类:A类、B类、C类、D类(多播)和E类(保留)。 #### 1.2 子网划分 - 子网划分用于优化IP地址的分配,通过借用主机位创建更多的子网。 - 子网计算涉及掩码位数选择,以及如何确定可用的主机数和子网数。 - CIDR(无类别域间路由)表示法用于更有效地管理IP地址空间。 #### 1.3 私有IP地址 - 为了节省公网IP地址,私有IP地址被用于内部网络,如10.0.0.0/8,172.16.0.0/12,192.168.0.0/16。 #### 1.4 广播地址 - 每个网络都有一个特定的广播地址,所有数据包都会发送到这个地址以达到同一网络内的所有设备。
项目实现了对特产信息管理、特产分类管理、特产分类管理、特产评分管理、系统管理、订单管理等业务进行管理。 环境说明: 开发语言:java JDK版本:jdk1.8 框架:springboot 数据库:mysql 5.7/8 数据库工具:navicat 开发软件:eclipse/idea
随着21世纪网络和计算机技术的飞速发展,它们已经与我们的日常生活紧密融合。当前网络的运行速度已经达到千兆级别,覆盖范围广泛,深入到生活的每一个角落。这一进步推动了管理系统的发展,使得远程处理事务、远程工作信息管理和实时追踪工作状态成为可能。网上管理系统以其前所未有的体验满足了新时代的工作需求,因此得到了大力发展。 本系统是一个个人日常事务管理系统,利用计算机和网络技术开发的在线平台,能够实现日常安排、消费记录和重要提醒设置等功能。系统采用SSM框架和Vue技术,数据库使用MySQL,开发环境为Eclipse。系统用户角色包括普通用户和管理员,功能涵盖个人中心管理、用户管理、日常安排管理、消费记录管理和重要提醒管理。用户可以记录消费、安排日常事务和设置重要提醒,而管理员则负责管理用户信息和基础数据信息。该系统不仅方便了用户和管理员,还提高了个人事务管理的效率,更适应现代人的生活方式。
项目已获导师指导并通过的高分毕业设计项目,可作为课程设计和期末大作业,下载即用无需修改,项目完整确保可以运行。 包含:项目源码、数据库脚本、软件工具等,该项目可以作为毕设、课程设计使用,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。 项目都经过严格调试,确保可以运行!可以放心下载 技术组成 语言:java 开发环境:idea、微信开发者工具 数据库:MySql5.7以上 部署环境:maven 数据库工具:navicat
如何使用Python和PIL库生成带竖排文字的封面图像