CSV文本数据导入工具实现

BI系统数据的导入导出会经常碰到，如何实现简易的通用导入工具呢？而不需要每次都单独开发程序实现excel数据导入。我们可以采用opencsv来解析文本文件，具体思路如下：

1.文本文件导入上传服务器

可通过jquery的ajaxfileupload异步上传，不详加描述，网上有很多相关帮助实例；

2.CSV/TXT等文本格式数据文件解析入库

代码实例：

   long startTime=System.currentTimeMillis(); //计时开始
   conn = SQLHandler.getInstance().getConnection(“warehouse”);

   stmt = conn.createStatement(1004, 1007);
   rs = stmt.executeQuery(“select * from ” + tableName
     + ” where 1=2 “);
   ResultSetMetaData rsmd = rs.getMetaData();
   int cols = rsmd.getColumnCount(); //获取表的列数
   String paraStr = “”;
   for (int i = 0; i < cols; i++) {
    paraStr += “?”;
    if (i < cols – 1) {
     paraStr += “,”;
    }
   }

   conn.setAutoCommit(false);
   String sql = “INSERT INTO ” + tableName + ” VALUES (” + paraStr
     + “)”;  //构建insert sql

   pstmt = conn.prepareStatement(sql);

   // 全量需先清空表数据
   if (importType.equals(“2″)) {
    stmt.executeUpdate(“truncate table ” + tableName);
   }

   File file = new File(filePath);

   CSVReader reader = new CSVReader(new FileReader(PropertyUtil
     .getProperty(“export.path”)
     + file.getName()),delimiter.toCharArray()[0]);
   String[] nextLine = null;

   while ((nextLine = reader.readNext()) != null) { //逐行导入
    int colNum=(nextLine.length>cols?cols:nextLine.length);
    for (int i = 0; i < colNum; i++) {
     //System.out.println(nextLine[i] + ” “);
     pstmt.setObject(i + 1, nextLine[i]);
    }
    //列数据补全
    if(nextLine.length<cols)
    {
     for(int j=nextLine.length;j<cols;j++)
     {
      pstmt.setObject(j + 1, “”);
     }
    }
    pstmt.executeUpdate();
    cnt++;
    if(cnt%1000==0){
     System.out.println(“累计导入”+cnt+”条记录”);
    }
   }

   conn.commit();
   long endTime=System.currentTimeMillis();
   message = “文本数据入库成功，共导入” + cnt + “条记录!\n耗时”+(endTime-startTime)+”ms!”;

综上，采用jdbc逐条写入方式实现起来比较灵活，但对于大批量数据导入效率是不太理想，经测试1W条3字段的文本数据完成导入需70s左右。再大量级的数据导入建议后台操作或采用相关数据库工具，避免过长的页面等待时间。