快速导入500万行JSON到Oracle

 竞赛快开始了啊，今晚6点就要提交。题目如下：

1、文本文件【订单.txt】中有约500万条订单数据，格式为Json或Xml(二选一)。

2、订单数据项：OrderID(订单ID)，OrderNo(订单编号)。

3、订单数据中的订单编号可能会有重复，将不重复的数据导入到TAB_ORDER表中，重复数据导入到TAB_ORDER_DUP表中。

 

示例：

源数据：

OrderID	OrderNO
1	0000001
2	0000002
3	0000002
4	0000003

 

结果数据：

TAB_ORDER表数据：

OrderID	OrderNO
1	0000001
2	0000002
4	0000003

TAB_ORDER_DUP表数据：

OrderID	OrderNO
3	0000002

竞赛规则

1、语言不限，可用Delphi、Java、Python、Go等语言。

2、以系统完成任务执行时间排序，执行时间最短者第一名，依次类推。

 

======================================================================

500万行的JSON内容大概如下：

ID_IT00000003471021,IT000003471020
ID_IT00000003565873,IT000003565871

======================================================================

我的思路如下：解析JSON文件为CSV文件，再利用ORACLE客户端自带的SQLLDR导入，代码如下，边百度边写GO代码，还好以前学过一些。

 

package main

import (
	"fmt"
	"bufio"
	"io"
	"os"
	"github.com/json-iterator/go"
	"strconv"
	"os/exec"
	"time"
)

type Order struct {
	OrderID  string
	OrderNo string
}

func work(idx int, c chan int) {
    params := fmt.Sprintf("m_mk/oracle@1.3.221.239:1528/orclutf8 control=ctrl/a%d.ctl parallel=true", idx)
    cmd := exec.Command("BIN/sqlldr.exe ", params)
    if err := cmd.Run(); err != nil {
        fmt.Println("Error: 导入data" + strconv.Itoa(idx) + "失败")
    } 
   c <- 1
}

func work_dup(c chan int) {
    cmd := exec.Command("BIN/sqlldr.exe ", "m_mk/oracle@1.3.221.239:1528/orclutf8 control=ctrl/a_dup.ctl parallel=true")
    if err := cmd.Run(); err != nil {
        fmt.Println("Error: 导入data_dup失败")
    } 
	c <- 1
}

func main() {
    inputFile, inputError := os.Open("data.json")
	if inputError != nil {
		fmt.Println("Open file error!")
		return
	}
	
	defer inputFile.Close()
	
	inputReader := bufio.NewReader(inputFile)
	
	var order Order
 	m := make(map[string]int,5000000)
	file_group := make(map[string]int,20)
	i , j := 1, 0
	
	wf, _ := os.OpenFile("./data/"+ "data_" + strconv.Itoa(i) + ".csv", os.O_CREATE|os.O_WRONLY | os.O_TRUNC, 0666)
	writer := bufio.NewWriter(wf)
	file_group["data/"+ "data_" + strconv.Itoa(i) + ".csv"] = i
	
	wf_dup, _ := os.OpenFile("./data/data_dup.csv", os.O_CREATE|os.O_WRONLY, 0666)
	writer_dup := bufio.NewWriter(wf_dup)
	
    start := time.Now()
	for {
	    inputString, readerError := inputReader.ReadString('\n')
	    if readerError == io.EOF {
			break
		}
	    var json_iterator = jsoniter.ConfigCompatibleWithStandardLibrary
        json_iterator.Unmarshal([]byte(inputString), &order)
		
		if _, ok := m[order.OrderNo]; ok {
			writer_dup.WriteString(fmt.Sprintf("%s,%s\n", order.OrderID, order.OrderNo))
		} else {
		    m[order.OrderNo] = 1
		    writer.WriteString(fmt.Sprintf("%s,%s\n", order.OrderID, order.OrderNo))
			j = j + 1
		}
		
		if j >= 500000 {
		  j, i = 0, i + 1

		  writer.Flush()
          wf.Close()
		  
		  wf, _ = os.OpenFile("./data/"+ "data_" + strconv.Itoa(i) + ".csv", os.O_CREATE|os.O_WRONLY | os.O_TRUNC, 0666)
	      writer = bufio.NewWriter(wf)
		  file_group["data/"+ "data_" + strconv.Itoa(i) + ".csv"] = i
		}
		

	}
	writer.Flush()
    wf.Close()
 
	writer_dup.Flush();
	wf_dup.Close()
 
	file_group["data/data_dup.csv"] = -1
	doneChannel := make(chan int, len(file_group)) 
	for _, v := range file_group {
		if v == -1 {
			go work_dup(doneChannel)
		} else {
			go work(v, doneChannel)
		}
	}
	
    for i := 0; i < len(file_group); i++{
        <-doneChannel
    }
	
    end := time.Since(start)
	
	fmt.Println("导入完成，供耗时 " ,end, "毫秒")
	
	var age byte
	fmt.Scanln(&age)
	fmt.Scanln(&age)
	fmt.Scanln(&age)

}


//sqlldr TEST/TEST@192.168.10.27:1522/oracle control=a1.ctl direct=y parallel=true
 

 
SQLLDR 导入文件如下：

 

先创建了21个CTL文件，代码都省了，红色圈圈的内容要对应切割后的文件名。

 

运行结果如下：

 

因为有个文件我之前手动导入过了，所以再次导入失败。总共耗时约8分钟。

不知道能不能拿奖