记一次excel导入时遇到的问题

导入excel功能，一接到任务感觉很简单。

用poi包解析excel文件，逐行读取文件，写入数据库就完事了。

但是事情远没想象的那么简单，记下这篇文章，给后者一些思路。

 

 

需求：

1、导入要验证导入文件模板是否符合要求、导入的是否excel文件。

2、导入要校验行数，最大需支持1万条数据导入。（这里是影响性能的点）

3、导入前验证每一行的数据格式，错误行数超过50行就不再继续验证，提示用户导入失败，一旦出现错误数据，全部导入失败。（验证包含数据库是否存在校验、RPC获取异步数据校验、数据格式校验等。）

4、验证通过，保存数据库的时候每条数据需要RPC获取必要信息。导入完成需要校验手机号重复的数据，删除重复数据。

5、留咨新建时，需要关联会员

 

计算：导入操作的频率、每次RPC调用时间、每次数据库插入耗时、每条数据校验耗时、总耗时控制在一次请求30内

 

分析以上需求，有几个设计点：

校验：

1、第2点，导入1万条数据很耗时，考虑分批导入，一次最多1000条。1万条有可能比较多，所以将1万条配置到配置中心，可以灵活调整。

2、需求第3点校验的时候，需要每个字段校验一遍。校验的数据先预存在内存，用Map保存，尽量减少RPC调用。（减少网络资源的使用）

3、需求第3点先校验完全部数据，构造好插入的全部数据，再统一进行数据库操作。

4、每条数据有个业务编号，需要借助redis生成，这里采用批量生成的方式，减少IO次数。

5、第5点操作，意味着每一条留咨，都要调用一次会员接口

如果在插入留咨前，调用会员注册接口，就是调用一万次RPC，假设调用一次RPC时间是10ms，一万条就是100s，这是一次操作不能接受的。

考虑到会员信息不是马上要用的字段，最好在导入完成后，启动异步线程调用会员创建接口，可以减少导入时等待时间。

5.1假设有两个线程同时处理，会出现多线程并发问题。

5.1.1 尽量减少两人同时导入的耦合度，以当前线程导入人姓名为查找维度

5.1.2 每次操作加分布式锁，保证同一条数据不会被多个线程处理，在处理时，预估每此操作100条数据需要的时长为5分钟，5分钟一到自动释放。

 

6、导入时，有可能导入重复数据，如果手机号重复，需要立马删除。这是补偿机制

6.1 删除  where mobile in（用手机号分组，找出手机号多于1条的数据） and id not in （用手机号分组，找出除最小id以外的数据）

 

技术点：

1、插入的时候需要保存创建人、修改人，对于多线程来说，每个线程的操作人都是不一样的，所以不能保存spring单例模式，要用prototype模式。

2、guava包Lists.partition来按1000条数据一次操作。