大文件分片并发上传初探

一、背景

系统中存在500M+的音频文件上传

基于客户端网络的不确定、不可控性，大文件分片并发上传、MD5秒传是有必要引入的

二、技术选型

Web Uploader

 

 

 

Spring Boot

redis

三、数据结构

服务端接收对象

 

 

redis数据结构

• HASH
  • key：FILE_UPLOAD_STATUS
  • hashKey：68af75938175f1726afb1d9df90753fd
  • value：true
• String
  • key：FILE_MD5:68af75938175f1726afb1d9df90753fd
  • value：D: /data0/uploads/68af75938175f1726afb1d9df90753fd/思考的乐趣.pdf 或者 D: /data0/uploads/68af75938175f1726afb1d9df90753fd/思考的乐趣.pdf.conf(记录各片段上传情况)

文件目录结构

 

 

四、实现细节

• beforeSendFile：uploader.md5File(file)
  • 及时显示进度
  • 完成
    • index/checkFileMd5
      • stringRedisTemplate.opsForHash().get(Constants.FILE_UPLOAD_STATUS, md5);
        • null：该文件没有上传过。
        • true：文件已存在！
          • stringRedisTemplate.opsForValue().get(Constants.FILE_MD5_KEY + md5);返回给前端
        • false：该文件上传了一部分。
          • String value = stringRedisTemplate.opsForValue().get(Constants.FILE_MD5_KEY + md5);
          • byte[] completeList = FileUtils.readFileToByteArray(new File(value))
          • List<String> missChunkList <= completeList 返回给前端
      • file.missChunks = data.data;（部分已经上传到服务器了，但是差几个模块。）
• beforeSend：依据missChunks决定是task.reject()还是task.resolve()
• uploader.upload()：index/fileUpload
  • 上传，依据偏移量写临时文件
  • 修改本片段上传状态完成，检查是否全部上传完毕
  • 全部上传完毕重命名文件

五、Q&A

• 文件在JS中的数据结构以及如何分片？每片大小如何设置？
• 并发上传是如何实现的？并发数如何设置？
• 现有方案采用何种逻辑实现文件写磁盘？有优化空间吗？

六、参考资料

• Web Uploader官网（http://fex.baidu.com/webuploader/）
• breakpoint-http码云地址（https://gitee.com/Fourwenwen/breakpoint-http）
• https://www.javascripture.com/Blob
• https://www.javascripture.com/File
• js中关于Blob对象的介绍与使用（https://www.cnblogs.com/wangfajing/p/7202139.html?utm_source=itdadao&utm_medium=referral）
• jQuery的deferred对象详解（http://www.ruanyifeng.com/blog/2011/08/a_detailed_explanation_of_jquery_deferred_object.html）
• JavaScript 异步编程之 jsdeferred 原理解析（https://segmentfault.com/a/1190000007216755）
• Java NIO写大文件比较（https://my.oschina.net/feichexia/blog/212318）
• 深入浅出MappedByteBuffer（https://www.jianshu.com/p/f90866dcbffc）

技术债

• Java NIO的深入理解
• JQuery deferred的深入理解
• 文件服务器设计思路

业务