掌控上传进度的AJAX Upload

掌控上传进度的AJAX Upload

作者：cleverpig


AJAX——最酷的“冲浪板”

原文永久链接及源代码下载地址：
http://www.matrix.org.cn/resource/article/2007-01-08/09db6d69-9ec6-11db-ab77-2bbe780ebfbf.html

动机：

        2006年底Google了一下AJAX Upload实现，结果没有发现很完整的Java实现。硕果仅存的就是TELIO公司的Pierre-Alexandre发表的《AJAX Upload progress monitor for Commons-FileUpload Example》文中提供的ajax-upload-1.0.war。

        虽然上文中完成Upload工作的是Apache的Common-FileUpload组件，但在其代码中所使用的FileUpload1.1版本并没有1.2版本所提供的上传处理Listener功能，这就对检测文件上传情况造成了困难。我想正是这个原因致使Pierre-Alexandre使用了DWR+MonitoredDiskFileItem、MonitoredDiskFileItemFactory类（分别继承DiskFileItem、DiskFileItemFactory） 的方式：前者负责在web客户端进行Remote Call；后者在进行文件数据读取时统计数据总量、读取数据量、处理文件总数，并保存于Session中，以供web客户端通过DWR远程调用 UploadMonitor类的getUploadInfo方法进行轮询（Poll）。

        从本人观点出发，Pierre-Alexandre实现的不足之处：
        1.没有用户取消上传功能；
        2.完全的DWR实现，没有使用Prototype，对于不会使用DWR的开发者来讲有一定的知识局限性，而且由于DWR的个性而造成不便将此实现集成到项目中。



Prototype+Servlet的实现：


Prototype+Servlet的Example


        所以出于研究Prototype之目的，本人经过仔细思考，尝试实现了一个Prototype+Servlet的简单Example。其工作流程很简单：
1.在Form提交上传文件Field的同时，使用AJAX周期性地从Servlet轮询上传状态信息；
2.然后，根据此信息更新进度条和相关文字，及时反映文件传输状态；
3.如果用户取消上传操作，则进行相应的现场清理工作：删除已经上传的文件，在Form提交页面中显示相关信息；
4.如果上传完毕，在Form提交页面中显示已经上传的文件内容（或链接），也可以与一些AJAX SlideShow应用结合在一起。

服务器端代码：

        Bean序列化/反序列化工作：XmlUnSerializer这个类虽然不能够通吃任何模样的Bean，但应付一般的Bean、具有Collection类型属性的Bean和Bean List来讲还是够用的。
        {XmlUnSerializer类的核心方法serializeBean和serializeBeanList}:

java 代码
/**
 * 将bean系列化为UTF-8编码的xml
 * @param beanObj
 * @return
 * @throws IOException
 */
public static String serializeBean(Object beanObj) throws IOException{
…
}
/**
 * 将bean列表序列化为UTF-8编码的xml
 * @param beanObj
 * @return
 * @throws IOException
 */
public static String serializeBeanList(Object beanListObj) throws IOException{
…
}

        文件上传状态Bean：使 用FileUploadStatus这个类记录文件上传状态，并将其作为服务器端与web客户端之间通信的媒介物：通过对这个类对象进行XML序列化作为 服务器回应发送给web客户端，web客户端使用JavaScript对其进行反序列化处理获得JavaScript版本的文件上传状态对象。
        {FileUploadStatus的属性}:

java 代码
//上传总量
private long uploadTotalSize=0;
//读取上传总量
private long readTotalSize=0;
//当前上传文件号
private int currentUploadFileNum=0;
//成功读取上传文件数
private int successUploadFileCount=0;
//状态
private String status="";
//处理起始时间
private long processStartTime=0l;
//处理终止时间
private long processEndTime=0l;
//处理执行时间
private long processRunningTime=0l;
//上传文件URL列表
private List uploadFileUrlList=new ArrayList();
//取消上传
private boolean cancel=false;
//上传base目录
private String baseDir="";

        文件上传状态监视工作：使用Common-FileUpload 1.2版本（20070103）。此版本与1.1版的区别在于提供了能够监视文件上传情况的ProcessListener接口，使开发者通过FileUploadBase类对象的setProcessListener方法植入自己的Listener，而且实现这个Listener很简单。
        {FileUploadListener主要方法update}：

java 代码
/**
 * 更新状态
 * @param pBytesRead 读取字节总数
 * @param pContentLength 数据总长度
 * @param pItems 当前正在被读取的field号
 */
public void update(long pBytesRead, long pContentLength, int pItems){
        FileUploadStatus fuploadStatus=BackGroundService.takeOutFileUploadStatusBean(this.session);
        logger.debug("当前正在处理第" + pItems+"个文件");
        fuploadStatus.setUploadTotalSize(pContentLength);
        //读取完成
    if (pContentLength == -1) {
       logger.debug("读取完成:读取了 " + pBytesRead + " bytes.");
       fuploadStatus.setStatus("完成对" + pItems+"个文件的读取:读取了 " + pBytesRead + " bytes.");
       fuploadStatus.setReadTotalSize(pBytesRead);
       fuploadStatus.setSuccessUploadFileCount(pItems);
       fuploadStatus.setProcessEndTime(System.currentTimeMillis());
       fuploadStatus.setProcessRunningTime(fuploadStatus.getProcessEndTime());
    //读取中
    } else {
       logger.debug("读取进行中:已经读取了 " + pBytesRead + " / " + pContentLength+ " bytes.");
       fuploadStatus.setStatus("当前正在处理第" + pItems+"个文件:已经读取了 " + pBytesRead + " / " + pContentLength+ " bytes.");
       fuploadStatus.setReadTotalSize(pBytesRead);
       fuploadStatus.setCurrentUploadFileNum(pItems);
       fuploadStatus.setProcessRunningTime(System.currentTimeMillis());
    }
    BackGroundService.storeFileUploadStatusBean(this.session,fuploadStatus);
}

        很清楚，我也把FileUploadStatus这个Bean存取于Session中。

        Servlet实现：BackGroundService 这个Servlet类负责接收Form Post数据、回应状态轮询请求、处理取消文件上传的请求。尽管可以把这些功能相互分离开来（比如构造一个FileUploadManager类），但出 于简单明了、便于阅读之目的，还是将它们放到Servlet中，只是由不同的方法进行分割。
        {BackGroundService中的processFileUpload方法用于处理文件上传请求}：

java 代码
/**
 * 处理文件上传
 * @param request
 * @param response
 * @throws IOException
 * @throws ServletException
 */
private void processFileUpload(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException{
        DiskFileItemFactory factory = new DiskFileItemFactory();
        //设置内存阀值，超过后写入临时文件
        factory.setSizeThreshold(10240000);
        //设置临时文件存储位置
        factory.setRepository(new File(request.getRealPath("/upload/temp")));
        ServletFileUpload upload = new ServletFileUpload(factory);
        //设置单个文件的最大上传size
        upload.setFileSizeMax(10240000);
        //设置整个request的最大size
        upload.setSizeMax(10240000);
        upload.setProgressListener(new FileUploadListener(request.getSession()));
        //保存初始化后的FileUploadStatus Bean
        storeFileUploadStatusBean(request.getSession(),initFileUploadStatusBean(request));

        String forwardURL="";
        try {
                List items = upload.parseRequest(request);
                //获得返回url
                for(int i=0;i
                        FileItem item=(FileItem)items.get(i);
                        if (item.isFormField()){
                                logger.debug("form Field["+item.getFieldName()+"]="+item.getString());
                                forwardURL=item.getString();
                                break;
                        }
                }
                //处理文件上传
                for(int i=0;i
                        FileItem item=(FileItem)items.get(i);

                        //取消上传
                        if (takeOutFileUploadStatusBean(request.getSession()).getCancel()){
                                deleteUploadedFile(request);
                                break;
                        }
                        //保存文件
                        else if (!item.isFormField() && item.getName().length()>0){
                                String fileName=takeOutFileName(item.getName());
                                logger.debug("处理文件["+fileName+"]:保存路径为"
                                                +request.getRealPath(UPLOAD_DIR)+File.separator+fileName);
                                File uploadedFile = new File(request.getRealPath(UPLOAD_DIR)+File.separator+fileName);
                                item.write(uploadedFile);
                                //更新上传文件列表
                                FileUploadStatus fUploadStatus=takeOutFileUploadStatusBean(request.getSession());
                                fUploadStatus.getUploadFileUrlList().add(fileName);
                                storeFileUploadStatusBean(request.getSession(),fUploadStatus);
                                Thread.sleep(500);
                        }
                }

        } catch (FileUploadException e) {
                logger.error("上传文件时发生错误:"+e.getMessage());
                e.printStackTrace();
                uploadExceptionHandle(request,"上传文件时发生错误:"+e.getMessage());
        } catch (Exception e) {
                // TODO Auto-generated catch block
                logger.error("保存上传文件时发生错误:"+e.getMessage());
                e.printStackTrace();
                uploadExceptionHandle(request,"保存上传文件时发生错误:"+e.getMessage());
        }
        if (forwardURL.length()==0){
                forwardURL=DEFAULT_UPLOAD_FAILURE_URL;
        }
        request.getRequestDispatcher(forwardURL).forward(request,response);
}

        {BackGroundService中的responseFileUploadStatusPoll方法用于处理对文件上传状态的轮询请求}：

java 代码
/**
 * 回应上传状态查询
 * @param request
 * @param response
 * @throws IOException
 */
private void responseFileUploadStatusPoll(HttpServletRequest request,HttpServletResponse response) throws IOException{
        response.setContentType("text/xml");
        response.setCharacterEncoding("UTF-8");
        response.setHeader("Cache-Control", "no-cache");
        logger.debug("发送上传状态回应");
        response.getWriter().write(XmlUnSerializer.serializeBean(
                        request.getSession().getAttribute(UPLOAD_STATUS)));
}

        {BackGroundService中的processCancelFileUpload方法用于处理取消文件上传的请求}：

java 代码
/**
 * 处理取消文件上传
 * @param request
 * @param response
 * @throws IOException
 */
private void processCancelFileUpload(HttpServletRequest request,HttpServletResponse response) throws IOException{
        FileUploadStatus fUploadStatus=(FileUploadStatus)request.getSession().getAttribute(UPLOAD_STATUS);
        fUploadStatus.setCancel(true);
        request.getSession().setAttribute(UPLOAD_STATUS, fUploadStatus);
        responseFileUploadStatusPoll(request,response);
}

Web客户端代码：


Prototype给开发者更多的自由选择


web客户端使用了基于Prototype的AjaxWrapper类和XMLDomForAjax类，前者实现了对Ajax.Request功能的封装，而后者实现了对来自服务器的XML Response的反序列化（反序列化为JavaScript对象）。

        为了避免在AjaxWrapper的回调方法中发生this被重写的问题，我使用了ClassUtils类给任何类的每个方法注册一个对类对象自身引用，详见《解开JavaScript生命的达芬奇密码》和《Prototype.AjaxRequest的调用堆栈重写问题》：
        {ClassUtils类代码}：

js 代码
//类工具
var ClassUtils=Class.create();
ClassUtils.prototype={
        _ClassUtilsName:'ClassUtils',
        initialize:function(){
        },
        /**
         * 给类的每个方法注册一个对类对象的自我引用
         * @param reference 对类对象的引用
         */
        registerFuncSelfLink:function(reference){
                for (var n in reference) {
                var item = reference[n];
                if (item instanceof Function)
                                item.$ = reference;
            }
        }
}

        {将XML反序列化为JavaScript对象的XMLDomForAjax类代码}：

js 代码
var XMLDomForAjax=Class.create();
XMLDomForAjax.prototype={
        isDebug:false,
        //dom节点类型常量
        ELEMENT_NODE:1,
        ATTRIBUTE_NODE:2,
    TEXT_NODE:3,
    CDATA_SECTION_NODE:4,
    ENTITY_REFERENCE_NODE:5,
    ENTITY_NODE:6,
    PROCESSING_INSTRUCTION_NODE:7,
    COMMENT_NODE:8,
    DOCUMENT_NODE:9,
    DOCUMENT_TYPE_NODE:10,
    DOCUMENT_FRAGMENT_NODE:11,
    NOTATION_NODE:12,

        initialize:function(isDebug){
                new ClassUtils().registerFuncSelfLink(this);
                this.isDebug=isDebug;
        },
        /**
         * 建立跨平台的dom解析器
         * @param xml xml字符串
         * @return dom解析器
         */
        createDomParser:function(xml){
                // code for IE
                if (window.ActiveXObject){
                  var doc=new ActiveXObject("Microsoft.XMLDOM");
                  doc.async="false";
                  doc.loadXML(xml);
                }
                // code for Mozilla, Firefox, Opera, etc.
                else{
                  var parser=new DOMParser();
                  var doc=parser.parseFromString(xml,"text/xml");
                }
                return doc;
        },
        /**
         * 反向序列化xml到javascript Bean
         * @param xml xml字符串
         * @return javascript Bean
         */
        deserializedBeanFromXML:function (xml){
                var funcHolder=arguments.callee.$;
                var doc=funcHolder.createDomParser(xml);
                // documentElement总表示文档的root
                var objDomTree=doc.documentElement;
                var obj=new Object();
            for (var i=0; i
                    //获得节点
                    var node=objDomTree.childNodes[i];
                    //取出其中的field元素进行处理
                if ((node.nodeType==funcHolder.ELEMENT_NODE) && (node.tagName == 'field')) {
                        var nodeText=funcHolder.getNodeText(node);
                        if (funcHolder.isDebug){
                            alert(node.getAttribute('name')+' type:'+node.getAttribute('type')+' text:'+nodeText);
                        }
                    var objFieldValue=null;
                    //如果为列表
                    if (node.getAttribute('type')=='java.util.List'){
                            if (objFieldValue && typeof(objFieldValue)=='Array'){
                                    if (nodeText.length>0){
                                                        objFieldValue[objFieldValue.length]=nodeText;
                                                }
                                        }
                                        else{
                                                objFieldValue=new Array();
                                        }
                                }
                                else if (node.getAttribute('type')=='long'
                                        || node.getAttribute('type')=='java.lang.Long'
                                        || node.getAttribute('type')=='int'
                                        || node.getAttribute('type')=='java.lang.Integer'){

                                        objFieldValue=parseInt(nodeText);
                                }
                                else if (node.getAttribute('type')=='double'
                                        || node.getAttribute('type')=='float'
                                        || node.getAttribute('type')=='java.lang.Double'
                                        || node.getAttribute('type')=='java.lang.Float'){

                                        objFieldValue=parseFloat(nodeText);
                                }
                                else if (node.getAttribute('type')=='java.lang.String'){
                                        objFieldValue=nodeText;
                                }
                                else{
                                        objFieldValue=nodeText;
                                }
                                //赋值给对象
                                obj[node.getAttribute('name')]=objFieldValue;
                                if (funcHolder.isDebug){
                                        alert(eval('obj.'+node.getAttribute('name')));  </sp>

评论

51 楼 qzhong1028 2007-08-29  

我在系统中也用的是这个机制. 但是有个问题想请教一下:当检查到content-length大于max size,如何停止当前流,让用户不必等到文件上传后再给出错误信息.

50 楼 classicbride 2007-08-07  

花了一下午研读了NZ的代码...向你学习..

49 楼 classicbride 2007-08-07  

不错！谢谢...跑起来了...但是 我的鼠标一直在闪...有人遇到过这个吗？

48 楼 xiao7cn 2007-07-17  

把fileUpload_single.html放到里层目录,且修改了js的相对地址,报"网络通讯失败". 是什么原因啊?

47 楼 qcs0726 2007-06-29  

我用的是U3版 我去掉了com\bjinfotech\practice\ajax 里所有类里的DEBUG信息 上传就巨慢了呢 我是本机测试

经实验发现 只要去掉UploadSessionManager类里 addSession方法的DEBUG信息上传就会变慢 为什么呢?

46 楼 tianyidan 2007-06-01  

只能体验一把，却窥不到里面的东西。

45 楼 hax 2007-06-01  

slepher 写道

如果同时开着两个窗口进行上传会出现卡进度条的现象

有什么好的解决方法么?

ie每域名有并发限制，为2个。所以如果有两个同时upload又未完成，状态就取不回来了。



对于ff，我认为可以改进，不需要另起一个请求来查询，直接由upload的request不断返回状态。

44 楼 yetianbing 2007-06-01  

不停掉用listener,会产生一些效率问题吧

43 楼 xj4150 2007-05-08  

看了u2版。确实不错。正好最近在做上传，虽然用着还行，但有不少需要改进的地方。现在准备研究一下lz的。

42 楼 xj4150 2007-05-08  

不好意思，解压的时候说需要别的文件，但是我没有在lz提供的下载文件中找到……

41 楼 wl1985 2007-04-20  

不错，好东西

40 楼 qingyuan18 2007-04-10  

js中有标准的DOM API，似乎不需要针对不同的浏览器采用不同的Xml解析方法

39 楼 garyt 2007-04-08  

bjvip_quickaction.jar包中的源码可以共享么？谢谢

38 楼 slepher 2007-03-10  

如果同时开着两个窗口进行上传会出现卡进度条的现象

有什么好的解决方法么?

37 楼 xyz20003 2007-02-14  

我觉得springside的ajaxupload挺好的。也有进度条，用的是dwr把java转换成js

36 楼 fhit 2007-02-13  

其实上传进度的显示没有你想象的复杂，我的网站是基于脚本语言的解决方案，ruby和python。

python作为cgi接收上传的文件，并将接收的数据保存在约定的位置，同时在cgi的环境变量中得到上传的总长度，以及起始时间。而rubyonrails程序不断的查询这个文件的大小，这样就具备了几个必要的参数：起始时间，上传内容的总长度，当前时间，当前已获得的文件长度。有了这四个变量，计算上传速度、剩余时间等等都是非常容易的。

http://www.51dir.com 就是我的一个实践。

35 楼 zelsa 2007-02-13  

可以点IE的停止按钮来取消上传

34 楼 cleverpig 2007-02-13  

to abcchina同学：

引用

取消上传有意义嘛？ 又不能实现断点续传。 呵呵

断点续传？想法很独到。但是这样做有必要吗？我觉得大多数使用fileupload的用户都希望文件能够一次性传送完。不过如果能实现一个使用BT协议上传/下载文件的web client。

33 楼 cleverpig 2007-02-13  

to dearmite同学：

引用

绝对是好东东呀，
不过，提一点小小的意见。
bjvip_quickaction.jar这个包是你们工程里的吧，
上传文件，一共就用了其中几个文件，
而且上面竟还带着　POJO一类的你们的项目内的东东，放出来实在是不好。
不如，把使用到的文件，一并放在SRC里，然后，把这个上传的SRC打个包，
这样的话，大家使用起来就极其方便了！。

bjvip_quickaction是我项目中使用的小框架：实现自动pojo<->request参数转换、基于pojo的bo和action。由于其中包含了一些object和reflect工具，所以图省事没有进行分离。不过目前正在进行框架fix，可能会在下一个版本中发布src。

32 楼 abchina 2007-02-11  

取消上传有意义嘛？ 又不能实现断点续传。 呵呵