一种一站式的Java Web框架的设计和实现

http://zwchen.iteye.com/blog/47085

一个月前，我发表了一篇文章《一种快速开发的Java Web架构设计和实现》（http://zwchen.iteye.com/blog/38278），匆匆发表，很欠成熟。经过一段时间的考虑，特别是吸取了Lucas Lee ，together ，lane_cn 等朋友的建议，重写了一份design文档，并且加一份tutorial文档，重构了所有代码，现在发表出来，听听大伙的意见。
本来很想把上次那三篇文章删掉，但也许会删掉到别人的宝贵评论，所以最后还是觉得保留，但我还是不太希望别人在那上面浪费时间，因为这篇文章就够了。
由于文章很长，而且javaeye论坛对word文档的paste支持不是很理想，我就只贴出文章的很小一部分，其它的全部，都在附件里，对此主题感兴趣的朋友，可以下载下来评价评价。
我在论坛潜水时，也不希望自己读到某些浪费时间的帖子（javaeye是我见过的文章质量最高的论坛），所以，我也不希望自己的帖子浪费大家宝贵的时间。想必上个帖子很浪费大家时间，深表歉意！
本文是我阶段性的总结，我想肯定受限于我的理论知识和项目经验，希望大家能够理解。
上个帖子最大的问题是：
[list=]1、对Map简单化了，抽象为一个plain结构，现在是对象图、树状结构。
2、原来所有持久化是spring jdbc，现在基本的CRUD是hibernate的dynamic-map方式。[/list]

现在，使用此框架的开发思路，可以将一个一定复杂度的CRUD操作减少到100行代码左右。

大家下载附件读吧，文章太长，我只贴出了很小一部分（附件文件夹下的docs目录里）。



MiniFramework有哪些核心思想，或是原理？
1、 元数据编程
这是MiniFramework中减少代码量和快速开发的一个很重要方面。
MiniFramework中有两类元数据，都非常简单：
Map和数据库映射 同时我们会避开Hibernate那种复杂的关联映射。而且这种映射可以自动生成。
JSP页面表单元素类型映射 因为http GET和POST提交数据都是文本key-value键值对，它们和数据库字段类型不匹配，我们必须还原其本来类型，但这个过程是自动化的。我打算开发eclipse插件，让这个映射代码也自动生成。
所有容易变更的信息，譬如sql，页面导航，对象实例引用…

2、 领域对象的表示：Map和List
MiniFramework里面没有具体的对象，譬如Account，Department，Book，而是以另外一种形式体现：Map，这是它最核心的思想。它可以实现所有具体对象的功能，包括对象图。并且易扩展、灵活。
为什么Map这么关键呢？因为它是领域模型的载体，也是自动持久化的目标对象。了解JSON、YAML和REST对MiniFramework中的map载体理解很有帮助：
REST：区别于Web Services SOAP协议的另外一种轻量级格式，更是一种Idea。REST和ajax协作开发，简直是绝配。REST是未来Web Services的发展趋势，更倾向于SOA，因为REST是以Resource为导向，而SOAP是以Action为导向，并且简单、易用。
JSON：这是ajax流行起来后，一种轻量集的数据交换格式。参考http://www.json.org/json-zh.html
YAML：在Ruby on Rails和Python这类动态语言最常用的一种文本数据格式，类似于Java最常用的XML，但更适合人读。参考：http: //wiki.nirvanastudio.org/wiki/YAML/5%B7%D6%D6%D3%C8%CF%CA%B6YAML
从技术的角度考虑，所有的MIS系统，无非是CRUD增删改查，而CRUD的对象，一种载体形式，就可以是Map和List（Map的复数形式）。
关于数据流的处理，可以参考《面向模式的软件架构：卷一》中的“管道模式”，异曲同工。
当然，复杂的MIS就不只是数据流，更倾向于业务流，譬如ERP中的物料管理，SCM的进销存，OA中的工作流。但它们底层都需要数据流支持。

3、 Map和List对象的展现技术：JSTL
当然，我并没有提出什么新东西，我只是提出一种新用法。JSTL是map和list的最好展现方式。如user.department.name,通过具体对象，或是Map对象图，都可以实现。但后者很少人用，因为所有的教程上面都会演示对象模型，用map是忌讳，不OO嘛。 Really？
对象展现技术和对象载体是两个非常关键的部分，关于对象展现的idea，可以参考：
OGNL：这是xwork里面对象属性存取的核心， OGNL也是EL(Expression Language)的一种实现方式。
Associative model of data：不同于关系模型和对象模型的另一种idea。

4、 Map 对象持久化技术：Hibernate
几乎我们所见的大多数Hibernate用法，都是持久化POJO，也就是JavaBean，但是Hibernate也支持另外一种持久化技术：Map持久化（dynamic-map）。
需要特别注意的是：对于Hibernate Map持久化，我只使用它的最基本功能，这意味着开发人员几乎都不需要理解hibernate，我已经将对象的CRUD和基本的List操作都封装起来的，调用工具方法就ok了。
这样，数据的四个最重要的方面中的三个被轻易解决了：对象的载体，对象的呈现，对象的持久化。还有一个，就是对象的复杂查询。

5、 对象数据查询技术：Spring JDBC Framework
应该说，这个方面对象的概念是最弱的，因为查询的往往是结果集。Spring的JDBC framework为我们提供了很好的封装的，另外，我在它的基础上再封装一下，开发人员的学习成本就更低了,它返回的也是Map或List。

6、 业务对象BO的CRUD抽象
每个业务对象，譬如UserBO，我们要求它实现其CRUD操作，R(Read or Retrieve)包括Load和ListAll两种。这些方法都是框架自动完成的。
Load：根据ID标识加载对象，以及其相关对象，形成一个Object Graph，但对外是Map(对象标识是OO的基本四特征之一)。
ListAll：List该对象的所有信息，List里面的item是Map。
Insert：可以创建该主对象，如User，但也许需要创建相关对象，如Contact信息。
Update：创建对象。也可以支持不同级别的更新：更新用户信息，更新密码，更改用户角色等不同操作。像审批流程的通过和驳回，都是update操作。当然，从性能角度考虑，可以分解。
Delete：删除指定对象，以及相关对象，如删除User，其Contact也必然要删除。
任何业务对象都可以这么抽象划分并且实现，但是，复杂查询就需要单独的sql，利用MiniFramework提供的查询helper类处理，返回Map或List。

7、 敏捷开发过程
更少的代码，意味着更快的开发速度，这和敏捷过程是呼应的。现在流行的Ruby on Rails，既是一种快速开发框架，更是实践了敏捷开发的idea。MiniFramework做快速原型非常方便，而且这种原型可以直接用做后续开发。快速原型是理解需求的一大利器！
而且，我们严格要求测试驱动,分层架构为容器外测试提高了保证。
Note：个人也觉得，Rails框架比较适合于互联网开发，Java更适合企业开发。因为企业开发很重视事务处理、团队协作、可维护性、语言的简单性，某些方面是Rails所欠缺的。我现在用Rails和MiniFramework开发同一个demo，我觉得它们的开发效率相差不大。
关于语言的设计和比较，请参考书籍《Concepts of Programming Language》


MiniFramework的架构，你能够大致描述一下吗？
为了保证开发的简单、灵活性，MiniFramework在架构上做了极大的简化，方便、实用、快速是它的原则，在MiniFramework架构考虑中，我们会在常用的J2EE架构上做减法，而不是做加法。但我们会恪守几个设计的基本原则：松耦合、高内聚、职责分离。
在参考常用的架构模式和设计模式过程中，我一直在思考这个问题：为什么我需要XX模式，我可不可以不要XX模式？
下面是我认为在MiniFramework设计过程中几个核心概念：
MVC（Model 2）：为什么我需要MVC？因为MiniFramework是定位在交互式的GUI应用上。经验和理论告诉我，MVC是GUI应用设计的基本原则，它保证了清晰职责分离，方便开发、测试和维护。在MVC架构模式理论中，一般遵循Change－>Publish，也就是Observer模式，类似于message系统，但Web应用的本质（HTTP无状态协议，它怎么可能知道客户端的你？），可以用Request－>Push（推模式），区别于Pull（拉模式）。我更倾向将MVC说成Model 2，区别于Model 1，也不同于MVC。在实际开发中，JSP是作为html模板，只被动接收Request中push过来的对象，决不主动去pull。
Note：Push和Pull，同步和异步，对软件设计很多时候有决定性的影响。
分层架构：分层架构有助于将大系统分解成子任务，每个子任务限制在一个特定的层次上，层间从上到下依赖，从下到上是松耦合。TCP/IP分层模型是它的最好证明。正如OSI 7层模型的实用模型是TCP/IP 4层模型。MiniFramework中，用户接触到的是两层：表示层和业务层，是J2EE和.NET架构的一种折中。在用MiniFramework开发时，持久层被封装起来，成为一些简单的Helper类，不是独立的一层。
之所以我去掉了持久层，只保留的dao helper，是因为，我发现业务比较简单的系统，往往开发人员喜欢在持久层里面写所有的业务，service层只是dao的一个delegate，非常 thin。要是这样，我就干脆去掉一层算了，这便是dao helper的由来。
严格的分层，可以让表示层的UI用Dreamweaver开发，业务层容器外测试，实现敏捷开发。
接口：在分层模型中，一般都非常强调接口，因为可以让上层只依赖于下层的接口，而不是实现，这样实现可以任意替换和变更，在网络开发，特别是和协议打交道的时候，我们会体会到这种设计的优雅。另外，在组件式开发中，我们也倾向于提供接口。
但是，应用MiniFramework，我们倾向于纵向开发，也就是说，某个模块从表示层到持久层都是一人开发，而不是横向：表示层的去调用业务层开发人员的业务层。这时候，纵向开发就不太适合用接口了，因为接口规范完全由本人把握。这时接口很可能只会带来臃肿，和难维护，一点改动往往牵一动百。当然，在某些情况，如开发Mock测试，Web Services，接口还是很有必要。另外，有人说，我用接口可以实现任意层替换啊？譬如我现在用Hibernate，以后换成IBatis。这完全是一个谎言，至少我看到的大多数应用，将Hibernate换成IBatis的成本绝不亚于重新开发，因为耦合太大。另外，我有个疑问：需要更换的可能性有1％吗？
个人觉得，接口比较适合于系统软件开发，而不是商业软件开发；而抽象类的继承机制比较适合商业软件开发，而不是系统软件开发。为了复用，系统软件开发倾向于组合，而不是继承。
Business Object、ActiveRecord和ORM：不同于常用J2EE开发的ORM，也不同于RoR的ActiveRecord， MiniFramework用Business Object来调用持久化的Helper类，而且它是stateless的。没有ActiveRecord的高耦合，也没有ORM的复杂性。
主要参考文献：
《Pattern-Oriented Software Architecture: Volume 1》
Model 2：http://www.javaworld.com/javaworld/jw-12-1999/jw-12-ssj-jspmvc.html
《Patterns of Enterprise Application Architecture》
《Core J2EE patterns》


MiniFramework现在很完善了吗？
还是beta阶段，但是我认为对一般的项目应该够用，我已经做了完整的CRUD例子，其中有三表关联，还是有一定复杂性和代表性。
但是，我现在也在思考一个真正的企业级框架，如果说它是1.0版本的话，MiniFramework就是0.1版了，距离还很远。但我大致上思路很明确，除了以上的idea外，我还会加入以下idea和功能：
Event Driven：提高系统的可扩展性和灵活性，将Map数据作为Event的一个部分，而不是现在的全部。
Business Controller（Interceptor）：相同职责统一控制，譬如权限；所有关键数据的createdTime，createdBy，updatedTime，updatedBy统一处理；Audit等。
Micro Kernel：为应用开发提供良好的适应性和扩展性，适应需求，譬如Message-based。
Service Engine：为一些常用的服务提供统一的调用方式，譬如报表系统特别强调的订单号
相关服务，如作业调度，消息系统
支持分布式协议：SOAP，RMI，
支持多种客户端：WAP，Browser，Client，PDA
对集群、安全的灵活支持
上面的很多概念并不是来源于MIS系统，但是我想将其思想引入到MiniFramework中，但还要保证MiniFramework的简单、易用。

• cottonBusiness_code.rar (655.5 KB)
• 描述: 包括所有代码，文章在docs目录下。
• 下载次数: 988
  • sql.rar (1.3 KB)
  • 描述: mysql数据库脚本
  • 下载次数: 255

 

原始思路:

本来彻底是将本文删除的，    但还是考虑到最初想法的雏形，就还是贴出来，仅做备份。

1、 架构的抽象
     我先总整体上概括出一些抽象，然后从三层架构逐一说明：
* 计算机所做的任何工作，都是遵循这样一个过程：输入－》处理－》输出，大至应用架构，中至分层框架，小到对象方法、函数。
* 任何对象，对于其数据(属性)，都可以用Map结构的key－》value表示。如简单的JavaBean，复杂的对象，其value是另外一个Map或List。
* 任何对象，其集合都可以表示为List。

从上面的抽象来看，我所说的架构，也完全可以看成Map输入，Map或List输出，最终的输出就是html页面。
下面，我从分层的角度再逐一抽象：

1．1 持久层
我之所以先要说持久层，是因为它不依赖于其它层，这样更容易理解。
持久层是和数据库打交道的，我所指的持久层，其实不是完整的DAO模式实现，更不是ORM，只是一些Helper类， 确切的说，只要两个Helper类，一个是QueryManager，负责Retrieve，包括read和list两个只读操作，另外一个就是PersistenceManager，负责Create、Update和Delete，也就是完整的CRUD。

* 所有的数据库操作，完全可以抽象为上面的CRUD操作。譬如审批流程的通过和驳回，都是update操作。
* 对于CRUD操作，其输入是sql语句和sql查询参数，而且，sql查询参数，其实就是一个Object数组，譬如插入Database的User表，其参数是username，password，email，age，createdTime等，age是一个Integer对象，createdTime是一个Timestamp类型。
* 对于Retrieve操作，其输出是单个对象或单个对象的集合，如loadUserById和listAllUsers，而这两者可以表示为Map和List。
* 对于其它操作，可以返回void，或int，也就是update的条数，但int也可以用Map包装。

1．2 业务层（服务层）
　　业务层，也就是Service层，处理单个或复合的QueryManager＋PersistenceManager，或者处理像email通知等。譬如创建一个用户，其业务流程可能是：自动为其创建账号信息，注册其blog，发送一封激活邮件，这些全部在一个事务中。
* 对于业务层，其输入就是一个Map对象，而这Map对象主要来自于Web输入。而且，可以在这个Map里面添加其它对象，如createdTime。
* sql语句，再加上sql语句的参数，就完全可以持久化一个对象，或执行查询，而该sql参数，就来自于Map输入，这个赋值过程可能需要类型转换，但很简单。
* 对于service方法执行的最终结果，如果是数据查询，就是Map或List，对于数据操作，一般是void。而该返回值，就是Action所需要的。

1．3 表示层
     表示层，我这里主要指Web层，也就是和Web服务器打交道的那部分。
     它负责调用service层的service方法，如loadUserById，将其结果返回到前端表示层页面，service可以看成MVC的M。
* Web层的输入，如创建用户的表单form，其实，就是一个键值对，而这完全可以表示为一个Map。如果对于checkbox这类输入，譬如用户的业余爱好hobby，可以看成key=hobby，value为一个字符串数组。如果查询参数只是一个id，当然就是Map的size为1了。
* Web层调用service的输出，如果是单个对象，譬如用户的个人信息，可以看成一个Map，如果是用户列表，就是用一个个Map填充的List。
* Web层Action的处理方法，如execute()，输入路径是一个url地址，输出也是一个url地址，也就是说该execute方法，是处理Map输入，而其return是一个String类型的url， 它对应一个page页面，如userDetail.jsp。但是一定要将service调用的返回值Map或List填充上。Action就是对应MVC的C。
* 结果页面负责显示Map或List数据。这也就是MVC的V的概念。Note：WebWork和模板引擎就是这么做的。

以上就是所有的抽象，总结起来，大概就是：
* 在表示层，页面表单输入Map，在action里面处理，action里面调用service层的方法，输出Map、List或void。
* Service层的service方法输入基本为页面表单的Map，转化为sql参数，然后执行sql。输出Map或List或void。
* Persistence层的Helper方法，输入sql和sql参数，输出Map、List或void。

　　而上面的输入Map和输出Map或List都不用处理，不用Bean to Map，也不用Map to Bean，直来直往就可以了，而且添加、修改map里面信息也很容易。
　　Map to Bean这些冗余和复杂，极易出错的行为，就是Web框架如Struts的ActionForm，Hibernate的Model几乎必备的。

2、 架构的实现
     如果上面的抽象原则大家都能够认同，那么实现就不难了，而且我们也完全可以运用成熟的第三方框架，来形成我们的整体架构。不过，单独实现，形成自己的产品，也不是很难。
     贯穿在整个架构中，有两个核心概念：弱类型和容器。弱类型我是从Javascript和Ruby语言中受启发，通过Map引入到Java中来的。容器我是借鉴Lisp语言的，因为Lisp语言的原意就是：LISt Processor。
    
     持久层的实现
     持久层，主要就是将数据库的查询出来的ResultSet，转化为Map或List。由于项目时间关系，我暂时在Spring的JDBC框架上，加工出两个Helper类，处理所有sql操作，另外，事务处理直接用Spring的声明式事务。
     对于项目开发人员，都无需了解Spring，只需要了解两个Helper类的使用就ok了，事务最后由一个人加上就ok了。也就是说，省去了大部分持久层开发，这个占项目40％左右的工作量。
    
     业务层的实现
     业务层也非常简单，就是取出Web层传入的Map某些值，组成sql参数，执行sql语句就ok了，不过sql语句可能有一定难度，但去理解由Hibernate配置文件和Model生成的sql，难度小很多，而且效率也很高，即使Hibernate有Cache机制，但用好的恐怕不多。iBatis这种和Hibernate并肩的ORM框架就是手写sql的。
    
     表示层的实现
     表示层也非常简单，因为用户输入表单提交的结果Map，我只需要一个RequestParamUtils.getInput(request) 工具方法，就可以得到，而且直接将它传给service层，省去了像Struts里面的ActionForm，那冗余的字段，get、set方法。
     表示层验证：特殊的可以用validate的Java代码，一般用Javascript就ok了，而且Javascript我会形成一个类库，很easy。我们不打算用Validation框架。如果数据验证设涉及完整性，一般考虑在Database上加约束。如果用户禁用Javascript如何？请问，我们会没事把自己的电脑设置在安全模式下吗？而且IE禁用Javascript也不容易，你试试看。别告诉我我们网站的潜在用户有用IE4.0的。
     我现在是用Webwork，不过在前一个项目中，我自己实现了一个MVC的Web框架，很好用，而且不像Struts存在线程安全的问题。之所以要用Webwork，那是我担心我的framework还需要扩展。但使用Webwork，只使用其最基本的一部分，差不多就只用到其20％功能，而且是最简单的，新手一学就会，只需要理解了打印helloworld就可以胜任了。另外，我还进行了封装，提取了一个BaseAction。
     对于action处理的结果，如Map、List对象，将之填充于Request或Session对象（BaseAction会做），通过模板技术JSTL，加上JSP展现就可以了，JSTL中的tag可以处理迭代器，日期格式显示等，而JSTL的表达式语言，加上JSP，就是模板了，可以在Dreamweave下，像html那样所见即所得开发，效率超级高。
     分页处理有本架构专门提供的分页tag，项目组成员拿来用就ok了，就如同使用html的input tag一样。
    
     本架构在本人开发的上一个项目中用到部分思想，那个项目是做150多个报表查询，约500条sql语句，这些sql语句专门由一个DBA负责（报表展现的难点在sql），我负责报表展现。实际上，我花的所有的时间不到一个月（10.8—11.6），虽然有两个月期限（另外一个月基本上就是自学其它的，如Lisp、Ruby语言），总共Java代码只有2200多行，包括一个类似于WebWork的Web Framework。也就是说平均一个页面不到15行代码。而且，后来需求引起的变更基本上可以保证半小时内搞定，因为后一个月我就是每天下午5点左右花半个小时修复修复bug，然后发布新版本。
     个人觉得，一个框架或架构的判断标准，主要是“快速开发＋适应变更”，另外的附加标准是学习培训成本低。这些对于做外包项目尤为突出。asp开发部署快，学习成本低，但太难维护，特别是运行平台单一，所以逐渐被淘汰。
    
     对于Web开发，个人认为，对于产品和公司自己的项目，Java将逐渐退出其霸主地位，而会被弱类型语言，Python，特别是Ruby的Rails框架所取代，不过对于外包，这种强调团队协作，以及大型应用，Java这类强类型语言还是有其地位，因为它很容易被理解，类型就是注释，编译器检查。对于Web Service，强类型语言有其先天不足，而Web Services是未来的网络计算平台。你看Java最大的赢家IBM在干什么就知道了，它重心已经不在Java，而自觉让位于开源的JBoss。对于.net的Web开发，我觉得市场不是决定于语言有多强，而是Windows这种平台，因为我还没有发现C#比Java有多少创新，VS studio比起eclipse就不是差一个档次（不只是我这么说）。不过，在开发领域，J2EE 大概只有Servlet规范值得骄傲了，不过J2SE和J2ME还是不错。另外一种弱类型语言Javascript，随着Web2.0的兴起，Rich Client的流行，将会是一种必备语言。
     ORM，现在想来，这本身就是一种很蹩脚的东西，数据库都是关系的二维表，为什么就要转来转去的，table－》Object，Object－》table，这样很优雅？很易维护？开发更快？性能更高？我看一项都不具备。因为我们的产品，无非就是输入－》处理－》存储－》处理－》输出，为什么一定要加一个ORM层。
     领域建模，这是学习面向对象的一门必修课。但往往我们就是为了建模而建模，最后模型冗肿，实现困难，还很难维护，牵一动百，怎么去agile？领域建模，我认为主要用它来分析业务，实现未必就要ORM那套，而且，我认为最重要的是数据库E-R图，因为它是一个实实在在的东西，直接决定你的所有上层。
    
     就写到这儿了，忘了说一下，我在该架构下开发一个模块的CRUD操作5个页面，在业务清晰，数据库设计好后，开发不超过一天，工具：eclipse＋Dreamweaver。
  当然，一种架构可能只能解决一类或几类问题，但架构下的思想可能解决更多的问题，因为它是超越语言的。当然，我所陈述的思想，也只是对前人的归纳总结，灵活运用罢了。
      

评论

1 楼 1456996541 2008-05-13  

很好,受教了~~