一次小项目的思考

最近的一个项目，四个开发人员，大概做了一个月多一点，从需求，到最终代码的完成。
写思考，我想，主要还是要回顾一下在项目中遇到的问题，或是有什么比较好的经验，新的体会值得记录下来，以供以后参考。在这里，主要是要思考两个方面的问题，数据库和测试。
1. 数据库
   对于数据库，在j道上面有这样一篇文章《数据库已死》，其主要思想，个人感觉，主要还是对象与关系的问题，我们现在的主流已经是面向对象，但现在，可能很多公司仍以数据库建模作为其一条主线，首先进行数据建模，erwin，powerdesigner，然后创建相应的表，下面，就使用myeclipse,hibernate tools等生成相应的实体类，以及相应的映射文件。包括以前的几个项目，者是在开始花了大量的时间进行数据库的设计，中途加入的项目，也会在进入项目组的开始阶段让你熟悉其数据库的表结构，当面对大量的表的时候，看着E-R图上面的“蜘蛛网”的时候，可能，就已经晕了。
实际上，在面向对象的时代，数据库只是状态持久化的一种手段，数据库的表结构完全可以通过Hibernate等ORM工具自动生成。
在这个小项目中，前期，并没有花大多的时候在数据库的设计上，在初期建模了一些核心对象，创建相应的实体类，加上相应的注解，借助于hibernate的hbm2ddl，完全可以由hibernate自动生成相应的表结构。当增加新的对象的时候，也只需要定义其类结构。
并且，可以提供不同的sessionfactory，分别针对测试等环境，也可以做到一定程度的database migration。
2. 测试
   TDD，BDD，持续集成~~~~等等，不知道有多少公司实施了，并且实施的情况如何。在以前的项目中，最怕的，就是测试数据依赖于其它的模块，当跑一次测试，还需要去跑一下由其它小组开发的模块，当对该模块的业务不太了解的时候，测试起来，还是比较麻烦的，还有可能需要麻烦其它小组的人员来为我们提供相应的测试数据。
这种情况，其中一个原因，测试代码太少。所以在这个项目中，针对一些核心的，或是较复杂的业务逻辑，都提供了相应的测试代码(当然，这里有一个粒度的问题)，虽然在开发过程中，需要抽出一部分时间来编写相应的测试代码，但在实际过程中，效果还是比较明显的。

评论

156 楼 lyong757 2009-09-11  

各位帮忙解决一个问题啊
http://www.iteye.com/problems/24796

155 楼 ubotutwin 2009-09-11  

<div class="quote_title">icefishc 写道</div>
<div class="quote_div">ubotutwin先生写了这么多字　辛苦了．<br>但好像没有拍到点上　ray_linn先生也没有说要一切都用ｓｐ，　而放弃通用编程语言。<br><div class="quote_title">引用</div>
<div class="quote_div">
<br>   存储过程操作数据库很快，起码比oci、odbc、jdbc等等这些快。存储过程调试很方便，很容易发现问题和修改。存储过程对异构平台的融合十分有利。 <br><br>    以上这些都是总结前面帖子的，我再补充一点存储过程本身是具有编写前端展示功能的，包括web展示和图形界面展示。 <br>
</div>
<br>这话啥意思座椅比方向盘跑的快？ 不是一种东西不能放到一起比。<br><br><div class="quote_title">引用</div>
<div class="quote_div">
<br>    有了以上诸多优点我想存储过程应该一统编程语言世界了吧，可是编程界第一语言叫java、第二叫c++、第三叫c、第四叫c#.....后面还有很多。 <br><br>    存储过程在哪？这么优秀的语言为什么这么不被重视？美欧日本这些国家的程序员都是白痴？整个编程行业的所有经验和选择都是错的？只有中国这个“软件不发达国家”的东西是完全正确的？全世界的程序员都是傻子吧？ <br>
</div>
<br>SQL是一种DSL 不是通用编程语言 和java c++比不合适<br><br><div class="quote_title">引用</div>
<div class="quote_div">
<br>    我以前所在公司曾经用存储过程实现全套的话单采集+计费+信控+ocs系统A，485人月，700万预算。之后我有有幸接触了新加波一个公司照搬 at&amp;t最新架构的相似系统B，135人月550万预算，这个项目只在统计、汇总数据部分使用了存储过程，其余由c++ + java完成，而其预算还是在大部分人员和开发都<br><br>    我本人在各式各样的项目中也算是写过些存储过程，没有30万行也有20多万行了，我总结这其中的经验就是，国内对存储过程的滥用和整体架构、技术的老旧。 那些所谓的“经过时间考验的项目”不过是使用过时、陈旧技术的代表，它们仍然存在，但这并不证明它们是最优的。而高级语言带来的开发成本的缩减往往是惊人 的。<br>
</div>
<br>这里号崇拜一下了 以250万行来算， ubotutwin先生似乎工作了七年， 共有7 * 250个工作日.  在公司在公司不可能所有的时间都在编码，按1/3的时间是编码时间（我感觉这个比例还是很高的). 我不知道ubotutwin先生是做什么的　暂且按ubotutwin先生写的代码中有一半是ｓｑｌ算。那么每天要写将近９００行ｓｑｌ．　一天写９００行不算什么７年来能一种保持这种效率真的很难的．　不得不赞一下．<br><br><div class="quote_title">引用</div>
<div class="quote_div">再有，要用存储过程可别拿性能说事，真正对性能要求达到顶点的项目照样都是高级语言做的，比如电信的在线计费系统，道理很简单，一、用c++我们可以人为控制关键数据进内存的动作，现在过程还没有这个功能，二、像c、c++这些语言编译出来的是直接运行的机器码，存储过程不是。<br>
</div>
<br>没有具体环境讨论 性能没有任何意义。<br>说sp性能高有2点原因：<br>1.  和普通sql比 省去了编译时间 <br>2.  使用了sp通常说明将业务逻辑放到了数据库端 省去了数据传输的开销。 <br>和我们说c/c++性能高是不同的。 这两个并不冲突 什么时候用c++什么时候用sp并不难区分<br><br><div class="quote_title">引用</div>
<div class="quote_div">
<br>    真正对项目性能影响最大的一是sql语句的质量，二是代码的质量。记住，java或c#写的高质量代码的性能是远超plsql或tsql写的低质量的代码的性能的，而用高级语言，尤其是oo语言可以相对容易的写出高质量的代码。<br>
</div>
<br>如果判断语言的高级程度是以语言的抽象来衡量的话　那么ｓｑｌ显然要比ｊａｖａ或ｃ＃更高级。　<br><br><div class="quote_title">引用</div>
<div class="quote_div">
<br>至于单独的sql语句的性能你在高级语言里写不好，在过程里也写的好不到哪去~~<br>
</div>
<br>这句话反过来说也对　似乎价值不大　呵呵<br><br>
</div>
<p> </p>
<p>    至于这个小学语文水平都不到的，我就不多费口舌了。<img src="/images/smiles/icon_lol.gif" alt=""></p>
<p>    送你一句名言：如此弱智还要编程？快快追星去吧~~~</p>
<p> </p>
<p>    最后发现，原来你还不识数啊~~~~~<img src="/images/smiles/icon_cool.gif" alt=""></p>
<p> </p>

154 楼 ubotutwin 2009-09-11  

<div class="quote_title">ray_linn 写道</div>
<div class="quote_div">
<div class="quote_title">ubotutwin 写道</div>
<div class="quote_div">
<p>    再有，要用存储过程可别拿性能说事，真正对性能要求达到顶点的项目照样都是高级语言做的，比如电信的在线计费系统，道理很简单，一、用c++我们可以人为控制关键数据进内存的动作，现在过程还没有这个功能，二、像c、c++这些语言编译出来的是直接运行的机器码，存储过程不是。</p>
<p> </p>
<p>    真正对项目性能影响最大的一是sql语句的质量，二是代码的质量。记住，java或c#写的高质量代码的性能是远超plsql或tsql写的低质量的代码的性能的，而用高级语言，尤其是oo语言可以相对容易的写出高质量的代码。至于单独的sql语句的性能你在高级语言里写不好，在过程里也写的好不到哪去~~</p>
</div>
<p> </p>
<p>这里显然偷换了概念。</p>
<p> </p>
<p>1.  通常C/C++是通过ESQL与数据库通讯的, ESQL最终还是发送SQL语句给数据库，数据库一样parser，编译，运行，C/C++做的APP，照样要比C/C++调用SP要慢。C胜过的，是得到数据后的处理速度，这个已经和APP或者SP无关了。</p>
<p>ESQL与database的通讯</p>
<p><a href="http://publib.boulder.ibm.com/infocenter/idshelp/v10/index.jsp?topic=/com.ibm.esqlc.doc/esqlc229.htm">http://publib.boulder.ibm.com/infocenter/idshelp/v10/index.jsp?topic=/com.ibm.esqlc.doc/esqlc229.htm</a></p>
<p>2. 正因为SQL的质量高于一切，所以更加不可废弃数据库建模。</p>
</div>
<p>     首先，你说的这个“parser”和存储过程的“编译”完全是两码事啊。parser是指数据库对一条sql求得其执行计划和完整执行路径的过程，拿oracle举个例子：如果oracle“认为”你要执行的这条sql和它以前执行过的一条sql（数据库启动以后）是“一模一样”的，那么oracle就会把以前那条sql的执行计划（在sga里）直接拿来用，否则就在sga里生成之，这个过程才叫“parser”。而我之前所说的“编译”，是指把人写的代码翻译成机器能看懂的代码。此“编译”非彼“parser”啊。</p>
<p> </p>
<p>     我客户端送一个sql给db，何来“编译”一说,而且我绑定变量后也不是每次都“parser”的啊？（当然有时也要认为强制要求数据库重新parser已经绑定变量的语句，这就是更深的东西了）而你的sp，即使编译完了，要是没有充分绑定变量可是每次都要“parser”一下的呦~~</p>
<p> </p>
<p>     下面我们说说你大谈的esql吧，我高级语言的流程是：送sql--返回结果集--高级端处理结果集。sp的流程是：送命令--数据库出结果集并处理--返回处理后的结果集。而且从这些流程上是不能真正看出io压力的不同的，要看还是要去卷组、或用iostat什么的看。 </p>
<p> </p>
<p>     总之，我认为在一个系统中高级语言和sp是“大客车”和“大货车”的关系，客车载人，货车载货。但在中国你也会看到有些货车的后车厢里坐满了农民工，这种现象是真实存在的，但这就是合理的吗？恐怕不是吧~~。</p>
<p> </p>
<p>     还是那句老话，猫吃鱼，狗吃肉，奥特曼打小怪兽。大家各自做好各自的本职工作发挥自己的特长。关系到数据处理的用sp，复杂业务逻辑用高级语言，此二者相辅相成，切不可偏废。</p>
<p> </p>
<p>     最后，并不是我偷换了什么概念，而是你自己的基础知识还不太够啊~~~，不过从你的回复我也大概看明白你为什么这么“力挺”存储过程了~~<img src="/images/smiles/icon_cool.gif" alt=""></p>

153 楼 hsbljyy 2009-09-07  

<p>

zgsheng 写道

sql当然是语言,sql92定义了大部分标准. 开发界分成两部分,一部分搞纯理论,鼓吹各种各样的新理论，新模型,在理论上都相当美好,在实际应用中基本完全无用最后真的能成为业界标准,能实际应用的,百无其一<span style="color: #ff0000;">.国内各位所谓大拿提出的理论截止目前似乎无一可行.主要原因应该是国内这些人都还太年轻. 业界浮躁,都想一步登天</span>.有几个人能踏下心来，心无旁骛的做设计，做代码,实践出真理的呢?

</p>
<p> </p>
<p>貌似有点含沙射影~</p>

152 楼 i5cn 2009-09-07  

原子操作中有需要可以使用存储过程，但这也只是为了提高效率，如果是为了处理逻辑，还是交由上层控制才好。

151 楼 ray_linn 2009-09-06  

通常帖子到了最后面几贴，水平都特别的菜。

150 楼 zhoujj303030 2009-09-05  

  个人觉得要使用hibernate的一些项目对效率的要求都不是特别的高，尤其是银行业务之类的的系统，如果使用Herbinate肯定不能够适应用户的需求的；即使在其他的一些项目中如果用到Hibernian这些东西一般都需要很好的去理解对象和关系，越深刻越好，不然也会严重影响效率！

149 楼 seawolfxp 2009-09-05  

做小项目和大项目不同，做项目和做产品又不同。
就拿做产品来说，你要面对N多个客户，客户的需求又驱动你的产品升级，你产品的升级又要对客户提供支持。
所以数据存储必须是完全在你掌控之下，只有这样你才可能对它优化或者提供升级方案。所以数据库结构设计产品设计的重中之重。

148 楼 跳跃的心灵 2009-09-04  

以后就会知道的了

147 楼 qxpidt 2009-09-03  

其实,如果自己的架构师来写一套自己的持久方案的话,也行.只不过说,相对于Hibernate ORM等这些来说,可能会在某一方面比较偏弱.

146 楼 徐风子 2009-09-03  

徐风子 写道

rainlife 写道

其实sql只是一个数据操作工具，说语言可能有些不恰当。

SQL的全称叫Structured Query Language，中文翻译为结构化查询语言。老外对SQL的定义本就是一门语言，说工具也有道理，但Java跟C#之类的高级也可以算是数据操作工具呀。兄台的观点有点勉强呢。

嗯，也算是一种语言，但相比起其他语言来说sql功能太单一了，其他语言至少可以控制IO、调用外部程序等等功能。
sql更多的像是附加在其他语言上的一个“工具”。

说他是工具也没啥不好的意思，我是期望他如果能在语言级别上做出更多的发展或许更好。比如有面向对象的特性，函数式编程的特性。其实sql也能做到的，不过这样离现在意义上的sql就远了，变得不伦不类了，也可能那些大公司也是明白了这点，才死守现在的模式。

145 楼 hsbljyy 2009-09-03  

我也想说几句。
首先我必须声明的是，跟各位牛人比起来我只能算是一只不入流的菜鸟，不过我还是想说说自己的体会。
也许是因为我入行的时间不到两年，也没参与过多么大型的项目，可能也是跟带我入行的人有关吧。总之呢，数据库思维对我的影响还不是很深，当然，这也导致了数据库的功力明显不足。
在我看来，数据库对于我来说只是数据存储的工具而已，如果我高兴，我甚至可以把数据存储到xml中，甚至是按照一定规则存储到文本文件，只是操作上不如直接使用数据库的方便。（当然，前提条件是我是整个项目组的leader）
举个例子吧，设计一个权限管理系统，我完全可以将系统的角色、资源、权限信息全部储存到数据库中，也可以存储到xml文件中，甚至是Properties文件。只是存储到这些文本文件中，必须自己定义一定的规则，相对于数据库来说比较麻烦。
至于前文很多数据库牛人有提到使用存储过程来完成一些业务逻辑，我持的是反对观点。
虽然我不是很懂数据库，但至少有一点我想大家还是认可的吧，不同的数据库支持的SQL标准不一样，存储过程的写法可能也不同。如果业务逻辑写在存储过程上，那么如果是做行业软件，也就是说接的项目有一部分业务逻辑是相通的，也就是部分代码可以共用，那假如说把业务逻辑写在存储过程上，那我是不是要根据这些可以公用的东东，写几个不同的数据库的存储过程？当然，具体是不是这样我也不是很清楚，经验有限，实在很难把握这其中的关键。

144 楼 hsbljyy 2009-09-03  

徐风子 写道

rainlife 写道

这个倒是有点不同的观点，pl/sql，在语言排行榜上，排在12位，并不能说明pl/sql就是差，或是什么，关键是因为sql的应用面太窄了。只几个英文单词的简单组合，就可以实现对数据的管理，不可谓不“高级”啊。

应用面窄吗？现在哪个程序没有数据库，其实程序说白了就是对信息的处理。

几个单词？ C语言还就十几个关键字呢。

其实sql只是一个数据操作工具，说语言可能有些不恰当。

SQL的全称叫Structured Query Language，中文翻译为结构化查询语言。老外对SQL的定义本就是一门语言，说工具也有道理，但Java跟C#之类的高级也可以算是数据操作工具呀。兄台的观点有点勉强呢。

143 楼 徐风子 2009-09-03  

rainlife 写道

这个倒是有点不同的观点，pl/sql，在语言排行榜上，排在12位，并不能说明pl/sql就是差，或是什么，关键是因为sql的应用面太窄了。只几个英文单词的简单组合，就可以实现对数据的管理，不可谓不“高级”啊。

应用面窄吗？现在哪个程序没有数据库，其实程序说白了就是对信息的处理。

几个单词？ C语言还就十几个关键字呢。

其实sql只是一个数据操作工具，说语言可能有些不恰当。

142 楼 rainlife 2009-09-03  

徐风子 写道

唉，想说点什么，但说不出来，有点“眼前有景道不得，崔颢题诗在上头。”的感觉。

散乱的说点吧：
语言排行榜上 PL/SQL 排在12位，使用率0.982%，差高级语言太远了。
一直感觉高级语言能更好的使用数据结构，如hashMap，难道sql的效率能超过经典的数据结构吗，sql也是由类似c语言之类的东西实现的吧。
使用指针（类指针）可以很好的组织数据，比二维表的形式好多了。

数据库的优势在持久化，
持久化了以后你要自己处理数据就有传输耗费。
传输耗费真的很大吗？内网传输速度早就大大超过硬盘读取速度了。

数据库厂商为什么还不改革？

这个倒是有点不同的观点，pl/sql，在语言排行榜上，排在12位，并不能说明pl/sql就是差，或是什么，关键是因为sql的应用面太窄了。只几个英文单词的简单组合，就可以实现对数据的管理，不可谓不“高级”啊。

141 楼 徐风子 2009-09-02  

唉，想说点什么，但说不出来，有点“眼前有景道不得，崔颢题诗在上头。”的感觉。

散乱的说点吧：
语言排行榜上 PL/SQL 排在12位，使用率0.982%，差高级语言太远了。
一直感觉高级语言能更好的使用数据结构，如hashMap，难道sql的效率能超过经典的数据结构吗，sql也是由类似c语言之类的东西实现的吧。
使用指针（类指针）可以很好的组织数据，比二维表的形式好多了。

数据库的优势在持久化，
持久化了以后你要自己处理数据就有传输耗费。
传输耗费真的很大吗？内网传输速度早就大大超过硬盘读取速度了。

数据库厂商为什么还不改革？

140 楼 徐风子 2009-09-02  

<div class="quote_title">ubotutwin 写道</div>
<div class="quote_div">
<div class="quote_title">ray_linn 写道</div>
<div class="quote_div">
<div class="quote_title">ubotutwin 写道</div>
<div class="quote_div">
<div class="quote_title">ray_linn 写道</div>
<div class="quote_div">楼主去用hibernate去做个总分轧平吧，<br><br>横向按账户的借贷方，纵向按科目，科目有借方科目，贷方科目，借贷双方科目，某些科目的借方 要与另外一些科目的贷方相当。</div>
<p> </p>
<p>     就从这一句就知道你对编程的理解很浅薄，你以为你罗列的zhe这些复杂的条件限制你用个procedure写出来是很强的事？搞清楚，越是复杂的逻辑越是高级语言的强项！要用存储过程完成那些十分复杂的逻辑不论在语言支持上还是库支持上都不行。最简单的道理就是--要是存储过程真的能干，那世界前三的编程语言为什么没有tsql、plsql这些语言？别告诉我说这些语言不能写web，不能写ui什么的，它们都能，可是没人会用它们来完成这些功能。</p>
<p> </p>
<p>     在中国“结构化查询语言”的意义和“为人民服务”一样都是被理解的变了味道的东西。高级语言好比大客车，sql好比大货车，客车用来载人，货车用来载货，但在一些地方也能看到一群群的农民工们挤坐在货车后面的车厢上，那能说这就是合理的？货车载人就是“坚若磐石”的真理？还是各司其职才能充分发挥各自的长处吧。</p>
<p> </p>
<p>     再有，别再拿国内那几个落后的电信bss提供商说事了，他们的架构无一不是购买或抄袭国外90年代的过时技术，它们代表的只是落后而已。at&amp;t和思科前几年个系统构型就已经是领域优先的了。</p>
<p> </p>
<p> </p>
</div>
<p><br>口气好大，差点没把我吓死。</p>
<p>买CICS和Tuxedo的都是傻子吧？ </p>
</div>
<p> </p>
<p>   存储过程操作数据库很快，起码比oci、odbc、jdbc等等这些快。存储过程调试很方便，很容易发现问题和修改。存储过程对异构平台的融合十分有利。
<br><br>    以上这些都是总结前面帖子的，我再补充一点存储过程本身是具有编写前端展示功能的，包括web展示和图形界面展示。
<br>   
<br>    有了以上诸多优点我想存储过程应该一统编程语言世界了吧，可是编程界第一语言叫java、第二叫c++、第三叫c、第四叫c#.....后面还有很多。
<br><br>    存储过程在哪？这么优秀的语言为什么这么不被重视？美欧日本这些国家的程序员都是白痴？整个编程行业的所有经验和选择都是错的？只有中国这个“软件不发达国家”的东西是完全正确的？全世界的程序员都是傻子吧？
<br><br>   
我以前所在公司曾经用存储过程实现全套的话单采集+计费+信控+ocs系统A，485人月，700万预算。之后我有有幸接触了新加波一个公司照搬
at&amp;t最新架构的相似系统B，135人月550万预算，这个项目只在统计、汇总数据部分使用了存储过程，其余由c++ +
java完成，而其预算还是在大部分人员和开发都是新加波本地的，成本远高于中国的情况下的。想起A项目，我只想说两个字-恶心。
<br><br>    如果有在国内几个大型电信类软件公司工作的同志，应该知道，这些公司梦寐以求的最终目标就是像国外一样实现项目的产品化，而这之中最大的绊脚石就是技术的落后陈旧，其中就包括大量使用存储过程所带来的弊病。
<br><br>   
我本人在各式各样的项目中也算是写过些存储过程，没有30万行也有20多万行了，我总结这其中的经验就是，国内对存储过程的滥用和整体架构、技术的老旧。
那些所谓的“经过时间考验的项目”不过是使用过时、陈旧技术的代表，它们仍然存在，但这并不证明它们是最优的。而高级语言带来的开发成本的缩减往往是惊人
的。</p>
<p> </p>
<p>    再有，要用存储过程可别拿性能说事，真正对性能要求达到顶点的项目照样都是高级语言做的，比如电信的在线计费系统，道理很简单，一、用c++我们可以人为控制关键数据进内存的动作，现在过程还没有这个功能，二、像c、c++这些语言编译出来的是直接运行的机器码，存储过程不是。</p>
<p> </p>
<p>    真正对项目性能影响最大的一是sql语句的质量，二是代码的质量。记住，java或c#写的高质量代码的性能是远超plsql或tsql写的低质量的代码的性能的，而用高级语言，尤其是oo语言可以相对容易的写出高质量的代码。至于单独的sql语句的性能你在高级语言里写不好，在过程里也写的好不到哪去~~</p>
</div>
<p> </p>
<p>没啥说的，就一句：“牛呀！”</p>
<p> </p>
<p> </p>
<p>至于icefishc…… 太偏激了。</p>
<p> </p>

139 楼 hsbljyy 2009-09-01  

没人继续讨论了？

138 楼 xixix2004 2009-08-27  

楼主应该把项目应用先说明一下的。

137 楼 visualcatsharp 2009-08-26  

tianhaoleng 写道

楼上满嘴胡话，不知道在瞎扯些什么。

怀疑你是否看懂了 ubotutwin 的意思……

你也是满嘴胡话，你也不知道在瞎扯些什么。怀疑你是否看懂了icefishc 的意思。