YY一下今年技术上想做的事情

   去年下半年除了基本工作，最主要的就是对公司使用几年的开发框架进行了全面升级和优化，目标是编码量减少30-40%以上，开发效率提升40%以上，目前正在实施中。
   根据工作需要和自己的兴趣，今年 YY 了几个技术主题，根据工作进度准备展开。简单描述一下，以便记录。
   YY 为主，欢迎拍砖。
  

• 1 Commons BeanUtils，
    apache beanUtils 优化版；方式，开源；
    按 beanUtils 接口风格，对 cglib 再封装，解决 apache beanUtils 性能低下的问题；
    去年已经完成了一部分，copy 等操作，性能提升20倍；今年计划完成其余部分，属性设置，获取等。

• 2 分布式 ORM 规范 D-ORM
     JPA 规范的很多特性和设计个人不是很喜欢，比如：过于复杂的 Entity Relation,@OnetoMany,@ManyToMany 等注解， Biodirectional 等；
     另外，JPA 不支持分布式，无法适应大型系统的需要。
   
    去年已经完成 D-ORM version 1.0. 包括：Entity，Generic DAO, 垂直切分和数据路由。
    今年主要是想完成远程调用等主题。

    今年还计划看是否需要完成 水平切分(因为分布式数据库已经实现了这部分功能)。

• 3 分布式缓存
     现有许多基于 Memcached 的分布式缓存方案高可用，伸缩性存在一些不足，Cache清除和更新机制比较低效。
     个人觉得有必要设计和开发这样一个分布式Cache。很多思想可能会参考 Coherence。
     并且，最先主要针对 数据缓存使用，会和 D-ORM 充分结合使用。
    
     远期可能会支持文件，图片等通用事件型缓存。

• 4 高性能分布式事务架构 ( High Speed Distributed Transaction Architecture)
     现在，很多大型网站的数据库架构都是分布式数据库，主要采用一种自己设计开发的切分架构来实现，而不是由厂商提供。 因此，一般都不支持分布式事务。

    而基于XA协议的JTA事务，物理数据库不支持，而且性能不高，对大型系统来说不肯能也不会采用，因此在思考其他方式。主要方向是，基于XA协议，实现分布式，高性能的事务处理方案。以此来支撑海量数据，高并发型网站的事务需求。
    可能是做成分布式事务服务器。
   
    Google 的 MapReduce 解决了超海量数据的高效处理，但有专家批评点在于它对标准的DBMS规范，无法支持，如事务。但个人觉得 MapReduce 解决了改解决的问题，适用就好，不必那么符合标准理论。
    不过个人放肆的YY一下， 大型分布式系统下，一些网站对事务要求真的还是蛮高的。因此需要有相应的事务方案支撑。也许也会成为 云计算 (Cloud Computing) 的另一块内容。

• 5 领域模型框架(Domain Model Framework)
    其实构思了蛮久了，想的七七八八了。只是一直没时间做。
    因为目前 Hibernate，JPA 等的领域模型设计和开发还只满足了部分需求，一些特性的设计自己觉得不太好，和自己的思路不一致。
   
    主要解决企业，网站等系统，领域驱动设计无法很好落地的问题。
    目标是, 在 DMF 下，能自然的按 Domain Model 进行设计和开发，让业务代码自然，流畅，易读。并且也能减少很多过程化编程的代码。

    远期目标是，和分布式调用框架，如Hessian，SCA等结合起来，实现一个企业或功能内，领域模型组件的服务化和高度复用。也能从技术上，促进企业的产品和业务规划。   

先YY这么多，不一定能做多少。欢迎拍砖。

评论

31 楼 raymond2006k 2010-02-06  

nisen 写道

对楼主第一个BeanUtils感兴趣,不知道如何优化BeanUtils的 PropertyUtils.getProperty("user.name"),这个可是所有模板的基础,如果能提升20倍,而且api接口不变,就太强悍了.

主要是 Apache BeanUtils 同步误用引起的性能问题，其次是反射。

30 楼 nisen 2010-02-06  

对楼主第一个BeanUtils感兴趣,不知道如何优化BeanUtils的 PropertyUtils.getProperty("user.name"),这个可是所有模板的基础,如果能提升20倍,而且api接口不变,就太强悍了.

29 楼 andy54321 2010-02-03  

对高性能、分布式、缓存感兴趣，
期待楼主的后续

28 楼 lkj107 2010-02-03  

我认为只要楼主能把apche的common的那些代码优化速度提高20倍，那么楼主的工资*5肯定不在话下

27 楼 alajl 2010-02-03  

吹牛皮吧.......

26 楼 berlou 2010-02-02  

unika_ly12 写道

引用

按 beanUtils 接口风格，对 cglib 再封装，解决 apache beanUtils 性能低下的问题；去年已经完成了一部分，copy 等操作，性能提升20倍

对原理比较感兴趣，通过改进什么地方提高效率的呢？

我感兴趣的是，什么样的需求能大量使用BeanUtils的copy功能？

25 楼 unika_ly12 2010-02-02  

引用

按 beanUtils 接口风格，对 cglib 再封装，解决 apache beanUtils 性能低下的问题；去年已经完成了一部分，copy 等操作，性能提升20倍

对原理比较感兴趣，通过改进什么地方提高效率的呢？

24 楼 zhangdp_neu 2010-02-01  

#  3 分布式缓存
     现有许多基于 Memcached 的分布式缓存方案高可用，伸缩性存在一些不足，Cache清除和更新机制比较低效。
     个人觉得有必要设计和开发这样一个分布式Cache。很多思想可能会参考 Coherence。
     并且，最先主要针对 数据缓存使用，会和 D-ORM 充分结合使用。


你的意思是说，你在使用Cache的时候，有很多情况下要更新和清除元素？
我也遇到这么个问题，经常要更新和删除元素的话，我想用Cache不太合适。
有什么好的想法？

23 楼 fastzch 2010-02-01  

我拍一下：
建议改成： 高性能分布式事务架构 ( High Performance Distributed Transaction Architecture)

performance不光是速度的事儿。

22 楼 caoyangx 2010-02-01  

这个不算YY，可行性还是比较高的，期待你的年底的总结，最好整理出文档，我们将十分感谢。

21 楼 raymond2006k 2010-02-01  

skydream 写道

linliangyi2007 写道

对楼主的第一部分感兴趣，哈哈，因为觉得靠谱啊，等做好了，发个开源，大家共享啊，嘻嘻嘻

同感，楼主先做点容易做到的吧，其他的慢慢来。

制定目标的基本原则中，可达到可是非常重要的

总之，风险很大。自己还有很多知识需要了解，能不能完成还要看很多因素。
经验层面，自己在移动项目，电子商务网站等的经验和了解，自然的促成了这些需求想法。
精神层面，开源项目的成功，如 Hibernate，Spring 打倒了 EJB 等等，让我们可以有想法，敢于去努力去实现自己的想法。

目标可达到？

其实这几年做下来发觉，技术项目，很多是一步步做出来了。
许多项目看似规划的非常完美，天衣无缝，但是做到最后，未必能有预期的产出。

也希望多多交流，比如你觉得不靠谱的地方或技术难度， 这些也都是很重要的前期准备。

20 楼 raymond2006k 2010-02-01  

skydream 写道

1比较现实，2有点难度，3，4，5我看基本没有可能，呵呵。

1的内容我很有兴趣，楼主的研究可否公开？或者直接开源好了，即便还不是足够成熟也可以提供他人参考。

还在写当中，后面有时间会放到 sourceforge 上。

19 楼 raymond2006k 2010-02-01  

凯旋人生 写道

支持下，楼主的方向和我差不多。10年多多交流哈。

好，看来对这些议题感兴趣的同学还是蛮多的，多多交流。

18 楼 raymond2006k 2010-02-01  

changeItMore 写道

4 高性能分布式事务架构 ( High Speed Distributed Transaction Architecture)

5 领域模型框架(Domain Model Framework)

第4实现起来难度比较大，而且发展方向不太对，假如还是采用XA方式估计没法保证性能啊

5不知道有什么用，是否在造轮子？

说的很准啊。其实我开始是想不用 XA 协议，但重新review XA协议后，发觉问题不在协议上， 而是在实现架构上。 XA 性能问题，也欢迎你交流你们项目中的使用数据，这个蛮重要的，决定了新方案是否有价值。

5 的话，主要是现在的轮子个人觉得存在一些问题。

17 楼 hankesi2000 2010-02-01  

LZ说的这些都是个人很感兴趣的主题，准备时刻关注，多了解、学习些经验性的东西:)

16 楼 凯旋人生 2010-02-01  

支持下，楼主的方向和我差不多。10年多多交流哈。

15 楼 yuyue618 2010-02-01  

HOHO,都超出了我的能力范围.  必须努力啊.....

14 楼 changeItMore 2010-01-31  

4 高性能分布式事务架构 ( High Speed Distributed Transaction Architecture)

5 领域模型框架(Domain Model Framework)

第4实现起来难度比较大，而且发展方向不太对，假如还是采用XA方式估计没法保证性能啊

5不知道有什么用，是否在造轮子？

13 楼 skydream 2010-01-31  

linliangyi2007 写道

对楼主的第一部分感兴趣，哈哈，因为觉得靠谱啊，等做好了，发个开源，大家共享啊，嘻嘻嘻

同感，楼主先做点容易做到的吧，其他的慢慢来。

制定目标的基本原则中，可达到可是非常重要的

12 楼 skydream 2010-01-31  

1比较现实，2有点难度，3，4，5我看基本没有可能，呵呵。

1的内容我很有兴趣，楼主的研究可否公开？或者直接开源好了，即便还不是足够成熟也可以提供他人参考。