也谈大型电子商务网站的架构

   看了onecan的 大型Java多用户商城系统设计开发的心得和困难：http://www.iteye.com/topic/1119514
体会或说同感较多，由于那个帖子太长了，所以我把自己的一些心得另开一个来谈。

   帖子上大家对是否使用Hibernate有很多的讨论，下面谈谈我的看法：
   我自己的大型B2B和B2C网站原来也是用Hibernate，但是后来不得不换成mybatis，
第一是用Hibernate 由于它封装得太高了，很多东西是隐式进行的，经常引起问题，很难定位。毕竟凡事有利必有弊；
第二大型网站肯定不是一个数据库，这点Hibernate是很麻烦的，用Jdbc或Mybatis 可以轻松应付之，我自己写的shard分库框架目前就是支持mybatis和Jdbc Template。
    另，觉得割舍不了Hibernate的iteyer,其实也是建议直接再用Hibernate，待遇到痛苦时，再换，这样体会会更深些

    我的技术选型和onecan的类似，区别在于：

1.缓存：我采用ehcache+memcached结合的方式，ehcache做JVM本地缓存，memcached做进程外全局缓存，即由本地缓存和全局缓存构成系统的二级缓存；

2.数据库上，你用单数据库肯定是不行的。我的平台是划分为100多个库，早期我采用淘宝的amoeba(陈师儒兄写的)分库技术（其实是一个分库中间件，通过一台代理amoeba实现对后端mysql集群的透明化代理。后来发现问题多多，另一个是中间件方案虽然使用简单，但不够灵活，不能做多数据库事务，所以弃之。不得以自己写了一个基于Java的分库框架，即Shard，在应用层直接通过Shard操作数据库集群；

3.全文索引，我们采用Solr，不过目前想把它换成ElasticSearch,因为Solr的全文索引同步比较慢，延时是一个很大的问题，ES做得好些。

4.任务调度你这里没有讲，其实这块对于大型网站是很重要的，我是基于Quautz自己写了一个全局任务调度框架，相当于任务调度云的方式。如每天晚上汇总数据，定期迁移数据等就可以很好地使用任务调度来完成。

5.编码生成：凡是商城或应用系统，肯定是要有一个编码生成的框架，如单据号，商品编号等，要求是全局唯一，规则可自定义。这个我是基于Spring Expression写了一个全局的编码框架。称为codeman,后面我也拟把它开源出来；

6.开放平台：如果你的商城要允许多终端接入，如iphone,android,PC客户端,或者第三方，则一定要有一条服务总线，如淘宝的TOP。这个原来是用Spring MVC直接写的，后来发现新增功能太麻烦，开发效率太低了，因此我就基于Spring MVC框架的设计思路和TOP的应用模型写了一个Rop框架，这个已经开源的，参见我这个帖子：http://www.iteye.com/topic/1121252

7.NoSQL和mySQL结合，mySQL毕竟是关系型的，对于高并发的数据，我们是放到mogonDB中的，这个数据库的压力会小很多。

8.日志的记录：大型网站的日志记录是非常重要的，是审计，问题定位的依据。原来早期，我直接把日志记录到MySQL中，日志很大，数据库压力大，后来把它直接异步到Elastic Search中，不但可以全文检索，并发性大时也没有问题；
此外，对日志编写了一些分析引擎，可以从日志中发现关键的问题，即时报警。

9.会话管理的问题：由于应用服务节点很多，因此弃用Web应用服务器本身的Session功能，直接自己编写了一个全局会话管理功能，以实现全局统一的会话管理。

10.图片服务器独立，每张图片只保存一张物理的，其实不同规格的图片动态生成并放到内存中；

11.项目采用敏捷开发，DDT,Maven等。

问题：
  1.敏捷开发还没有通透，现在还没有达到自动集成，自动部署，这块是接下来的目标；
  2.数据库和全文索引的同步还是一个小延时，这个小延时会造成用户的误解：在后台编辑了记录，可以列表刷新时却看不到更新，不知道大家有什么好的办法。
  3.模板这块的设计还没有什么好的方案，扩展性上不足，都是预先做好让用户选择的。

评论

5 楼 osacar 2012-12-12  

权限控制用哪个？？

4 楼 dingbuoyi 2012-08-19  

LZ牛人 架构师啊

3 楼 stamen 2012-08-17  

    使用SOA架构是分布式计算的基础，不单单是业务层webservice,可以按业务独立出模块，如图片服务、任务调度服务、全文索引都可以独立出出门的服务。
    数据库将会是瓶颈，应尽量减少对数据库的访问，多采用缓存、全文索引等的技术减小对数据库的操作。此外，数据库尽量分库。

2 楼 cmzx3444 2012-08-16  

你好，我公司一个电子商务网站，现在要打算重构，一直没有什么好的想法。
现在的想法大致是这样的：
1.数据访问层，可能有多个数据库，提供基本的数据存储api
2.核心业务层，以webservice方式提供业务操作的接口给web层
3，前端展示，这块可能有多个系统，比如电子商务的网站，电子商务的后台管理，仓库管理系统等，都统一使用第二层的api。
4，独立的session层

2，3层都可以单独部署，数据访问层以jar的方式提供为业务层使用。
这是个很初步的设想，不知道靠不靠谱，请指教。

1 楼 zdd122456 2012-05-13  

LZ真是.....强大