antival
- 浏览: 5549 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
高并发交易平台的想法
- 博客分类：
- 架构设计
SDC4的设计将会引入高并发事务处理器的思想，解决集群、分布式开发方式，引入了disruptor和mina框架。这个处理器可以使用廉价的计算机以及比较快的网络，实现可线性增长的一个架构模式。
由于公司主要业务线都在金融行业，因此我们不能简单的使用电商的设计理念。但是我们会引入事件驱动+高速处理器+中央分发器的部署方式来实现。
目前需要解决几个问题：
1，如何计算原子交易的waiting time 和busy time的比率。
2，如何最大限度的利用CPU，形成高并发处理的交易平台。
3，如何完成可伸缩和和扩展的分布式架构。
4，如何在分布式模式下，实现业务的数据安全 ...
2012年1月9日，去客户现场解决性能问题。
背景：客户需要数据从一个数据库到另一个数据库转移。本来可以使用ETL工具解决，但是由于一些客观原因又不能使用ETL系统，因此项目组自己做了一个数据迁移功能。除了业务部分的数据组织外，其他功能非常简单，就是利用JDBC组织数据，然后批量提交。
问题：数据量在19万条，内存控制在1G左右，在8万条左右，内存溢出。监控JVM，发现Old区域和eden区域都满了，GC很吃力，效果不好。因此定位内存泄漏。
代码分析：
原有代码使用hibernate分页获取数据，每次5000条，然后进入子程序，创建PreparedStatement，批 ...