jvm大内存缓存的替代方案

0 0

jvm大内存缓存的替代方案10

要用java实现一个数据聚合的功能，分为按小时归档和按天归档(归档也可以叫数据聚合、数据老化)。单台归档数据量为150万个归档结构、3000万个归档最小单元(平均每个归档结构包含20个最小归档单元)，即每个小时或每天要生成150万个归档结构、3000万个最小单元。当前，归档都是在jvm的内存做的，jvm内存设置为

"-server -Xms20g -Xmx20g -Xmn2g -Xss256k -XX:PermSize=200m -XX:MaxPermSize=200m -XX:MaxDirectMemorySize=6g -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSFullGCsBeforeCompaction=1 -XX:+UseCMSCompactAtFullCollection -XX:+CMSClassUnloadingEnabled -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+CMSParallelRemarkEnabled -XX:+DisableExplicitGC -verbose:gc"。物理机，很强悍、完全可以撑得住jvm的上述设置。

使用这个设计时出现的问题是，jvm大概一天左右就会fullGC、而且会把jvm直接搞死，估计是jvm管理的内存太大了。

现在考虑解决问题的办法是，将大内存拿到堆外去做，比如尝试了MapDB但发现 MapDB插入大对象的速度实现是可怜(或者我的设置有问题)；具体的MapDB设计见下面的代码。

请大家帮忙，给一些解决方案，来替代jvm管理的大内存堆内缓存。

MapDB的初始化设置如下：

	    	db = DBMaker
	            .newMemoryDirectDB()
	            .transactionDisable()
	            .closeOnJvmShutdown()
	            .asyncWriteFlushDelay(100)
	            .compressionEnable()
	            .make();

2014年8月26日 09:44

nieanan
0
0 0 4

4个答案按时间排序按投票排序

0 0

垃圾回收前后不要压缩内存，把压缩的参数去掉

2014年8月28日 19:46

richard_2010
16
0 0 1

添加评论

0 0

只是简单的数据聚合直接用Redis吧

2014年8月26日 12:43

issboy
30
0 0 1

添加评论

0 0

两个建议哈:
1:使用bigMemory或者apacheDirectMemory 使用directMemory开辟大内存,规避大heap FullGC问题,

2:使用G1收集器，我们的hbase RegionServer 也有fullGc问题，使用G1后有明显变化，目前一个月内最多一次full gc .

这是部分gc配置，仅供参考哈:

-Xmx32g -Xms32g -XX:PermSize=96m -XX:MaxPermSize=96m -XX:+UseG1GC -XX:MaxGCPauseMillis=400 -XX:G1ReservePercent=30 -XX:InitiatingHeapOccupancyPercent=35 -XX:ConcGCThreads=10 -XX:+UnlockCommercialFeatures -XX:+FlightRecorder -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=1 -XX:GCLogFileSize=50M -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/data/hadoop/logs/gc-hbase-g1.log

2014年8月26日 12:15