- 浏览: 41984 次
- 性别:
- 来自: 未知
最新评论
-
teasp:
哪有两个Long啊?分明是两个long,这是原始类型,它们所占 ...
如何计算java内存大小--谁吃了对象引用的16byte? -
niwtsew:
楼主总结的不错,我也有此体会。一定要淡定
这段代码不是我写的
文章列表
Java内存区域与OOM http://www.iteye.com/topic/802573
·程序计数器:保留线程执行到的指令
·栈:编译期间预期的变量表。层次深:栈溢出;无法创建更多的栈OOM;线程个数=(系统内存-堆-年老代-保留区域)/每个栈空间
·本地栈:native,也会OOM
·堆(eden、s0、s1+old):生成大量无法回收的对象OOM
·方法区:加载类过多OOM
·常量区:生成太多常量OOM
垃圾收集器与内存分配策略 http://www.iteye.com/topic/802638
·引用计数器:简单,但无法找到循环引用的情况
·搜索算法 ...
系统的性能优化--记项目总结
- 博客分类:
- 技术
项目过去都3个多月了,也没系统的总结,今天总结一下
系统背景:
1.访问量大:每天承受20亿+服务调用
2.海量数据:核心表都是5亿条数据,而且每天还在以几十万的速度增加
3.之前架构:由于读写比例很高,已经采用分 ...
http://blog.csdn.net/yzsind/archive/2010/12/06/6059209.aspx
看了《关于系统性能的思考》,结合自己平时的工作和身边的教训,谈谈自己的一些关于性能的想法
1.性能和容量不是一个概念,在相同条件下,当然性能如果越好,容量会越高
2.性能优化真的不是定式的,还需要相当丰富的经验去解决。以自己身边的系统为例,从Apache、Jboss、F5、网络、应用系统、到最后的DB,就如同是一条回家的路,任何一个环节处理慢了,都可能成为性能的瓶颈
3.一般涉及到性能的地方:
3.1.cache:缓存一切可以缓存的数据。比如数据字典、配置、读多写少的数据,但如果是敏感数据,比如资金,不建议缓存。
3.2.异步:异步一切可以异步的操作。意义不仅仅在于性 ...
1.最明显的功能,排查线上问题。
平时遇到bug时,要相信“人走过,必留下痕迹”,没有什么事情是没有原因的。
2.报警
我们的系统越来越多,业务越来越多,不可能靠人肉每天查询日志以发现问题,还是要利用机器。
针对具体的业务,打印具体格式的日志,通过日志收集系统的规则,发现问题则向相关人员报警。怎么实现日志收集系统呢,可以每隔一段时间,从生产环境中获取指定日志,每次读取后,记录本次读取日志的最后行数,下次再收集日志时,从该行数开始读取新的时间段的日志。
3.统计业务
还是要规范我们的摘要日志的格式,将每次读取的日志写入数据库,比如:
---- ...
在生产环境中,针对具体问题的追踪,没有debug,只有利用logger排查问题,这就要求我们打印logger,具体有哪些logger呢?
1.摘要日志
同步service层摘要日志,打印调用服务,入参,执行时间,执行结果
异步事件接收摘 ...
在应用中,总有一些业务操作可能会引起大数据量的查询,基于应用健壮性的考虑,需要对这些业务控制起来。
思路:外围业务每次请求时,应用每次申请一个资源,当超过限定的资源总数时,不允许业务继续进行. try{
applyResource(); do业务();
}
finally{
releaseResource();
}
实现1:在数据库中,针对具体业务插入一条记录(sysName,sysCount), synchronized void ...
在有些业务背景下,需要cache防止并发的情况,然后cache却不能提供锁的功能,可以由应用代为实现
1.第一次存入cache的数据时,加一个modifiedTime的时间戳
2.下次更新的时候,必须保证取到当前的时间戳和cache中数据的时间戳一致,这样才可以更新;否则直接removecache,不要影响到正常业务。
其实,这种乐观锁的实现,和DB层的乐观锁实现原理是一样的,即先操作业务,具体执行时必须和DB/cache中的版本或者时间戳保持一致。
在大型的互联网应用中,如果缓存的是大量的数据,可以考虑多级缓存数据
1.第一级cache:本地线程cache
每次将数据放入线程cache(利用ThreadLocal)中,可以避免同一个线程中对同一个缓存数据的访问
2.第二级cache:本地内存cache
利用appserver的内存,将数据放入本地的内存缓存,可以用的工具有EHCache
3.第三级cache:远程cache
利用分布式缓存,当线程cache、内存cache都没有命中时,再去查询远程缓存。可以利用的工具有memcache
4.第四级cache:就是DB了:)
前三层缓存 ...
这篇没有任何技术含量,仅仅是一个良好的编程习惯
随着应用中缓存的业务数据越来越多,为了防止不同业务的key相互覆盖的情况,有个简单的办法,对不用的业务的数据分组,比如:
业务1 prefix1+key
业务3 prefix2+key
业务2 prefix3+key
这样之后,即时各个业务的key相同,也可以防止数据被相互覆盖的情况
如果我们对一个比较复杂的模型做cache,会有如下需求:
1. 利用多个key去查询这一模型的cache
2. 继而要求可以利用多个key去删除cache时
如果按照最简单的模型,每个key对应一个cache数据,这样当某一个key对应cache中的数据变动时,另外一个key对应的cache数据必定成为脏数据。
举例:key1->cacheObject,key2->cacheObject,当put(key1,cacheObject)时,key2对应的数据必定是脏数据;或者remove(key1)时,key2对应的cacheObject也还是会存在的,也是脏数据。
...
在我们的应用中,有一张表的查询量非常之大,高峰期时6000次/second查询,而且更新很少,于是我们的改造来了:
第一次优化:
方法:每次从cache中读取,如果cache中没有命中,则从DB读取,如果有值将此值放入cache中。
效果:上线后效果并不是特别明显,高峰期仍有3000次/second的查询,原因在哪里呢?此表只有700w的数据量,但是对于3亿用户,每个用户都要查询此表,就是说,只有700w/3亿=2.33%可以命中cache,间接导致每次从cache中取数据为空后,仍有97.67%的数据仍然会查询DB。
第二次优化:
方法:每次从DB中查询后,如果是空,则在 ...
在支撑大规模、高并发、高可用的互联网应用中,异步更新分布式缓存的应用已经越来越多了(为什么是异步更新缓存,因为异步不仅可以提高系统性能,而且提高系统的伸缩性和可用性),由于缓存的更新是异步的,可能由于多个更新缓存的并发线程而导致的脏数据。
举例,有下面2个线程A、B同时执行业务,执行完业务之后,会产生2个异步的线程A1、B1去更新缓存,在理想情况下,A1和B1应该保持顺序性,即A1先更新缓存、B1再更新缓存,但是由于线程本身是异步的,加上2个线程可能分布在不同应用服务器上,所以对执行线程时顺序没有办法保证,如果B1先执行,A1再执行,这样B1的数据就被A1覆盖掉,从而导致脏数据。有没有什 ...
这是一个非常值得记忆的时刻
- 博客分类:
- 思考
2008年12月份
收费改造,第一次通宵发布系统;这是刚毕业不久后进入公司,抱着对学习饥渴的心态,申请晚上通宵留守,发布成功,晚上12点吃了一顿烧烤,4点发布完成后监控没有问题,6点和若干开发还在局域网内打了几盘cs,7点pm把热腾腾的豆浆煎饺送上,上午9点和其他开发交接后,10点回家睡觉
2009年11月份
新的个人版发布,作为核心业务的提供方,留守发布,这次同样有烧烤,我们的系统发布没有问题,但是不幸的是,个人版系统由于事前没有评估到某个业务带来的消息挤压,导致下午全站宕机2小时,经验值得学习,教训值得警醒。
马上就到来的2010年7月7日凌晨
虽然这一刻还没到来,但依 ...
以前谈过重用的粒度问题,今天也谈谈冗余的粒度。
1. 数据库字段的冗余
好处1:合适字段的冗余,对于提供数据库的查询速度会有很大提升,因为可以不用于其他表join去获取数据
好处2:在垂直分库的情况下,丧失了join数据表的能力,为了不让业务受伤害,在表上加上一些冗余,同样可以满足业务的需求
坏处:需要在多个表中维护数据的一致性
2. 业务中多个表的冗余
一个最简单的道理,对于大型互联网,比如一次交易,数据会放入不同的业务系统中。比如:买家的交易信息、卖家的交易信息、支付订单的信息、收费的信息、账务的信息、会计的信息。
好处:其实这就是 ...