论坛首页 Java企业应用论坛

虚拟机中的锁优化简介(适应性自旋/锁粗化/锁削除/轻量级锁/偏向锁)

浏览 18044 次
该帖已经被评为良好帖
作者 正文
   发表时间:2011-04-26   最后修改:2011-04-27
  高效并发是JDK 1.6的一个重要主题,HotSpot虚拟机开发团队在这个版本上花费了大量的精力去实现各种锁优化技术,如适应性自旋(Adaptive Spinning)、锁削除(Lock Elimination)、锁膨胀(Lock Coarsening)、轻量级锁(Lightweight Locking)、偏向锁(Biased Locking)等,这些技术都是为了在线程之间更高效地共享数据,以及解决竞争问题,从而提高程序的执行效率。

13.3.1 自旋锁与自适应自旋

  前面我们讨论互斥同步的时候,提到了互斥同步对性能最大的影响是阻塞的实现,挂起线程和恢复线程的操作都需要转入内核态中完成,这些操作给系统的并发性能带来了很大的压力。同时,虚拟机的开发团队也注意到在许多应用上,共享数据的锁定状态只会持续很短的一段时间,为了这段时间去挂起和恢复线程并不值得。如果物理机器有一个以上的处理器,能让两个或以上的线程同时并行执行,我们就可以让后面请求锁的那个线程“稍等一会”,但不放弃处理器的执行时间,看看持有锁的线程是否很快就会释放锁。为了让线程等待,我们只须让线程执行一个忙循环(自旋),这项技术就是所谓的自旋锁。
  自旋锁在JDK 1.4.2中就已经引入,只不过默认是关闭的,可以使用-XX:+UseSpinning参数来开启,在JDK 1.6中就已经改为默认开启了。自旋等待不能代替阻塞,且先不说对处理器数量的要求,自旋等待本身虽然避免了线程切换的开销,但它是要占用处理器时间的,所以如果锁被占用的时间很短,自旋等待的效果就会非常好,反之如果锁被占用的时间很长,那么自旋的线程只会白白消耗处理器资源,而不会做任何有用的工作,反而会带来性能的浪费。因此自旋等待的时间必须要有一定的限度,如果自旋超过了限定的次数仍然没有成功获得锁,就应当使用传统的方式去挂起线程了。自旋次数的默认值是10次,用户可以使用参数-XX:PreBlockSpin来更改。
  在JDK 1.6中引入了自适应的自旋锁。自适应意味着自旋的时间不再固定了,而是由前一次在同一个锁上的自旋时间及锁的拥有者的状态来决定。如果在同一个锁对象上,自旋等待刚刚成功获得过锁,并且持有锁的线程正在运行中,那么虚拟机就会认为这次自旋也很有可能再次成功,进而它将允许自旋等待持续相对更长的时间,比如100个循环。另一方面,如果对于某个锁,自旋很少成功获得过,那在以后要获取这个锁时将可能省略掉自旋过程,以避免浪费处理器资源。有了自适应自旋,随着程序运行和性能监控信息的不断完善,虚拟机对程序锁的状况预测就会越来越准确,虚拟机就会变得越来越“聪明”了。

13.3.2 锁削除

  锁削除是指虚拟机即时编译器在运行时,对一些代码上要求同步,但是被检测到不可能存在共享数据竞争的锁进行削除。锁削除的主要判定依据来源于逃逸分析的数据支持(第11章已经讲解过逃逸分析技术),如果判断到一段代码中,在堆上的所有数据都不会逃逸出去被其他线程访问到,那就可以把它们当作栈上数据对待,认为它们是线程私有的,同步加锁自然就无须进行。
  也许读者会有疑问,变量是否逃逸,对于虚拟机来说需要使用数据流分析来确定,但是程序员自己应该是很清楚的,怎么会在明知道不存在数据争用的情况下要求同步呢?答案是有许多同步措施并不是程序员自己加入的,同步的代码在Java程序中的普遍程度也许超过了大部分读者的想象。我们来看看下面代码清单13-6中的例子,这段非常简单的代码仅仅是输出三个字符串相加的结果,无论是源码字面上还是程序语义上都没有同步。

  代码清单 13-6 一段看起来没有同步的代码
public String concatString(String s1, String s2, String s3) {
	return s1 + s2 + s3;
}
  我们也知道,由于String是一个不可变的类,对字符串的连接操作总是通过生成新的String对象来进行的,因此Javac编译器会对String连接做自动优化。在JDK 1.5之前,会转化为StringBuffer对象的连续append()操作,在JDK 1.5及以后的版本中,会转化为StringBuilder对象的连续append()操作。即代码清单13-6中的代码可能会变成代码清单13-7的样子 。

  代码清单 13-7 Javac转化后的字符串连接操作
public String concatString(String s1, String s2, String s3) {
    StringBuffer sb = new StringBuffer();
    sb.append(s1);
    sb.append(s2);
    sb.append(s3);
    return sb.toString();
}
(注1:实事求是地说,既然谈到锁削除与逃逸分析,那虚拟机就不可能是JDK 1.5之前的版本,所以实际上会转化为非线程安全的StringBuilder来完成字符串拼接,并不会加锁。但是这也不影响笔者用这个例子证明Java对象中同步的普遍性。)

  现在大家还认为这段代码没有涉及同步吗?每个StringBuffer.append()方法中都有一个同步块,锁就是sb对象。虚拟机观察变量sb,很快就会发现它的动态作用域被限制在concatString()方法内部。也就是sb的所有引用永远不会“逃逸”到concatString()方法之外,其他线程无法访问到它,所以这里虽然有锁,但是可以被安全地削除掉,在即时编译之后,这段代码就会忽略掉所有的同步而直接执行了。

13.3.3 锁膨胀

  原则上,我们在编写代码的时候,总是推荐将同步块的作用范围限制得尽量小——只在共享数据的实际作用域中才进行同步,这样是为了使得需要同步的操作数量尽可能变小,如果存在锁竞争,那等待锁的线程也能尽快地拿到锁。
  大部分情况下,上面的原则都是正确的,但是如果一系列的连续操作都对同一个对象反复加锁和解锁,甚至加锁操作是出现在循环体中的,那即使没有线程竞争,频繁地进行互斥同步操作也会导致不必要的性能损耗。
  上面代码清单13-7中连续的append()方法就属于这类情况。如果虚拟机探测到有这样一串零碎的操作都对同一个对象加锁,将会把加锁同步的范围扩展(膨胀)到整个操作序列的外部,以代码清单13-7为例,就是扩展到第一个append()操作之前直至最后一个append()操作之后,这样只需要加锁一次就可以了。

13.3.4 轻量级锁

  轻量级锁是JDK 1.6之中加入的新型锁机制,它名字中的“轻量级”是相对于使用操作系统互斥量来实现的传统锁而言的,因此传统的锁机制就被称为“重量级”锁。首先需要强调一点的是,轻量级锁并不是用来代替重量级锁的,它的本意是在没有多线程竞争的前提下,减少传统的重量级锁使用操作系统互斥量产生的性能消耗。
  要理解轻量级锁,以及后面会讲到的偏向锁的原理和运作过程,必须从HotSpot虚拟机的对象(对象头部分)的内存布局开始介绍。HotSpot虚拟机的对象头(Object Header)分为两部分信息,第一部分用于存储对象自身的运行时数据,如哈希码(HashCode)、GC分代年龄(Generational GC Age)等,这部分数据的长度在32位和64位的虚拟机中分别为32个和64个Bits,官方称它为“Mark Word”,它是实现轻量级锁和偏向锁的关键。另外一部分用于存储指向方法区对象类型数据的指针,如果是数组对象的话,还会有一个额外的部分用于存储数组长度。
  对象头信息是与对象自身定义的数据无关的额外存储成本,考虑到虚拟机的空间效率,Mark Word被设计成一个非固定的数据结构以便在极小的空间内存储尽量多的信息,它会根据对象的状态复用自己的存储空间。例如在32位的HotSpot虚拟机中对象未被锁定的状态下,Mark Word的32个Bits空间中的25Bits用于存储对象哈希码(HashCode),4Bits用于存储对象分代年龄,2Bits用于存储锁标志位,1Bit固定为0,在其他状态(轻量级锁定、重量级锁定、GC标记、可偏向)下对象的存储内容如表13-1所示。

  表13-1 HotSpot虚拟机对象头Mark Word
存储内容标志位状态
对象哈希码、对象分代年龄01未锁定
指向锁记录的指针00轻量级锁定
指向重量级锁的指针10膨胀(重量级锁定)
空,不需要记录信息11GC标记
偏向线程ID、偏向时间戳、对象分代年龄01可偏向

  简单地介绍完了对象的内存布局,我们把话题返回到轻量级锁的执行过程上。在代码进入同步块的时候,如果此同步对象没有被锁定(锁标志位为“01”状态),虚拟机首先将在当前线程的栈帧中建立一个名为锁记录(Lock Record)的空间,用于存储锁对象目前的Mark Word的拷贝(官方把这份拷贝加了一个Displaced前缀,即Displaced Mark Word),这时候线程堆栈与对象头的状态如图13-3所示。


  图13-3 轻量级锁CAS操作之前堆栈与对象的状态


  然后,虚拟机将使用CAS操作尝试将对象的Mark Word更新为指向Lock Record的指针。如果这个更新动作成功了,那么这个线程就拥有了该对象的锁,并且对象Mark Word的锁标志位(Mark Word的最后两个Bits)将转变为“00”,即表示此对象处于轻量级锁定状态,这时候线程堆栈与对象头的状态如图13-4所示。


  图13-4 轻量级锁CAS操作之后堆栈与对象的状态

注2:图13-3和图13-4来源于HotSpot虚拟机的一位Senior Staff Engineer——Paul Hohensee所写的PPT《The Hotspot Java Virtual Machine》

  如果这个更新操作失败了,虚拟机首先会检查对象的Mark Word是否指向当前线程的栈帧,如果是就说明当前线程已经拥有了这个对象的锁,那就可以直接进入同步块继续执行,否则说明这个锁对象已经被其他线程抢占了。如果有两条以上的线程争用同一个锁,那轻量级锁就不再有效,要膨胀为重量级锁,锁标志的状态值变为“10”,Mark Word中存储的就是指向重量级锁(互斥量)的指针,后面等待锁的线程也要进入阻塞状态。
  上面描述的是轻量级锁的加锁过程,它的解锁过程也是通过CAS操作来进行的,如果对象的Mark Word仍然指向着线程的锁记录,那就用CAS操作把对象当前的Mark Word和线程中复制的Displaced Mark Word替换回来,如果替换成功,整个同步过程就完成了。如果替换失败,说明有其他线程尝试过获取该锁,那就要在释放锁的同时,唤醒被挂起的线程。
  轻量级锁能提升程序同步性能的依据是“对于绝大部分的锁,在整个同步周期内都是不存在竞争的”,这是一个经验数据。如果没有竞争,轻量级锁使用CAS操作避免了使用互斥量的开销,但如果存在锁竞争,除了互斥量的开销外,还额外发生了CAS操作,因此在有竞争的情况下,轻量级锁会比传统的重量级锁更慢。

13.3.5 偏向锁

  偏向锁也是JDK 1.6中引入的一项锁优化,它的目的是消除数据在无竞争情况下的同步原语,进一步提高程序的运行性能。如果说轻量级锁是在无竞争的情况下使用CAS操作去消除同步使用的互斥量,那偏向锁就是在无竞争的情况下把整个同步都消除掉,连CAS操作都不做了。
  偏向锁的“偏”,就是偏心的“偏”、偏袒的“偏”。它的意思是这个锁会偏向于第一个获得它的线程,如果在接下来的执行过程中,该锁没有被其他的线程获取,则持有偏向锁的线程将永远不需要再进行同步。
  如果读者读懂了前面轻量级锁中关于对象头Mark Word与线程之间的操作过程,那偏向锁的原理理解起来就会很简单。假设当前虚拟机启用了偏向锁(启用参数-XX:+UseBiasedLocking,这是JDK 1.6的默认值),那么,当锁对象第一次被线程获取的时候,虚拟机将会把对象头中的标志位设为“01”,即偏向模式。同时使用CAS操作把获取到这个锁的线程的ID记录在对象的Mark Word之中,如果CAS操作成功,持有偏向锁的线程以后每次进入这个锁相关的同步块时,虚拟机都可以不再进行任何同步操作(例如Locking、Unlocking及对Mark Word的Update等)。
  当有另外一个线程去尝试获取这个锁时,偏向模式就宣告结束。根据锁对象目前是否处于被锁定的状态,撤销偏向(Revoke Bias)后恢复到未锁定(标志位为“01”)或轻量级锁定(标志位为“00”)的状态,后续的同步操作就如上面介绍的轻量级锁那样执行。偏向锁、轻量级锁的状态转化及对象Mark Word的关系如图13-5所示。


  图13-5 偏向锁、轻量级锁的状态转化及对象Mark Word的关系


  偏向锁可以提高带有同步但无竞争的程序性能。它同样是一个带有效益权衡(Trade Off)性质的优化,也就是说它并不一定总是对程序运行有利,如果程序中大多数的锁都总是被多个不同的线程访问,那偏向模式就是多余的。在具体问题具体分析的前提下,有时候使用参数-XX:-UseBiasedLocking来禁止偏向锁优化反而可以提升性能。

原创文章,转载请注明以下信息:
作者:icyfenix@gmail.com
来源:《深入理解Java虚拟机:JVM高级特性与最佳实践》
  • 大小: 21.7 KB
  • 大小: 36.5 KB
  • 大小: 51.8 KB
   发表时间:2011-04-26  
不错挺长知识的,希望lz能把参考文献也加上,有些地方还想深入读一下
0 请登录后投票
   发表时间:2011-04-26   最后修改:2011-04-26
嗯,我也没有十分详细的参考资料,主要参考文献都是sun的wiki里面那一些,这部分主要是介绍性质的,联系上下文一些介绍原理和实现的文字,可能会好一些。

关于文献,还是要引用某人的话,“要了解VM的实现,读论文是最好的手段”。为此不得不发奋学E文了。
0 请登录后投票
   发表时间:2011-04-26  
师兄呀。这本书神马时候会出呀。那本《深入Java虚拟机》看得晕乎乎的呀。
0 请登录后投票
   发表时间:2011-04-27   最后修改:2011-04-27
13.3.2那段的例子,更方便的不就是用Vector和Hashtable么?
“线程安全”的容器,正好拿来说。

另外,那段例子最好实际跑一下,用日志证明给读者看真的有削除掉锁…因为那个例子在实际代码中会不幸“中招” =_=

我用下面这段代码来模拟那段代码的使用场景:
public class TestLockElision {
  public static void test() {
    new Foo().concatString("alpha", "beta", "charlie");
  }
  
  public static void main(String... args) {
    for (int i = 0; i < 100000000; i++) {
      test();
    }
  }
}

class Foo {
  public String concatString(String a, String b, String c) {
    StringBuffer sb = new StringBuffer();
    sb.append(a);
    sb.append(b);
    sb.append(c);
    return sb.toString();
  }
}

然后让它在JDK 6 update 25 build 01 (fastdebug),Linux x64上运行:
(留意:这个版本上,DoEscapeAnalysisEliminateLocks默认都是true,所以下面实验都没有显式设置。这两个参数与HotSpot VM中锁削除的功能相关,如果是false的话锁削除的功能就不会启用。)

$ java -XX:+PrintEliminateLocks TestLockElision
VM option '+PrintEliminateLocks'

然后可以看到,什么输出也没有。如果锁真的被削除了的话,应该能看到一些相关的日志输出才对。

但,把启动参数改改,变成这样的话:
$ java -XX:+PrintEliminateLocks -XX:CompileCommand='compileonly,Foo.*' -XX:CompileCommand='compileonly,java/lang/StringBuffer.*' TestLockElision
VM option '+PrintEliminateLocks'
VM option 'CompileCommand=compileonly,Foo.*'
VM option 'CompileCommand=compileonly,java/lang/StringBuffer.*'
CompilerOracle: compileonly Foo.*
CompilerOracle: compileonly java/lang/StringBuffer.*
***Eliminated 1 unlocks and 1 locks
***Eliminated 1 unlocks and 1 locks
***Eliminated 1 unlocks and 1 locks
++++ Eliminating: 337 Unlock
++++ Eliminating: 327 Unlock
++++ Eliminating: 316 Unlock
++++ Eliminating: 258 Lock
++++ Eliminating: 242 Unlock
++++ Eliminating: 231 Unlock
++++ Eliminating: 202 Lock
++++ Eliminating: 186 Unlock
++++ Eliminating: 175 Unlock
++++ Eliminating: 146 Lock
++++ Eliminating: 125 Unlock
++++ Eliminating: 114 Unlock
++++ Eliminating: 85 Lock

可以看到输出了么?通过强制调整JIT编译器的一些配置项,这例子的锁削除优化就真的成立了。猜猜看为什么?
(提示:再多开几个别的参数就能很明显的看出来

问题是大家平时跑Java程序不会(也不应该)去设置这样的参数,所以多半享受不到福利呢(至少就这个例子来说)。所以我觉得应该找个跑过确认有效果的例子来看。

另外我也没观察到这个例子应用上了lock coarsening;要么它会有足够条件能应用效果更好的lock elimination(如上),要么连lock coarsening也应用不了。造例子真是费神的工作啊,如果要追求严谨的话…诶。
话说上文还把lock coarsening翻译为“锁膨胀”,为啥下文变成了“锁粗化”? XDD
0 请登录后投票
   发表时间:2011-04-27   最后修改:2011-04-27
LS这个夜猫子……

关于这个例子,我首先找一个替罪羊出来:Jeroen Borgers的《Do Java 6 threading optimizations actually work?》,例子来源于此,就用来理解原理是没有什么问题的,虽然理想与现实总是有点差距。

RednaxelaFX 写道
可以看到输出了么?通过强制调整JIT编译器的一些配置项,这例子的锁削除优化就真的成立了。猜猜看为什么?
(提示:再多开几个别的参数就能很明显的看出来 )

“别的参数”我加了这2个:
-XX:+PrintCompilation -XX:+PrintInlining

另,抗议两个windows版6u25 fastdebug坑爹的事情,一个是:
D:\Develop\jdk1.6.0_25_fastdebug\bin>java -XX:+PrintEliminateLocks TestLockElision
VM option '+PrintEliminateLocks'
Unrecognized VM option '+PrintEliminateLocks'
Could not create the Java virtual machine.

D:\Develop\jdk1.6.0_25_fastdebug\bin>java -version
java version "1.6.0_25-ea-fastdebug"
Java(TM) SE Runtime Environment (build 1.6.0_25-ea-fastdebug-b03)
Java HotSpot(TM) Client VM (build 20.0-b10-fastdebug, mixed mode)

另外一个是你给的参数那个单引号= =#,linux和win版有这样的差异么?我试了jdk7和6u25两个版的都不认加了引号的,必须去掉才行,问题不大,不过为了避免别的同学做试验产生困扰,稍微提一下。
引用
-XX:CompileCommand='compileonly,Foo.*' -XX:CompileCommand='compileonly,java/lang/StringBuffer.*'


coarsening翻译的问题我编辑处理了= =#,那是写到lightweight-locking“膨胀”成传统重量锁的时候,为了避免混淆,打算换个翻译,没有修改完全。alright,明天见。
0 请登录后投票
   发表时间:2011-04-27   最后修改:2011-04-27
IcyFenix,你们这帮人尽搞这些底层的东西。搞得我云里雾里的。 占位学习。
0 请登录后投票
   发表时间:2011-04-27  
  我最多算是跟风,JE里面关注VM的风气,都是撒迦带起来的。
0 请登录后投票
   发表时间:2011-04-27  
楼主太猛了,我一直想搞清楚JVM的东西,请问你都是从哪里学来的,给小弟点指引吧
0 请登录后投票
   发表时间:2011-04-27   最后修改:2011-04-27
shaomeng95 写道
楼主太猛了,我一直想搞清楚JVM的东西,请问你都是从哪里学来的,给小弟点指引吧

网上很多资料,看你想不想学。深入jvm搞清楚了,才能和这帮人扯。我是暂时没精力搞这些东西,只能粗粗的了解,以免以后被bs。
0 请登录后投票
论坛首页 Java企业应用版

跳转论坛:
Global site tag (gtag.js) - Google Analytics