`

从JVM并发看CPU内存指令重排序(Memory Reordering)

阅读更多

 

我们都知道,现在的计算机, cpu 在计算的时候,并不总是从内存读取数据,它的数据读取顺序优先级是:寄存器-高速缓存-内 存。线程耗费的是 CPU ,线程计算的时候,原始的数据来自内存,在计算过程中,有些数据可能被频繁读取,这些数据被存储在寄存器和高速缓存中,当线程计算 完后,这些缓存的数据在适当的时候应该写回内存。当个多个线程同时读写某个内存数据时,就会产生多线程并发问题,涉及到三个特性:原子性,有序性,可见性。

本文转自:http://kenwublog.com/illustrate-memory-reordering-in-cpu

这两天,笔者拜读了 Dennis Byrne 写的一片博文  Memory Barriers and JVM Concurrency ( 中译文  内存屏障与 JVM 并发 )

文中提到 :

对主存的一次访问一般花费硬件的数百次时钟周期。处理器通过缓存( caching )能够从数量级上降低内存延迟的成本这些缓存为了性能重新排列待定内存操作的顺序。也就是说,程序的读写操作不一定会按照它要求处理器的顺序执行。

这段话是作者对内存屏障重要性的定义。通过 cache 降低内存延迟,这句话很好理解。但后面那句 为了性能重排序内存操作顺序 ,让没学好微机原理的我倍感疑惑。

CPU 为何要重排序内存访问指令?在哪种场景下会触发重排序?作者在文中并未提及。

为了解答疑问,我在网上查阅了一些资料,在这里跟大家分享一下。

1. 重排序的背景

我们知道现代 CPU 的主频越来越高,与 cache 的交互次数也越来越多。当 CPU 的计算速度远远超过访问 cache 时,会产生 cache wait ,过多的 cache  wait 就会造成性能瓶颈。
针对这种情况,多数架构(包括 X86 )采用了一种将 cache 分片的解决方案,即将一块 cache 划分成互不关联地多个 slots ( 逻辑存储单元,又名 Memory Bank Cache Bank) CPU 可以自行选择在多个 idle bank 中进行存取。这种 SMP 的设计,显著提高了 CPU 的并行处理能力,也回避了 cache 访问瓶颈。

Memory Bank 的划分
一般 Memory bank 是按 cache address 来划分的。比如 偶数 adress 0×12345000  分到 bank 0, 奇数 address 0×12345100  分到 bank1

重排序的种类
编译期重排。编译源代码时,编译器依据对上下文的分析,对指令进行重排序,以之更适合于 CPU 的并行执行。

运行期重排, CPU 在执行过程中,动态分析依赖部件的效能,对指令做重排序优化。

2. 实例讲解指令重排序原理

为了方便理解,我们先来看一张 CPU 内部结构图 :

 


从图中可以看到,这是一台配备双CPU 的计算机,cache 按地址被分成了两块 cache banks ,分别是 cache bank0 cache bank1

理想的内存访问指令顺序:
1
CPU0  cache address 0×12345000 写入一个数字 1 。因为address 0×12345000 是偶数,所以值被写入 bank0.
2
CPU1 读取 bank0 address 0×12345000 的值,即数字1
3
CPU0 cache 地址 0×12345100   写入一个数字 2 。因为address 0×12345100 是奇数,所以值被写入 bank1.
4
CPU1 读取 bank1 address  0×12345100 的值,即数字2

重排序后的内存访问指令顺序:
1
CPU0 准备往 bank0 address 0×12345000 写入数字 1
2
CPU0 检查 bank0 的可用性。发现 bank0 处于 busy 状态。
3
CPU0 为了防止 cache 等待,发挥最大效能,将内存访问指令重排序。即先执行后面的 bank1 address 0×12345100 数字2 的写入请求。
4
CPU0 检查 bank1 可用性,发现bank1 处于 idle 状态。
5
CPU0 将数字2 写入 bank 1 address 0×12345100
6
CPU1 来读取  0×12345000 ,未读到 数字1 ,出错。
7
CPU0 继续检查 bank0 的可用性,发现这次 bank0 可用了,然后将数字1 写入 0×12345000
8
CPU1 读取 0×12345100 ,读到数字2 ,正确。

从上述触发步骤中,可以看到第 3 步发生了指令重排序,并导致第 6 步读到错误的数据。

通过对指令重排,CPU 可以获得更快地响应速度, 但也给编写并发程序的程序员带来了诸多挑战。
内存屏障是用来防止CPU 出现指令重排序的利器之一。
通过这个实例,不知道你对指令重排理解了没有?

3. 不同架构下的指令重排优化

从图中,可以看到,X86 仅在 Stores after loads Incoherent instruction cache pipeline 中会触发重排。

Stores after loads 的含义是在对同一个地址进行读写操作时,写入在读取后面,允许重排序。即满足弱一致性(Weak Consistency) ,这是最可被接受的类型,不会造成太大的影响。

Incoherent instruction cache pipeline 是跟JIT 相关的类型,作用是在执行 self-modifying code 时预防JIT 没有flush 指令缓存。我不知道该类型跟指令排序有什么关系,既然不在本文涉及范围内,就不做深入探讨了。

 

转载请注明原文链接:http://kenwublog.com/illustrate-memory-reordering-in-cpu

参考资料

http://kenwublog.com/docs/memory.barrier.ppt
http://kenwublog.com/docs/memory.model.instruction.reordering.and.store.atomicity.pdf

http://kenwublog.com/docs/memory.ordering.in.modern.microprocessor.pdf
http://en.wikipedia.org/wiki/Memory_ordering
http://en.wikipedia.org/wiki/Memory_Bank

 

  • 大小: 42.7 KB
分享到:
评论

相关推荐

    JVM内存模型-重排序&内存屏障 1

    在这个模型中,内存屏障(Memory Barrier)和重排序(Reordering)是两个关键概念,它们对并发编程的正确性和性能有着重要影响。 **重排序** 重排序是指编译器和处理器为了优化程序性能,可能会改变程序执行顺序的...

    JVM指令手册_jvm指令手册_

    `JVM指令手册`是深入理解JVM内部工作原理的重要参考资料,它详细列出了JVM所支持的所有操作指令,这对于Java开发者提升技能、进行性能优化以及排查问题具有极高的价值。以下是一些关键的JVM指令及相关的知识点: 1....

    JVM中文指令手册.pdf

    JVM(Java Virtual Machine,Java虚拟机)是运行所有Java程序的假想计算机,是Java程序的运行环境,负责执行指令、管理数据、内存、寄存器等,是实现Java跨平台特性的关键部分。JVM指令手册详细记录了JVM的所有操作...

    java内存屏障与JVM并发详解实用.pdf

    Java内存屏障与JVM并发详解实用 Java内存屏障是java并发编程中的一种机制,用于确保多线程程序的正确执行。它通过强制处理器顺序执行内存操作,从而避免了内存屏障带来的问题。在本文中,我们将深入探讨Java内存...

    JVM内存空间分配笔记

    ### JVM内存空间分配详解 #### 一、JVM内存模型概览 JVM(Java虚拟机)内存模型主要由以下几个部分组成:程序计数器、Java虚拟机栈、本地方法栈、Java堆以及方法区(在JDK 8之后称为元空间)。下面将对这几个部分...

    深入理解Java虚拟机(jvm性能调优+内存模型+虚拟机原理).zip

    这些工具可以实时监控JVM的内存状态、CPU使用率、线程情况,帮助定位性能瓶颈。 总的来说,深入理解Java虚拟机对于开发高性能、稳定的Java应用至关重要。通过学习JVM性能调优,我们可以优化应用程序的资源利用,...

    JVM 深入学习教程深入分析JVM教程!jvm 内存原型,优化等等

    1. JVisualVM:提供内存分析、线程监控、CPU性能分析等功能。 2. JConsole:监控JVM的性能和内存状态。 3. jinfo、jmap、jhat:命令行工具用于获取JVM配置、堆转储、堆分析等。 五、内存泄漏与检测 1. 内存泄漏...

    idea插件JVM内存工具JProfiler11

    首先,JProfiler11是一款专业级别的Java性能分析工具,它能够对JVM进行深入的内存和CPU分析。通过集成到Idea中,开发者可以直接在IDE内部进行性能检测,无需离开熟悉的开发环境。只需下载JProfiler11的安装包,并...

    JVM指令手册详细完整版.pdf

    "JVM指令手册详细完整版.pdf" 本资源是关于JVM指令的详细手册,涵盖了JVM指令的各种系列命令,包括未归类系列、const系列、push系列、ldc系列、load系列等。每个系列命令都有其特定的功能和用途,下面我们将逐一...

    JVM初始分配的内存.doc JVM初始分配的内存.doc

    ### JVM初始分配的内存知识点详解 #### 一、概述 JVM(Java Virtual Machine)是运行Java程序的基础环境,它负责将编译后的字节码转换成机器指令并执行。为了确保Java应用能够高效地运行,正确配置JVM的内存参数至...

    JVM内存溢出问题解析

    JVM 内存溢出问题解析 JVM 内存溢出是指程序运行所需的内存大于虚拟机能提供的最大内存的情况。这种情况可能是由于数据量过大、死循环、静态变量和静态方法过多、递归、无法确定是否被引用的对象等原因引起的。同时...

    Sun JVM原理与内存管理

    ### Sun JVM原理与内存管理 #### 一、Sun JDK 1.6 GC (Garbage Collector) Sun JDK 1.6 的垃圾收集器(GC)是其内存管理的关键组成部分,它负责自动地回收不再使用的对象所占用的内存。本文将详细介绍Sun JDK 1.6 GC...

    mat(mac)---jvm内存分析工具

    MAT,全称Memory Analyzer Tool,是IBM开发的一款强大的Java虚拟机(JVM)内存分析工具,尤其适用于Mac OS X平台。这款工具可以帮助开发者诊断和解决Java应用中的内存泄漏问题,提高应用性能。MAT通过深入分析堆转储...

    MemoryAnalyzer JVM堆内存分析工具

    《深入解析MemoryAnalyzer:JVM堆内存分析利器》 在Java开发中,内存管理是至关重要的环节,良好的内存管理能够优化应用性能,防止内存泄漏,提升系统稳定性。MemoryAnalyzer(MAT)是一款强大的JVM堆内存分析工具...

    浅谈java指令重排序的问题

    Java指令重排序是Java虚拟机(JVM)和CPU的优化机制,目的是为了提高程序的执行效率。该机制可以在虚拟机层面和硬件层面对指令进行重新排序,以充分利用CPU的资源。 虚拟机层面的指令重排序是为了减少内存操作速度...

Global site tag (gtag.js) - Google Analytics