`
kevin_xu
  • 浏览: 36400 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论
  • 星情泪: 感觉楼主挺强的,那么被拒也许出在了薪资上面吧我也去过那里 感觉 ...
    Exoweb面经

关于Bekely db je写入与 I/O性能测试

阅读更多
192.168.0.170
==============================================================================================================
Red Hat Enterprise Linux Server release 5 (Tikanga)
CPU:(Intel(R) Xeon(R) CPU E5405 @ 2.00GHz)*4 内存:3.0G
             total       used       free     shared    buffers     cached
Mem:       3106856    2862148     244708          0      10356    2374020
-/+ buffers/cache:     477772    2629084
Swap:      2031608      20384    2011224


Excute TestJEDPLAS Insert 1000000 Records, Step 1000, Consume total times 530172ms
iostat -x 1 100 统计开始
avg-cpu:  %user   %nice    %sys %iowait   %idle
          11.88    0.00    8.44   20.94   58.75

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
hda          0.00 128.21  1.28 130.77   10.26 2071.79     5.13  1035.90    15.77     0.66    5.00   3.35  44.23
hdc          0.00 984.62  2.56 20.51   20.51 6728.21    10.26  3364.10   292.44     4.02  136.61  51.56 118.97
dm-0         0.00   0.00  3.85 1266.67   30.77 10133.33    15.38  5066.67     8.00   273.22  157.21   0.98 124.23
dm-1         0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          16.82    0.00    8.41   14.33   60.44

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
hda          0.00 161.33  1.33 172.00   10.67 2666.67     5.33  1333.33    15.45     0.80    4.60   3.00  52.00
hdc          0.00 1078.67  2.67 22.67   21.33 7264.00    10.67  3632.00   287.58     4.44  152.89  42.47 107.60
dm-0         0.00   0.00  5.33 1437.33   42.67 11498.67    21.33  5749.33     8.00   306.33  179.33   0.84 121.73
dm-1         0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          20.64    0.00    4.94    5.81   68.60

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
hda          0.00  96.39  1.20 98.80    9.64 1561.45     4.82   780.72    15.71     0.46    4.59   3.06  30.60
hdc          0.00 357.83  3.61 25.30   48.19 5696.39    24.10  2848.19   198.67     2.69  139.00  26.25  75.90
dm-0         0.00   0.00  3.61 573.49   48.19 4587.95    24.10  2293.98     8.03   133.05  424.75   1.72  99.52
dm-1         0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          21.13    0.00    4.51   14.37   60.00

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
hda          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
hdc          0.00 825.77 11.34 12.37  214.43 4511.34   107.22  2255.67   199.30     2.71  101.61  31.57  74.85
dm-0         0.00   0.00 11.34 842.27  214.43 6738.14   107.22  3369.07     8.14   140.69  139.33   0.88  74.95
dm-1         0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

59.151.15.32
==============================================================================================================
Red Hat Enterprise Linux AS release 4
CPU:(Intel(R) Xeon(TM) CPU 3.00GHz)*4    内存:3.5G
            total       used       free     shared    buffers     cached
Mem:       3635436    1689560    1945876          0     191048    1396252
-/+ buffers/cache:     102260    3533176
Swap:      4192924        144    4192780


Excute TestJEDPLAS TxnNoSync false, Insert 1000000 Records, Step 1000, Consume total times 362387ms
iostat -x 1 100  统计开始

avg-cpu:  %user   %nice    %sys %iowait   %idle
          16.96    0.00    3.24    9.48   70.32

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
hda          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
cciss/c0d0   0.00 844.44  0.00 47.47    0.00 7135.35     0.00  3567.68   150.30     2.23   46.91   8.32  39.49
fd0          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          20.05    0.00    4.51    7.52   67.92

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
hda          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
cciss/c0d0   0.00 806.93  0.00 40.59    0.00 6780.20     0.00  3390.10   167.02     1.99   49.12   7.59  30.79
fd0          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          20.45    0.00    3.49    8.73   67.33

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
hda          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
cciss/c0d0   0.00 949.50  0.00 47.52    0.00 7976.24     0.00  3988.12   167.83     2.24   47.15   7.67  36.44
fd0          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          21.75    0.00    1.75    4.50   72.00

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
hda          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
cciss/c0d0   0.00 393.94  0.00 22.22    0.00 3329.29     0.00  1664.65   149.82     1.12   50.23   8.77  19.49
fd0          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00







192.169.12.112
==============================================================================================================
Linux version 2.6.16.60-0.21-smp (geeko@buildhost) (gcc version 4.1.2 20070115 (SUSE Linux))

CPU:(Intel(R) Pentium(R) Dual  CPU  E2200  @ 2.20GHz)*2  内存:2.0G
             total       used       free     shared    buffers     cached
Mem:       2064764    1110680     954084          0       3796     884884
-/+ buffers/cache:     222000    1842764
Swap:      2104472        132    2104340

Excute TestJEDPLAS TxnNoSync false, Insert 1000000 Records, Step 1000, Consume total times 223936ms
iostat -x 1 100  统计开始

avg-cpu:  %user   %nice    %sys %iowait   %idle
          34.65    0.00    2.97   15.84   46.53

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          0.00 1407.92  0.00 27.72    0.00 11532.67     0.00  5766.34   416.00     0.43   16.43  12.71  35.25
sr0          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          38.69    0.00    0.50   10.55   50.25

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          0.00 859.00  0.00 17.00    0.00 7040.00     0.00  3520.00   414.12     0.28   16.94  14.12  24.00
sr0          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          35.32    0.00    1.49   17.91   45.27

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          0.00 1527.00  0.00 35.00    0.00 12552.00     0.00  6276.00   358.63     0.51   14.63  12.34  43.20
sr0          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

avg-cpu:  %user   %nice    %sys %iowait   %idle
          32.66    0.00    0.50   16.08   50.75

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda          0.00 1713.00  0.00 31.00    0.00 12728.00     0.00  6364.00   410.58     0.47   14.58  12.52  38.80
sr0          0.00   0.00  0.00  0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00


rrqm/s:   每秒进行 merge 的读操作数目。即 delta(rmerge)/s
wrqm/s:  每秒进行 merge 的写操作数目。即 delta(wmerge)/s
r/s:           每秒完成的读 I/O 设备次数。即 delta(rio)/s
w/s:         每秒完成的写 I/O 设备次数。即 delta(wio)/s
rsec/s:    每秒读扇区数。即 delta(rsect)/s
wsec/s: 每秒写扇区数。即 delta(wsect)/s
rkB/s:     每秒读K字节数。是 rsect/s 的一半,因为每扇区大小为512字节。(需要计算)
wkB/s:    每秒写K字节数。是 wsect/s 的一半。(需要计算)
avgrq-sz:平均每次设备I/O操作的数据大小 (扇区)。delta(rsect+wsect)/delta(rio+wio)
avgqu-sz:平均I/O队列长度。即 delta(aveq)/s/1000 (因为aveq的单位为毫秒)。
await:    平均每次设备I/O操作的等待时间 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)
svctm:  平均每次设备I/O操作的服务时间 (毫秒)。即 delta(use)/delta(rio+wio)
%util:     一秒中有百分之多少的时间用于 I/O 操作,或者说一秒中有多少时间 I/O 队列是非空的。即 delta(use)/s/1000 (因为use的单位为毫秒)

如果 %util 接近 100%,说明产生的I/O请求太多,I/O系统已经满负荷,该磁盘
可能存在瓶颈。
idle小于70% IO压力就较大了,一般读取速度有较多的wait.
同时可以结合vmstat 查看查看b参数(等待资源的进程数)和wa参数(IO等待所占用的CPU时间的百分比,高过30%时IO压力高)

另外还可以参考
svctm 一般要小于 await (因为同时等待的请求的等待时间被重复计算了),svctm 的大小一般和磁盘性能有关,CPU/内存的负荷也会对其有影响,请求过多也会间接导致 svctm 的增加。await 的大小一般取决于服务时间(svctm) 以及 I/O 队列的长度和 I/O 请求的发出模式。如果 svctm 比较接近 await,说明 I/O 几乎没有等待时间;如果 await 远大于 svctm,说明 I/O 队列太长,应用得到的响应时间变慢,如果响应时间超过了用户可以容许的范围,这时可以考虑更换更快的磁盘,调整内核 elevator 算法,优化应用,或者升级 CPU。
队列长度(avgqu-sz)也可作为衡量系统 I/O 负荷的指标,但由于 avgqu-sz 是按照单位时间的平均值,所以不能反映瞬间的 I/O 洪水。

分享到:
评论

相关推荐

    为什么会出现“I / O访问错误”和“区域长度错误”.pdf

    “I/O访问错误”通常发生在CPU试图对输入/输出(I/O)地址进行读取或写入操作时。错误信息表明,程序企图访问一个不存在的I/O地址,或是访问权限不正确,如没有适当的访问许可,或者硬件设备没有被正确配置。在实际...

    db数据库写入性能测试

    本文将详述“db数据库写入性能测试”的主题,针对MongoDB和MySQL这两种主流数据库进行探讨。 首先,我们来看看“YCSB-0.17.0”这个文件名,这很可能是Yahoo! Cloud Serving Benchmark的版本号。YCSB是一个广泛使用...

    使用并发I/O改进DB2数据库性能

    并发I/O和缓存I/O是两个与文件系统相关联的功能。出于此原因,大部分DB2DBA认为这两种技术的使用取决于存储和系统管理员的见识。然而,在DB2数据库环境中利用此技术是DBA的职责。事实上,IBM的DB2专家推荐在数据库...

    Oracle应用系统中I_O的设计与分析.pdf

    本文将从I/O需求、数据文件I/O性能、I/O优化策略以及如何调整数据文件I/O等方面进行深入探讨。 首先,我们需要了解I/O设计在Oracle系统中的重要性。尽管现代磁盘的容量越来越大,但其读写速度仍然跟不上CPU的处理...

    Oracle数据库性能优化实务 数据文件IO.pptx

    而RAID 5则适用于写入较少的数据,但其写入性能相对较差。磁盘数量的增加和转速的提升可以提升总体I/O性能,但要注意高速、低容量的SATA硬盘可能无法提供高性能,而闪存盘则成为解决磁盘性能瓶颈的有效手段。 其次...

    Oracle-IO问题及性能调优.pdf

    Oracle数据库的I/O性能问题及调优是数据库管理和性能优化的重要环节。I/O性能问题通常由磁盘I/O速度和效率所引起,它直接影响到数据库操作的响应时间,包括查询、更新、事务提交等。而性能调优则涉及到多种技术手段...

    利用汇编程序实现I/O端口操作技术的研究

    ### 利用汇编程序实现I/O端口操作技术的研究 #### 概述 本研究主要探讨了如何在Delphi环境中通过嵌入汇编代码来实现I/O端口的操作技术。由于Windows系统的安全机制限制了应用程序直接访问硬件的能力,因此采用这种...

    单片机I/O与PROTEL99封装

    根据给定的文件标题“单片机I/O与PROTEL99封装”及其描述和部分内容,我们可以总结出以下几个重要的知识点: ### 单片机I/O口特性及应用 #### 1. 单片机的选择与表示 - **选择**:在原理图中,可以选择使用8031、...

    DB2性能调优入门教程

    本入门教程将围绕三个核心要素——内存、I/O和CPU,介绍DB2性能调优的基础知识。 首先,我们来看DB2性能概述。在数据库系统中,性能通常被描述为“魔法三角”,即内存、I/O和CPU的平衡。这三个方面共同决定了DB2的...

    DB2数据库性能调整和优化 牛新庄 PDF

    性能调优是一个系统工程:全面监控分析操作系统、I/O性能、内存、应用及数据库才能快速找到问题根源;深刻理解DB2的锁及并发机制、索引原理、数据库参数、优化器原理、SQL语句调优等内部机理才能针对性地快速提出...

    Oracle-IO问题及性能调优

    Oracle数据库在处理大规模数据时,I/O(Input/Output)性能是影响系统整体效率的关键因素。I/O问题可能导致查询响应时间变慢、系统资源消耗过大,甚至引发服务中断。因此,对Oracle数据库进行I/O问题的诊断和性能...

    Berkeley DB je3.3版

    由于数据直接在内存中操作,避免了磁盘I/O的开销,因此在对高吞吐量和低延迟有严格要求的场景下,BDB je表现卓越。 3. **Java优化** 作为Java版本,Berkeley DB je3.3版完全兼容Java平台,提供了丰富的Java API,...

    db2性能调优

    使用多个磁盘可以有效提升I/O性能,通常建议每处理器内核至少配备10到20个磁盘,特别是在RAID配置中,以确保足够的I/O带宽。 硬件配置还包括内存的分配,内存大小应足够缓存频繁访问的数据,以减少磁盘I/O。同时,...

    DB2性能参数值得学习

    正确配置这些参数,可以避免常见的性能瓶颈,如磁盘I/O争用、CPU利用率过高、内存不足等问题。 ### 关键的DB2性能参数详解 #### 缓冲池(Buffer Pool) 缓冲池是DB2用于存储数据页的内存区域,合理的缓冲池大小能够...

    DB2 通用数据库性能调整的常用方法

    适当增大日志缓冲区可以减少写入磁盘的日志I/O次数,提高事务处理速度。然而,过大的日志缓冲区可能导致更多的内存占用,并且在系统故障恢复时增加日志重放的时间。 **调整日志缓冲区的考虑因素**: - 评估事务...

    Berkeley DB JE-7.0.6

    **Berkeley DB JE 7.0.6:深入理解分布式数据存储** Berkeley DB JE(Java Edition)是Oracle公司提供的一款开源、嵌入式、基于Java的键值对数据库系统。它以其轻量级、高性能和高可用性而受到广泛的青睐,尤其适合...

    组态王通讯

    "组态王通讯" 组态王是西门子 PLC 的通讯软件,通过以太网 TCP/IP 协议与 S7-400 PLC 进行通讯。下面是组态王通讯的详细设置方法和方式: ...DB10.6.2 读写 BIT I/O 整数 DB 块寄存器,读取 DB10 块地址 6 的第 2 位

Global site tag (gtag.js) - Google Analytics