`
atell
  • 浏览: 161679 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
文章分类
社区版块
存档分类
最新评论

[转]线上环境性能数据统计方法

阅读更多

PV统计
统计生产环境一台web服务器一天的access.log的行数
比如$ wc -l access.log

 

调用次数Top 10 URL
这个也是通过access.log的分析得出,可以采用以下脚本(基于你自己的access.log的format)
cat access.log  | awk '{print $8}' | awk -F'?' '{print $1}' | sort | uniq -c | sort -nr | head -n 50

输出:
315179 /xxxxx.htm
143224 /xxxxx.htm
...

统计单个URL的响应时间
再次借助于access.log(非常有用的日志文件),例如我的access.log的format为
LogFormat "%h %{ORIG_CLIENT_IP}i %l %u %t \"%m /%{HOST}i%U%q %H\" %>s %b %D \"%{Referer}i\" \"%{User-Agent}i\" %{apache_id}n %{apache_sid}n \"a=%{apache_track}n; b=%{apache_tracktmp}n; c=%{resin_trace}n\" %{server_name}n"  access.log
其中(%D 表示服务器处理时间,单位微秒)

使用此脚本
grep 'atell/view.htm'  access.log|awk '{sum+=$12} END {print "Average = ", sum/NR}'
结果:Average =  256262(微秒)


TPS的统计,也可以通过cookie_log统计出,如下脚本即可

cat  access.log  | awk '{print $5}' | sort | uniq -c | sort -nr | head -n 10
输出:
     76 [14/Mar/2011:10:26:14
     76 [14/Mar/2011:09:40:48
     75 [14/Mar/2011:09:40:20
     74 [14/Mar/2011:17:51:12
     74 [14/Mar/2011:09:10:25
     72 [14/Mar/2011:17:51:11

 

基调时间

何为基调?可以移步至此:http://www.networkbench.com/index.html

 

 

--未完不续--

分享到:
评论

相关推荐

    毕业论文jsp1879线上消费行为统计与分析系统springmvc.doc

    总的来说,这篇论文详尽地介绍了如何利用Java技术和JSP来构建一个线上消费行为统计与分析系统,结合MYSQL数据库的运用,展示了如何有效地处理和分析大量消费数据。这样的系统对于理解消费者行为、提高企业运营效率...

    线上问题调查常用命令

    本篇文章将基于提供的文件信息,深入解析线上问题调查中常用的Linux性能检测工具及JVM性能相关命令,并提供详细的解释与应用场景。 #### Linux性能检测工具 **1. CPU性能检测** ##### 基本概念 - **上下文切换**...

    Android代码-一个经过充分测试和线上验证的Android客户端自定义数据埋点SDK

    在这个app都是千人千面,智能推荐,ab流量测试的时代, 一个可以根据BI部门的需求, 可以自有定制的 数据统计上报, 就显得非常重要. 目前, 市面上 做统计的第三方平台有很多, 比如最出名的Google的GTM统计,友盟统计等等....

    Redliner——应用实时线上流量进行自动化容量测量与性能瓶颈分析.pdf

    在使用线上流量进行负载测试时,Redliner可以实时地收集和分析数据,而这些数据能实时反馈到性能监控和容量规划当中。这将极大地改善对系统性能的理解,并帮助更有效地应对未来的服务扩展需求。例如,它可以帮助确定...

    Java线上故障排查方案.pdf

    Arthas是一个Java诊断工具,它可以直接attach到运行中的Java进程上,帮助开发者获取方法调用的统计数据、实时查看JVM状态、分析线程情况等。 在进行故障排查时,GC监控(GC Monitoring)是不可或缺的一步。GC监控...

    行业-62 案例实战:线上数据库不确定性的性能抖动优化实践(上)l.rar

    在IT行业中,数据库性能优化是至关重要的,尤其是在高并发、大数据量的应用场景下。本案例实战聚焦于"线上数据库不确定性的性能抖动优化实践(上)",这通常涉及到数据库系统的稳定性、响应速度以及资源利用率等多个...

    ASP.NET Application在线人数统计实例

    4. **考虑性能与准确性**:虽然上述方法简单直接,但需要注意的是,Application对象不是线程安全的,所以在并发访问时需要使用Lock()和Unlock()来确保同步。此外,为了防止内存泄漏,定期清理不再活跃的会话ID也是...

    大数据技术分享 无线客户端 手机移动端 数据实践 数据采集、数据处理、数据加密、数据统计分析 共19页.pdf

    "大数据技术分享 无线客户端 手机移动端 数据实践 数据采集、数据处理、数据加密、数据统计分析" 大数据技术分享 无线客户端 手机移动端 数据实践 共有以下几个方面: 一、背景介绍 大数据技术的出现是为了满足...

    行业数据-20年中国受访者对线上招聘的担忧.rar

    7. **云计算和云存储**:为了处理和存储大量用户数据,线上招聘平台可能依赖于云计算服务,这涉及到数据的备份、恢复和访问性能。 8. **移动应用开发**:随着移动设备的普及,线上招聘的大部分活动可能通过手机应用...

    线上问题排查

    在 Linux 环境下,线上问题排查往往依赖于对系统资源使用的监控,包括 CPU、内存、磁盘 I/O 等关键性能指标的实时分析。下面详细介绍这些工具及其对应的性能指标。 ##### 1. CPU 相关指标 - **基本概念** - **上...

    MySQL 线上运维常见错误、疑难问题录.

    这些问题的出现可能会导致服务中断,数据丢失,或者性能下降等严重后果。因此,了解并掌握解决这些问题的方法对于数据库管理员(DBA)来说至关重要。 1. 首先,我们来看一个关于MySQL导入导出数据时出现的错误:...

    基于springboot的线上阅读系统.zip

    《基于Spring Boot的线上阅读系统》是一个旨在提供便捷的在线阅读体验的创新项目。该系统采用了现代化的Spring Boot后端框架,致力于为用户提供丰富的数字图书馆和个性化阅读服务。 该系统的主要目标是打破时间和...

    银行贷款数据集.rar

    【银行贷款数据集】 在数据分析领域,银行贷款数据集是一个常用的研究对象,它包含了大量关于个人或企业申请贷款的信息,这些信息可用于预测贷款违约风险、评估信用评分以及优化银行的贷款策略。本数据集以"cs-...

    在线人数统计 在线统计

    综上所述,在线人数统计是一个涉及多方面技术的复杂过程,从数据的采集到展示,需要综合运用各种工具和技术,同时还需要考虑隐私保护和性能优化等问题。理解并掌握这些知识点对于构建高效、可靠的在线人数统计系统至...

    性能预测.zip

    3. **趋势分析**:通过图表和统计方法(如线性回归、指数平滑法)分析数据的趋势变化。 4. **建模预测**:选择合适的预测模型(如ARIMA、灰色预测模型、神经网络模型),用历史数据训练模型,然后用模型预测未来性能...

    Python模拟招聘会线上面试系统源码.zip

    14. **数据分析**:收集的面试数据可以用于统计分析,如面试成功率、平均得分等,有助于优化招聘流程。 这个Python模拟招聘会线上面试系统展示了Python在Web开发中的广泛应用,结合了多种技术和工具,为现代招聘...

    前端开发经验沉淀 前端性能优化及开发工具 共25页.ppt

    qzz是一个命令行工具,提供了开发环境/测试环境/线上环境互切、本地开发调试支持、集成发布支持、多系统支持等功能。 使用qzz,我们可以快速定位外网Bug,调试方便快捷。同时,qzz还提供了集成发布支持,如qzz pack...

    首届中文NL2SQL挑战赛复赛方案,评估数据集acc0.85复赛线上成绩0.833Top15.zip

    4. 模型代码:实现了将自然语言转化为SQL的算法,可能基于深度学习或传统的统计方法。 5. 训练脚本:用于训练模型,可能包括超参数调整和早停策略。 6. 评估工具:计算模型预测结果与真实SQL之间的匹配度,例如使用...

    fluent后处理经验

    后处理是Fluent使用过程中的重要环节,它涉及到数据的可视化、结果解释以及性能评估。以下是对“fluent后处理经验”的详细探讨。 一、Fluent后处理的基本概念 Fluent的后处理主要涉及将模拟计算得到的数据转化为...

Global site tag (gtag.js) - Google Analytics