这里说的性能监控系统,主要侧重点是监控应用系统的性能。 说直白点就是每个业务(例如注册,登录)的请求响应时间,请求次数等信息。 操作系统的监控不是这里的重点,因为业界已经有许多相当成熟的基于Linux的运维系统。 操作系统的运维和应用系统的运维是两码事,应用系统的运维相对来说没有这么多选择。 而对于任何线上系统来说,运维监控系统又是必不可少的。 如果你是在大公司,一般会选择开发自己的运维系统,而对于中小团队,因为人力有限,大多会采用开源的解决方案。
我在这里要介绍的就是使用StatsD,Graphite, Grafana, Kamon搭建监控系统的方案。 这里的Kamon只适用于基于JVM的项目,另外,如果你的项目是基于Play或Akka或Spray,可以做到不写代码实现监控。 因为Kamon对这几个框架提供了AspectJ支持,在类加载的时候插入代码为你完成记录。 其他情况你需要调用Kamon API来进行数据记录,这也非常的简单。
2. 监控系统UI
介绍搭建步骤之前,先来看一看搭好后的界面。 转自(https://github.com/kamon-io/docker-grafana-graphite)
这里包含4部分的图表。
- Actor Metrics是Akka Actor的统计图表。因为我的项目中没有直接使用Akka,所以暂时忽略这一部分内容。
- Trace Metrics是业务请求的统计图表。例如每个请求的响应时间,以及某个时间段内各请求数量的统计对比。
- OS Metrics一看就知道是操作系统的统计图表了。
- JVM Metrics是JVM的统计图表。
3. StatsD, Graphite, Grafana, Kamon简介
简单介绍一下这四个开源项目,因为都在Github上就不贴链接了,
已经对这几个项目很熟悉的可以略过。
1. StatsD
StatsD是一个用于记录统计信息的守护进程。使用NodeJS开发,提供各种语言的客户端API。
2. Graphite
使用Python开发,分为三个子项目
- carbon 守护进程,接收StatsD发送过来的原始统计数据。
- whisper 用来存储统计数据的库。
- graphite webapp 用来图形化展示统计数据的web项目。
3. Grafana
使用Go开发,可以直接在界面上设计统计图表。
之前看到就是使用Grafana制作的界面。
4. Kamon
一套类库用来记录统计数据,使用Scala开发,提供Java和Scala API。
除了提供API,还结合AspectJ对一些框架提供自动记录的功能,当然性能上会有损耗。
整体流程:业务系统调用Kamon的Api记录数据,Kamon将数据发送给StatsD,
StatsD定期(默认10s)将数据汇总发送到Graphite,
当用户访问Grafana界面的时候,Grafana调用Graphite接口读取数据绘制成图形展示给用户。
4.搭建环境
因为用到了多个项目,并且每个项目都基于不同语言,所以安装过程肯定不会很简单。
使用docker的朋友直接参考这个项目(https://github.com/kamon-io/docker-grafana-graphite)
用docker镜像会方便很多。
如果不用docker,可以参考我的安装步骤。
以下安装是基于Ubuntu14.04,如果是CentOS或其他系统可能某些步骤会不一样。
另外因为测试的时候是在开发机上,所以下面安装的时候没有使用独立用户和权限。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
|
1.安装需要的软件
sudo apt-get -y install software-properties-common
sudo add-apt-repository -y ppa:chris-lea/node.js
sudo apt-get -y update
sudo apt-get -y install python-django-tagging python-simplejson python-memcache python-ldap python-cairo python-pysqlite2 python-support \
python-pip gunicorn nginx-light nodejs wget curl build-essential python-dev
sudo pip install Twisted==11.1.0
sudo pip install Django==1.5
# Install Elasticsearch
cd ~ && wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.3.2.deb
cd ~ && sudo dpkg -i elasticsearch-1.3.2.deb && rm elasticsearch-1.3.2.deb
2.从源码安装StatsD, Graphite, Grafana
# Checkout the stable branches of Graphite, Carbon and Whisper and install from there
mkdir ~/src
git clone https://github.com/kamon-io/docker-grafana-graphite.git ~/src/docker-grafana-graphite
git clone https://github.com/graphite-project/whisper.git ~/src/whisper &&\
cd ~/src/whisper &&\
git checkout 0.9.x &&\
sudo python setup.py install
git clone https://github.com/graphite-project/carbon.git ~/src/carbon &&\
cd ~/src/carbon &&\
git checkout 0.9.x &&\
sudo python setup.py install
git clone https://github.com/graphite-project/graphite-web.git ~/src/graphite-web &&\
cd ~/src/graphite-web &&\
git checkout 0.9.x &&\
sudo python setup.py install
# Install StatsD
git clone https://github.com/etsy/statsd.git ~/src/statsd &&\
cd ~/src/statsd &&\
git checkout v0.7.2
# Install Grafana
mkdir ~/src/grafana
wget http://grafanarel.s3.amazonaws.com/grafana-1.9.1.tar.gz -O ~/src/grafana.tar.gz &&\
cd ~/src/ && tar -xzf ~/src/grafana.tar.gz && mv ~/src/grafana-1.9.1 ~/src/grafana && cd - &&\
rm ~/src/grafana.tar.gz
3.修改配置
# Configure Elasticsearch
sudo mkdir -p /tmp/elasticsearch
# Confiure StatsD
cp ~/src/docker-grafana-graphite/statsd/config.js ~/src/statsd/config.js
# Configure Whisper, Carbon and Graphite-Web
sudo cp ~/src/docker-grafana-graphite/graphite/initial_data.json /opt/graphite/webapp/graphite/
sudo cp ~/src/docker-grafana-graphite/graphite/local_settings.py /opt/graphite/webapp/graphite/
# 此时要 sudo vi /opt/graphite/webapp/graphite/local_settings.py, 把TimeZone改为Asia/Shanghai
sudo cp ~/src/docker-grafana-graphite/graphite/carbon.conf /opt/graphite/conf
sudo cp ~/src/docker-grafana-graphite/graphite/storage-aggregation.conf /opt/graphite/conf
sudo cp ~/src/docker-grafana-graphite/graphite/storage-schemas.conf /opt/graphite/conf
sudo mkdir -p /opt/graphite/storage/whisper
sudo touch /opt/graphite/storage/graphite.db /opt/graphite/storage/index
sudo chmod 0775 /opt/graphite/storage /opt/graphite/storage/whisper
sudo chmod 0664 /opt/graphite/storage/graphite.db
cd /opt/graphite/webapp/graphite && sudo python manage.py syncdb --noinput
# Configure Grafana
cp ~/src/docker-grafana-graphite/grafana/config.js ~/src/grafana/config.js
# Add the default dashboards
mkdir ~/src/dashboards
cp ~/src/docker-grafana-graphite/grafana/dashboards/* ~/src/dashboards/
# Configure nginx
将下面的内容加入nginx.conf
server {
listen 80 default_server;
server_name _;
location / {
# !!! change me 这里改成你的目录 !!!
root /home/liubin/src/grafana;
index index.html;
}
location /graphite/ {
proxy_pass http://127.0.0.1:8000/;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header Host $host;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
add_header Access-Control-Allow-Origin "*";
add_header Access-Control-Allow-Methods "GET, OPTIONS";
add_header Access-Control-Allow-Headers "origin, authorization, accept";
}
location /elasticsearch/ {
proxy_pass http://127.0.0.1:9200/;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header Host $host;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
}
server {
listen 81 default_server;
server_name _;
open_log_file_cache max=1000 inactive=20s min_uses=2 valid=1m;
location / {
proxy_pass http://127.0.0.1:8000;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Server $host;
proxy_set_header X-Forwarded-Host $host;
proxy_set_header Host $host;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
add_header Access-Control-Allow-Origin "*";
add_header Access-Control-Allow-Methods "GET, OPTIONS";
add_header Access-Control-Allow-Headers "origin, authorization, accept";
location /content {
alias /opt/graphite/webapp/content;
}
location /media {
alias /usr/share/pyshared/django/contrib/admin/media;
}
}
4.启动
export GRAPHITE_STORAGE_DIR='/opt/graphite/storage'
export GRAPHITE_CONF_DIR='/opt/graphite/conf'
# run nginx
sudo /etc/init.d/nginx restart
# run carbon
sudo /opt/graphite/bin/carbon-cache.py --debug start
# run graphite-web
export PYTHONPATH='/opt/graphite/webapp'
cd /opt/graphite/webapp
sudo /usr/bin/gunicorn_django -b127.0.0.1:8000 -w2 graphite/settings.py
# run StatsD
sudo /usr/bin/node ~/src/statsd/stats.js ~/src/statsd/config.js
# run elasticsearch
sudo /etc/init.d/elasticsearch start
# run grafana
cd ~/src/dashboards
sudo /usr/bin/node dashboard-loader.js system-metrics.json welcome.json
|
安装完成后,可以尝试访问(http://127.0.0.1),如果出现之前的界面并且没有报错,就代表安装成功了。
5. 配置项目
主要是引入Kamon依赖。
因为我们的项目基于Play,所以直接使用了Kamon-Play依赖。
1.修改build.sbt
1
2
3
4
5
6
7
8
9
|
val kamonVersion = "0.4.0"
//...
val dependencies = Seq(
"io.kamon" %% "kamon-core" % kamonVersion,
"io.kamon" %% "kamon-statsd" % kamonVersion,
"io.kamon" %% "kamon-play" % kamonVersion,
"io.kamon" %% "kamon-system-metrics" % kamonVersion,
"org.aspectj" % "aspectjweaver" % "1.8.1"
)
|
2.修改application.conf
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
|
akka {
extensions = ["kamon.statsd.StatsD", "kamon.system.SystemMetrics"]
}
kamon {
metric {
tick-interval = 1 second
}
statsd {
# Hostname and port in which your StatsD is running. Remember that StatsD packets are sent using UDP and
# setting unreachable hosts and/or not open ports wont be warned by the Kamon, your data wont go anywhere.
hostname = "127.0.0.1"
port = 8125
# Interval between metrics data flushes to StatsD. It's value must be equal or greater than the
# kamon.metrics.tick-interval setting.
flush-interval = 1 second
# Max packet size for UDP metrics data sent to StatsD.
max-packet-size = 1024 bytes
# Subscription patterns used to select which metrics will be pushed to StatsD. Note that first, metrics
# collection for your desired entities must be activated under the kamon.metrics.filters settings.
includes {
actor = [ "*" ]
trace = [ "*" ]
dispatcher = [ "*" ]
}
simple-metric-key-generator {
# Application prefix for all metrics pushed to StatsD. The default namespacing scheme for metrics follows
# this pattern:
# application.host.entity.entity-name.metric-name
# !!! 这里改成项目名 !!!
application = "sk-shop"
}
}
play {
include-trace-token-header = true
trace-token-header-name = "X-Trace-Token"
}
}
|
3.启动项目
play运行时环境分为dev环境和prod环境。 因为Kamon-Play使用AspectJ在类加载加载的时候进行织入,AspectJ会使用自己的类加载器, 而运行在dev环境的Play项目因为要实现热加载,所以dev环境不能使用AspectJ。 prod一般会会使用dist命令将项目打包,可用以下方式启动(假设项目名是shop,并且已cd进入打包后的目录):
1
|
./bin/shop -J-javaagent:lib/org.aspectj.aspectjweaver-1.8.1.jar
|
启动之后随便访问你项目几个页面,然后访问127.0.0.1,如果一切正常就可以看到数据了。
6.总结
恭喜,如果做到这一步,你就已经初步的搭好你们运维系统的架子了。 如果你的应用比较简单,对性能要求也不高,到这一步就可以结束了。 不过,大多数的应用都对统计数据有更进一步的分析需求,例如绘制响应时间超过某一阀值(例如100ms)的饼状图, 或者绘制日注册人数的直方图。 这就需要你手动调用Kamon的API来记录数据了,不过这相当的简单。 如果需要设计其他的Grafana图表,需要对Graphite的函数比较熟悉。
另外,如果应用对性能很敏感,不推荐使用AspectJ。因为LTW(Load Time Weaving)会有一些性能损耗。 我们的项目最开始是使用的Kamon-Play和Kamon-Akka,不过后来测试发现响应时间平均要增加10%-20%, 现在已经改成直接调用Kamon API完成记录。
Enjoy!
7.附启动和停止脚本
1.启动脚本 start_stats.sh
1
2
3
4
5
6
7
8
9
10
11
|
#!/bin/sh
export GRAPHITE_STORAGE_DIR='/opt/graphite/storage'
export GRAPHITE_CONF_DIR='/opt/graphite/conf'
nohup /opt/graphite/bin/carbon-cache.py --debug start > ~/logs/kamon/carbon.out 2>&1 &
export PYTHONPATH='/opt/graphite/webapp'
nohup /usr/bin/gunicorn_django -b127.0.0.1:8000 -w2 /opt/graphite/webapp/graphite/settings.py > ~/logs/kamon/graphite.out 2>&1 &
nohup /usr/bin/node ~/src/statsd/stats.js ~/src/statsd/config.js > ~/logs/kamon/graphite.out 2>&1 &
/etc/init.d/elasticsearch start
cd ~/src/dashboards
nohup /usr/bin/node dashboard-loader.js system-metrics.json welcome.json > ~/logs/kamon/grafana.out 2>&1 &
|
2.停止脚本 stop_stats.sh
1
2
3
4
5
6
7
|
#!/bin/sh
pkill carbon
pkill gunicorn_django
pkill statsd
/etc/init.d/elasticsearch stop
kill $(ps aux | grep 'node dashboard-loader.js' | awk '{print $2}')
|
相关推荐
3. **Graphite**: 是一套实时图形化性能监控系统,可以存储并展示时间序列数据。Graphite由三部分组成: whisper(存储数据)、carbon(接收和转发数据)和web前端(展示图形)。Graphite能以图形化的方式展示各种...
该图像包含StatsD,Graphite和Grafana的明智默认配置,并随附示例仪表板,该仪表板为您提供了Kamon当前为Actor和Traces收集的基本指标。 有两种使用此图像的方法: 使用Docker索引 该映像下发布,并且您需要做的所有...
statsd-jvm-profiler, 使用StatsD和其他度量后端的简单 JVM statsd-jvm-profiler statsd-jvm-profiler是一个将分析数据发送到StatsD的JVM代理探查器。 灵感来自于 ,它主要用于分析Hadoop作业,但可以用于任何JVM...
在网上找了很久,没有一篇很完整很清晰地介绍Statsd+Graphite搭建监控平台,正好边摸索边尝试边写下来,方便大家。 (Notice: 一开始我是在macOs Sierra下安装, 后来在Ubuntu上也安装)
docker-statsd-influxdb-grafana, 带有 Telegraf ( StatsD ),InfluxDB和Grafana的Docker 映像 带有 Telegraf ( StatsD ),InfluxDB和Grafana的 Docker 映像
docker-graphite-statsd, 用于 Graphite & Statsd的Docker 图像 用于 Graphite & Statsd的 Docker 映像立即运行 Graphite & StatsdGraphite & Statsd可能对安装程序很复杂。 这个映像将在几分钟内运行&
石墨,StatsD和Grafana(带Ansible) 该手册非常容易在服务器(VPS或专用)上设置 , 和 。 您也可以选择使用Vagrant将其安装在虚拟机上,以便进行试用。 它使用 (一个用Python编写的出色配置管理工具)来自动安装...
Statsd 是一款轻量级的数据采集工具,最初由Flickr公司为Graphite和datadog等监控系统设计,后来Etsy公司用Node.js进行了重构。它作为一个监听UDP(默认)或TCP的守护进程,接收来自客户端的数据,对数据进行聚合,...
statsd是一款轻量级的监控系统,它收集来自客户端的应用程序统计数据,并将这些数据转发到后端的聚合服务器,如Graphite或InfluxDB。这里我们主要讨论如何在系统中设置statsd与Kafka和Zookeeper协同工作。 首先,...
StatsD +石墨+ Grafana +钻石该图像包含StatsD,Graphite和Grafana的默认配置,并随附来收集系统指标。 容器公开以下端口: 80 :Grafana Web界面。 8125 :StatsD端口。 8126 :StatsD管理端口。 2003 :用于明文的...
通过Docker容器化,用户可以快速搭建起一个强大的监控系统,方便地跟踪和优化系统的性能。对于开发、运维和DevOps团队来说,这是一个非常实用的工具,可以帮助他们更好地理解和优化他们的基础设施。
用于Graphite&Statsd的Docker映像 立即启动Graphite&Statsd Graphite&Statsd的设置可能很复杂。 此图像将让您在短短几分钟内运行并收集统计信息。 快速开始 docker run -d\ --name graphite\ --restart=always...
`node-statsd`是一个针对 Etsy 的 StatsD 服务器的 Node.js 客户端实现,它是前端开发中的一个重要工具,用于收集、聚合和转发性能数据到后端监控系统。StatsD 是一个轻量级代理,它接收来自应用的统计指标,如计数...
其中,StatsD是一个流行的数据聚合服务器,它允许收集来自各种来源的统计信息,并将其转发到诸如Graphite、Elasticsearch等后端系统进行可视化和分析。本文将详细介绍一个开源项目——Alexcesaro-statsd,这是一个专...
用于Graphite&Statsd的Docker映像立即启动Graphite和Statsd Graphite&Statsd的设置可能很复杂。 此图像将让您在短短几分钟内运行并收集统计信息。快速开始docker run -d\ --name graphite\ --restart=always\ -p ...
StatsD是一个轻量级的网络代理,可以收集各种性能数据并转发到诸如Graphite等时间序列数据库,便于进一步可视化和分析。 首先,Scrapy是Python编程语言中的一个强大的、可扩展的爬虫框架,用于数据抓取和处理。它...
这个库允许开发人员轻松地在Django应用中收集、度量并发送数据到StatsD服务器,进而可以使用如Graphite或Grafana这样的可视化工具进行数据展示和分析。 **Django框架** Django是一个开源的、基于Python的Web开发...
StatsD本身是由Etsy开发的一个轻量级代理服务,其主要功能是接收来自各种来源的性能数据,聚合这些数据,并将它们转发到后端的度量存储系统,如Graphite、InfluxDB或Elasticsearch。 **StatsD客户机介绍** StatsD...
在IT运维领域,监控系统性能、收集和分析数据是至关重要的工作。statsd_exporter作为Prometheus生态中的一个重要组件,为统计和导出statsd指标提供了方便。本文将深入探讨statsd_exporter 0.22.4版本在Linux(amd64...
Statsd是由 Etsy 开发的一款轻量级代理服务,它运行在后端服务器上,接收来自应用的计数、计时等性能数据,并将其聚合后转发给图形化展示工具(如Graphite或InfluxDB),用于实时监控和故障排查。通过使用Statsd,...