使用 Kapacitor 对 InfluxDB 数据进行统计处理

      InfluxDB + Telegraf + Grafana 算是一套不错的数据收集、视觉化工具，相比于更为常见的 ELK 架构，它有着自己的特点。查询功能总得来说虽不如 ES 强大，但是优点是——已经够用了，而且它的性能不错，存储的数据占用空间也相比 ES 小。

简单介绍这三个工具：

• InfluxDB 是 InfluxData 的一款时序数据库，它是这套工具的核心；
• Telegraf 则是 InfluxData 自己开发的一个数据收集工具，相比于 Logstash 或者 Mozilla 的 Heka，它有了更多的内置实用 input 插件，例如 sysstat, Mongodb, MySQL, 日志文件 grok 和跟踪 … 使用 Telegraf 可以非常容易的监控起系统和各种常见服务的各种参数，基本无需再安装其它专用工具。
• Grafana 则是一个数据视觉化工具（“画图”的），支持多种数据后端，包括 InfluxDB，Elasticsearch，Zabbix 等。

实际上，InfluxData 是有一个自己的 TICK 架构的（Telegraf + InfluxDB + Chronograf + Kapacitor），其中 Chronograf  是用来画图的，但是看起来似乎还不成熟，不如使用 Grafana 好。Kapacitor 则是一个专门处理 InfluxDB 里面的数据的工具，用它可以对收集到的数据进行统计、触发报警等。。。

好了，说了这么多，其实是想借一个实例说下怎样用 InfluxData 的 Kapacitor 来对 InfluxDB 的数据进行加工处理。

假设：已经搭建好了 InfluxDB + Telegraf + Grafana 这套工具，web 日志收集存储在了 InfluxDB，我们想查看一些统计数值，比如每日独立访问 IP 这样的有价值的数据，我们现在该怎么做？

一般来说，有以下几个选项：

1. 在 Grafana 里面，我们新建一个图表，每次查看时实时统计出所有的每日独立 IP。但是这个方法实在不妥，web 日志量很大，如果每次一查看那个图表就把 InfluxDB 里面的数据全部过一遍，还要计算、分组，实在太低效，性能太糟糕。对于每日独立 IP 这种数据来说，我们其实并不需要它是实时的，只要每天统计一次即可。
2. 我们写个 Shell 或者强大一点，Python 脚本去从 InfluxDB 查询出独立 IP 数，再把结果存回 InfluxDB，再把它放到 crontab 里面每天运行，然后 Grafana 建立的图表可以直接查这个新的 measurement。这种方法远比第一种要好很多，但是仍然是需要写脚本的。
3. 我们可以利用专门的工具——Kapacitor 来做这件事。下面就详细说下如何取每日独立 IP 数。

按照官方的简介，Kapacitor 是一款“Time-Series Data Processing, Alerting and Anomaly Detection”，也就是说——数据处理、报警、异常探测它都能做。

Kapacitor 的安装、配置都很简单，推荐从官网下载 rpm/deb 包安装，然后修改 /etc/kapacitor/kapacitor.conf 文件，在 InfluxDB 连接配置里面设置好账号、密码，就可以启动 kapacitor 服务了。

Kapacitor 有一个后台服务，用户需要做的事就是编写 TICKscript 脚本，然后把这个脚本加载。

来看这个计算每日独立 IP 的脚本，ip.tick:

batch
    |query('''
        SELECT count(distinct(clientip)) AS uip
        FROM "telegraf"."retentionPolicy"."log_measurement"
    ''')
        .period(1d)
        .cron('0 0 * * *')
    |influxDBOut()
        .database('logstats')
        .measurement('site_uip')
        .tag('kapacitor', 'true')

其中，batch 指令表示这是一个对数据进行一次批量处理的任务； |query() 表示这是数据查询的处理节点，我们在 query() 里面直接写入 InfluxDB 的类SQL 查询语句即可，但并没有加入 WHERE 条件对查询时间进行限定，这是为何？因为后面的 .period() 指定了查询范围为一天；然后再利用 .cron() 这个属性，我们可以告诉 Kapacitor 每天零点都执行一次这个查询。|influxDBOut() 则是将查询出来的数据存入 InfluxDB，它的几个属性也比较好理解，不再详说。

保存文件后，执行以下命令：

$ kapacitor define log_uip -tick ip.tick -type batch \
   -dbrp telegraf.retentionPolicy
$ kapacitor enable log_uip

就定义和启用了这个 Kapacitor 任务。接下来还可以用 kapacitor show log_uip 或者 kapacitor list tasks 等命令查看任务状态。看到了吧，这样比脚本加 crontab 还是要简单不少的。（kapacitor 命令的参数含义可以用 help 子命令或者这个文档链接查看。）

在它运行过后，我们就可以在 Grafana 里面取 logstats 数据库里面 site_uip 的 uip 出来进行画图了。

总结：这篇文章只是用一实例展示了 Kapacitor 的功能之一，实际上 Kapacitor 的功能远不止这些，（报警等功能，因为我的环境早有这种功能，没有使用过。）tick 脚本的语法也比上面展示出来的部分强大很多，其数据处理节点也很丰富。总得来说，InfluxData 的这套 TICK 架构似乎还在快速发展的起步阶段（尤其是除 InfluxDB 外的那三部分），但是其实用性已经有一定吸引力了。

 

转自：

https://dislic.net/tag/kapacitor/