业务监控—一站式搭建jmeter+telegraf+influxdb+Grafana看板

一、前言

当前所测试业务需求为集成在业务系统WMS的jar包，jar包测试主要集中在本地拉取开发编写的代码做单元测试，因为jar包没有单独的应用，每当大促压测或日常压测，架构师或开发同事问道：这个jar包的JVM指标如何？jar包的火焰图是什么样的？对此，只能望洋兴叹。基于以上背景，对jar监控做了一些调研和实战。

?

二、调研过程

1.forcebot平台

forcebot平台是泰山上一款支持Groovy脚本编写的压测平台，通过将jar包上传，编写脚本，便可看到当前压测的响应时间、TP99等监控信息。forcebot平台也支持抓取火焰图信息，抓取到的火焰图结果如下，但是此信息为Groovy脚本进程火焰图信息，而并非Groovy脚本调用jar的火焰图信息。

2.jconsole/jvisualvm+Grafana监控

jconsole

jconsole是JDK自动的、基于jmx协议的、对JVM进行可视化监视和管理的工具。jconsole支持连接本地进程和远程进程，如果需要连接远程进程，那么远程进程必须开启jmx协议。

jvisualvm

jvisualvm也是JVM自带的一个类似于jconsole的可视化监控工具，jvisualvm也支持本地进程和远程进程。

远程监控的其他监控信息可以在易维平台查看到Grafana监控情况，但是对于相同指标比如CPU使用率信息的记录，jvisualvm和Grafana对指标的描述结果有偏差，初步分析是两个监控看板对于指标数据的采集及统计有偏差。

通过以上监控信息我们可以明确的看到当前jar包的JVM、CPU以及相应方法的耗时情况。但是现有易维平台提供的Grafana看板指标数据有限，无法详细看到TP99、TPS等数据，且通过visuals拿到的数据和Grafana拿到的数据对于相同指标来说数据值有差异，搭建一套统一的看板势在必行。经调研易维平台没有用influxdb来存储数据，用的是ES，易维grafana中展示的数据是在ES中出的，ES中就没有JVM相关的监控信息，遂探究了如何自建性能测试工具进行监控看板的搭建。

三、性能测试平台搭建

1.jmeter

常用的压力测试软件有：LoadRunner、ApacheJMeter、NeoLoad、WebLOAD、Loadster、Load impact、CloudTest、Loadstorm、阿里云PTS等等，jmeter是一款使用Java开发的，开源免费的测试工具， 主要用来做功能测试和性能测试（压力测试/负载测试），且简单易用，本文便使用了jmeter压测工具。

?

jmeter可以对http请求做压测，但是做jar包的压测，需要对jmeter做二次开发进行定制化编写，对于以上jemter的二次开发之前已有文章发表对此不做过多赘述，详见 jmeter二次开发发送java请求

?

我们可以通过使用插件等方式设置线程数、循环次数等信息定制化监控我们我们压测的需要监控的指标数据。

2.telegraf

1.1.Telegraf是什么

Telegraf是一个Go语言编写的代理程序，可收集系统和服务的统计数据，并写入到InfluDB数据库。内存占用小，通过插件系统可轻松添加支持其他服务的扩展。是一个轻量级数据采集系统。

?

Telegraf metric是用于在处理期间对数据建模的内部表示。这些指标完全基于InfluxDB的数据模型，包含四个主要组件：

?度量名称(Measurement)

?标签(tags)

?字段(Field)

?时间戳(time)

1.2.为什么要用Telegraf

?可以采集多种组件的运行信息，不需要自己手动写定时脚本，降低了数据获取的难度

?CPU

?内存

?不需要自己手动写定时脚本，降低了数据获取的难度

?配置简单

?与InfluxDB完美结合，按照时间序列采集数据

?轻量级，占用内存小

3.influxdb

3.1.InfluxDB简介

是一个由InfluxData开发的开源时序型数据库。它由Go语言写成，着力于高性能地查询与存储时序数据。InfluxDB被广泛应用于存储系统的监控数据，IoT行业的实时数据等场景。

Influxdb有如下三大特性

?基于时间序列

?可度量性

?基于事件

相应的，我们也可以使用prometheus数据库采集数据，Prometheus也是由go语言开发的，是一套开源的监控&报警&时间序列数据库的组合。

3.2.InfluxDB使用

InfluxDB数据模型包括Measurement(表)、Tags(维度列)组件、Field(数值列)以及point。

InfluxDB数据保留策略操作

创建数据库保留策略

?：保留策略的名称

?：为哪个数据库创建保留策略

?：该保留策略对应的数据过期时间

?REPLICATION：副本因子：几个副本

?SHARD DURATION：分片组的默认时长

?[DEFAULT]：是否为默认策略

CREATE RETENTION POLICY  "influx_retention" ON "telegraf" DURATION 30d REPLICATION 1 DEFAULT;

查看数据库保留策略

SHOW RETENTION POLICIES ON telegraf;

使用telegraf+InfluxDB搭建的数据资源管理看板。

4.Grafana

4.1.Grafana是什么？

Grafana是开源的、炫酷的可视化监控、分析工具，它主要包含以下特点：

?多种展示方式

?支持多数据源：

?Graphite:时间序列 图形系统

?InfluxDB

?Opentsdb：基于HBase

?Prometheus：开源 服务监控系统和时序数据库

?ElasticSearch,elk：

?多种通知提醒

?Email、SMS、

?混合展示

?同一个图表中，混合使用不同的数据源

4.2.为什么要用Grafana?

Grafana主流数据库：ElasticSearch、InfluxDB、MySQL、Opentsdb、Postgresql。涵盖了大部分数据库，并且有很炫酷的图表库，开源、可以进行二次开发、汉化、可以做前端开发。

搭建的Grafana看板如下

?

四、特别提醒

1.jmeter与telegraf的衔接需要使用Jolokia工具，此工具的作用为作为JMX的HTTP桥接器，使得Telegraf能够通过HTTP协议轻松地访问JMX管理的Java应用程序的数据。关于Jolokia的官网及简介链接如下：

jolokia详细文档： jolokia官网?

2. 指标的采集及监控数据对齐可以参考MDC监控 监控指标简介

3. 火焰图数据的采集可以使用arthas工具，安装过程可参考神灯文章 JVM虚拟机之字节码文件详解

五、总结与展望

千里之行，始于足下，本次从0到1搭建监控性能指标看板的历程中得到了深刻的体现。从最初的设想、规划，到一步步实施、调试，再到最终的呈现与优化，每一步都凝聚了搭建者的心血与智慧。在这个过程中，不仅成功搭建了一个功能完善的监控性能指标看板，更重要的是，学会了如何在压测过程中，根据指标情况提出合理的优化建议，为开发团队提供了有力的数据支持，帮助他们更好地优化代码，提升系统性能。这一成果不仅是对自我技术能力的肯定，更是对团队协作精神的最好诠释。

同时，这次经历也让我深刻感受到了自我技术成长的巨大飞跃。在解决问题的过程中，我不断挑战自我，学习新知识，掌握新技能，逐渐形成了自己的技术体系和方法论。这些宝贵的经验和收获，将成为我未来职业生涯中不可或缺的财富。

最后，特别感谢在搭建看板过程中给予我无私帮助和支持的同学们！

审核编辑 黄宇