V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mary9
V2EX  ›  Kubernetes

Telegraf

  •  
  •   mary9 · 2020-11-05 17:11:36 +08:00 · 3428 次点击
    这是一个创建于 1240 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近使用 Telegraf 完成一个监控项目,不知道有没有 V 友用过这个组件,或者是遇到过下面描述的业务场景。

    我们的采集平台在业务方,和监控平台隔离,需要将采集平台的 Prometheus 的指标导入监控平台的 Prometheus 。

    数据流向为:Prometheus (采集)=> Kafka => Influxdb <= Prometheus (监控)

    将采集平台上的 Prometheus 指标数据先导入 Kafka,有两种方案,一种是使用 Telegraf,优点是后续的 Kafka 导入 Influxdb 可以使用 Telegraf,缺点是如果使用 Telegraf,Telegraf 采集指标是从 /metrics 接口开始采集,并不支持 Prometheus 服务发现。

    另一种是使用 Prometheus 官网推荐的组件:prometheus-kafka-adapter,优点是支持 Prometheus 的服务发现,缺点是输出的数据格式和 Telegraf 不一致,需要修改 Telegraf 源码适配。

    一般来说,采集平台和监控平台应该在一个环境。现在分隔开,挺蛋疼的。

    如果是你们,会怎么设计呢?
    8 条回复    2020-11-05 21:00:50 +08:00
    SingeeKing
        1
    SingeeKing  
       2020-11-05 17:14:07 +08:00
    我就想知道 Prometheus 和 Influxdb 两个时序数据库一起用是为了什么……
    mary9
        2
    mary9  
    OP
       2020-11-05 17:16:13 +08:00
    我们的 Prometheus 保存数据只有 6 个小时。用 Influxdb 来保存长时间的数据。
    mary9
        3
    mary9  
    OP
       2020-11-05 17:34:44 +08:00
    @SingeeKing 刚才没说准确,监控的 Prometheus 是远程读 Influxdb 数据,本身不存储指标数据,另外接 Grafana 展示指标,同时也用来接告警。
    SingeeKing
        4
    SingeeKing  
       2020-11-05 17:57:50 +08:00
    可还是觉得很奇怪…… 无论是自动淘汰还是 Grafana 展示直接 influxdb 都可以啊,为什么要套一层 prometheus
    anubu
        5
    anubu  
       2020-11-05 18:44:07 +08:00
    楼主应该只是把 influxdb 当做一个时序数据库中间件来使用的,作为 prometheus 数据持久化方案。我们监控数据比较少,用的是 VictoriaMetrics 作为时序数据库,优点是支持 Prometheus querying API,数据消费端不需要再部署一套 prometheus,grafana 直接可以读取。
    mary9
        6
    mary9  
    OP
       2020-11-05 20:08:35 +08:00 via iPhone
    @anubu 对。我们不把 Prometheus 作为存储长期数据的组件。
    mary9
        7
    mary9  
    OP
       2020-11-05 20:11:34 +08:00 via iPhone
    @SingeeKing Grafana 也可以直接接 Influxdb,不过我们使用 Promtheus 来处理告警,不使用 Grafana 的告警。
    erenming
        8
    erenming  
       2020-11-05 21:00:50 +08:00 via iPhone
    记得 Telegraf 有个采集插件叫 Prometheus,里面就实现了发现机制吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5266 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 09:14 · PVG 17:14 · LAX 02:14 · JFK 05:14
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.