V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
byteli
V2EX  ›  问与答

监控性质的数据库有推荐么

  •  
  •   byteli · 2018-11-06 22:23:55 +08:00 · 1136 次点击
    这是一个创建于 1120 天前的主题,其中的信息可能已经有所发展或是发生改变。

    标题有些误导,不是仅仅需要监控,因为历史数据可能重跑,所以不只是个监控

    需求: 对于上报的数据,除元数据外的信息维度可变,打个比方:每条数据包含基础信息(时间、地点),还带有不确定维度的数据信息,比如(人物、吃了多少,喝了多少,拉了多少...),这些数据信息有的要累加,有的要累计方差...

    探索: 使用过 prometheus,感觉对上报参数的累加这个特性用起来非常爽,但是对于需求还不太够 调研了 influxdb,想基于这个做点扩展,但试了下 tag 组合多的话单机性能不太行,在我的机器上也就几千的写入,集群方案

    目前解决方案: 还是存储放 mysql,手动写程序逻辑来实现 从 db 中 load 历史数据->计算当前时间 batch 的数据,加上历史数据->写回 db,问题在于这样表结构不是很好变,手动写逻辑容易出 bug...

    描述的不够清楚的话我还可以补充,不只是数据库,解决方案、思路都可以

    11 条回复    2018-11-08 09:42:03 +08:00
    xylitolLin
        1
    xylitolLin   2018-11-06 22:51:14 +08:00
    难道不是 es ?
    byteli
        2
    byteli   2018-11-06 23:12:17 +08:00 via Android
    @xylitolLin es 也有考虑,纠结的有两个点,一个是因为维度会变,而 es 要预定义 mapping,定义以后也不是不能改,就是需要花心思,第二点就是小时间段内聚合 es 没问题,如果要聚合获取历史累计怎么办呢,累计数据量可能有几十亿
    yuedingwangji
        3
    yuedingwangji   2018-11-07 09:29:09 +08:00 via Android
    几十 e 还 mysql,怎么撑住的?
    SunnyFeng
        4
    SunnyFeng   2018-11-07 11:10:43 +08:00
    gnocchi
    byteli
        5
    byteli   2018-11-07 12:02:28 +08:00 via Android
    @yuedingwangji 按小时把计算结果落盘也还好,大概十几个 t,累计数据就是按题目描述里那样很粗糙的方式处理
    byteli
        6
    byteli   2018-11-07 12:02:43 +08:00 via Android
    @SunnyFeng 谢谢,我了解下
    zacharyjia
        7
    zacharyjia   2018-11-07 13:54:25 +08:00
    时序数据库考虑一下?比如 influxDB 之类的
    zacharyjia
        8
    zacharyjia   2018-11-07 13:55:03 +08:00
    @zacharyjia 不好意思没看到已经试过了
    jswh
        9
    jswh   2018-11-07 14:21:12 +08:00
    这个看起来像其实像是 log 分析。以前用过 spark + Cassandra .Cassandra 也是分布式数据库,列存储,可扩展。分析的时候就把数据按时间拉出来到 spark 算
    byteli
        11
    byteli   2018-11-08 09:42:03 +08:00 via Android
    @jswh 谢谢,我了解下
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1280 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 23:28 · PVG 07:28 · LAX 15:28 · JFK 18:28
    ♥ Do have faith in what you're doing.