V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Cola98
V2EX  ›  程序员

求助,关于时序数据异常检测

  •  
  •   Cola98 · 319 天前 · 637 次点击
    这是一个创建于 319 天前的主题,其中的信息可能已经有所发展或是发生改变。

    小弟最近接到一个新任务,调研 holoinsight-ai 算法服务,花了几天把里面一些概念搞清楚了,现在比较纠结的一个点是它提供了一个 JSON 数据:

    {
        //历史数据
      "InputTimeSeries": {
        "1681710540000": 559, 
        "1681710600000": 597,
        "1681710660000": 505,
        "1681710720000": 572,
        "1681710780000": 515,
        "1681710840000": 552,
        "1681710900000": 549,
        "1681710960000": 521,
        "1681711020000": 500,
        "1681711080000": 564,
        "1681711140000": 517,
        "1681711200000": 5000
      },
        "intervalTime": 60000, //间隔 60000ms,InputTimeSeries 中每个时间相差 60000ms
        "detectTime": 1681711200000, //检测时间
        "algorithmConfig": {
        "algorithmType": "up", //关心上升还是下降趋势
        "sensitivity": "mid" //算法敏感度, 敏感度越高,算法对异常数据的检测越严格,可能会有更多的误报。敏感度越低,算法对异常数据的检测越宽松,可能会有更多的漏报。
      },
        "ruleConfig": { //规则配置
        "defaultDuration": 1, //持续告警时间,这里是 1 分钟。
        "customChangeRate": 0.1 //表示阈值为 10%。,两个值之间变化率差距超过 0.1 就会告警
      }
    }
    

    关于 InputTimeSeries 这一块,比较这一块应该放什么类型的数据,看美团的文章里面是分为了三种:周期型、平稳型和无规律波动型。

    初步想法是先获取 K8S 相关资源的时序数据,然后做分类,在用异常注入的方法来验证这个算法服务,不知道可不可行?

    2 条回复    2023-06-16 14:08:26 +08:00
    CoooooolFrog
        1
    CoooooolFrog  
       319 天前   ❤️ 1
    可行,直接使用 Pod 的 CPU 、Mem 等水位数据应该就比较有可信度了
    Cola98
        2
    Cola98  
    OP
       319 天前
    @CoooooolFrog ok ,多谢大佬,主要是担心思路出问题
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1049 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 23:53 · PVG 07:53 · LAX 16:53 · JFK 19:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.