V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Guesser
V2EX  ›  Python

py 有什么好用的数据分析工具

  •  1
     
  •   Guesser · 89 天前 · 1694 次点击
    这是一个创建于 89 天前的主题,其中的信息可能已经有所发展或是发生改变。

    场景:

    我有一个服务器监控需求,服务器的监控图表包含:

    • cpu 使用率
    • 内存使用率

    能获取到这些监控图表里每天的时间点&对应的 cpu 使用率、时间点&对应的内存使用率

    问题:

    • 我如何方便的分析数据是否有波动?
    • 异常波动的使用率对应的时间段在什么时候?
    • 是否存在逐渐攀升或逐渐减少的情况?
    16 条回复    2022-09-12 22:27:49 +08:00
    TimePPT
        1
    TimePPT  
       89 天前
    看需求像做基于时序的异常检测。有很多对应的机器学习库。随便搜搜看
    jiezhi
        2
    jiezhi  
       89 天前
    数据分析的话,不得不提 pandas
    Guesser
        3
    Guesser  
    OP
       89 天前
    @TimePPT 感谢,转了一圈 github 搜 `基于时序的异常检测` 没啥发现
    yxhyw1799
        4
    yxhyw1799  
       89 天前
    以前看文章有提到过异常检测工具 PyOD 和时序预测工具 Prophet ,都是基于机器学习算法实现的
    Guesser
        5
    Guesser  
    OP
       89 天前
    @yxhyw1799 感谢,看了下,不太符合需求
    lunaticus7
        6
    lunaticus7  
       89 天前
    试试 Prometheus?
    Guesser
        7
    Guesser  
    OP
       89 天前
    @lunaticus7 太重了哈哈,只想搞个轻量级代码去分析
    TimePPT
        8
    TimePPT  
       89 天前
    chionetw5
        10
    chionetw5  
       89 天前
    没懂,我说一个时序数据库有用吗
    pljhonglu
        11
    pljhonglu  
       89 天前
    开箱即用的,adtk
    wa007
        12
    wa007  
       89 天前
    时序图+同环比就能解决?
    duvet
        13
    duvet  
       89 天前
    看起来需要的不是工具而是算法。
    necomancer
        14
    necomancer  
       86 天前
    方法比较多,而且根据不同的数据,最好的具体方法也是不同的
    具体可以看一下 sklearn 的 novelty and outlier detection 。一维时序的话不妨试试 pulse detection 啥的,可能简单好用

    成品例如 PyCaret
    necomancer
        15
    necomancer  
       86 天前
    修正一下 impulse detection
    necomancer
        16
    necomancer  
       86 天前
    基于小波变换的方法可能很适用你的具体需求,基于小波变换有很多寻找 trend ,impulse 的方法
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4922 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 03:02 · PVG 11:02 · LAX 19:02 · JFK 22:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.