V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
homie2018
V2EX  ›  程序员

有没有比较好的日志聚合工具或者技术

  •  
  •   homie2018 · 42 天前 · 2483 次点击
    这是一个创建于 42 天前的主题,其中的信息可能已经有所发展或是发生改变。

    有 7 台服务器在运行,使用了阿里云的日志服务 SLS,但 SLS 用于报警还行,平时查 bug 要前前后后看几十行甚至上百行日志,7 台机器来回看有点麻烦。 有没有什么好的手段把日志按时间戳聚合起来, 比如每分钟上传到一个统一的服务器上,然后写个脚本排一下序。 但一个日志文件有几百 MB,这个方式有点慢。

    26 条回复    2021-10-25 11:00:22 +08:00
    fengpan567
        1
    fengpan567  
       42 天前   ❤️ 2
    elk
    37Y37
        2
    37Y37  
       42 天前
    我们用的 elk,开发查起来得心应手
    mtzhjsnv
        3
    mtzhjsnv  
       42 天前
    yisheyuanzhang
        4
    yisheyuanzhang  
       42 天前
    filbeat > redis/kafka > elk 用起来很顺畅
    aeli
        5
    aeli  
       42 天前   ❤️ 1
    loki + promtail 轻量的多,更适合日志查询
    securityCoding
        6
    securityCoding  
       42 天前   ❤️ 1
    正好刚从阿里云 sls 切回自建日志平台,sls 不好用费用也高
    filebeats->es->kibana 体验比 sls 高两个级别, 文档无比清晰搭起来很快
    kingzeus
        7
    kingzeus  
       42 天前
    elk
    CainWang
        8
    CainWang  
       42 天前
    基础的查询 bug sls 也能满足的 前提是日志规范;比不上 kibana 但是也差不了太多
    zanxj
        9
    zanxj  
       42 天前
    无脑 ELK
    killva4624
        10
    killva4624  
       42 天前
    轻度 loki,重度 elk,所以直接 elk 吧。
    bruce0
        11
    bruce0  
       42 天前
    filebeat + Logstash
    yicong135
        12
    yicong135  
       42 天前
    metrue
        13
    metrue  
       42 天前
    @yicong135
    Seq 用起来感觉如何?个人小服务想试试。
    jellyspot
        14
    jellyspot  
       42 天前
    如果是容器环境,efk 吧
    shanghai1943
        15
    shanghai1943  
       42 天前
    @yicong135 #12 看起来挺不错👍
    basefas
        16
    basefas  
       42 天前
    都打到一个日志库里不就行了?
    Hanggi
        17
    Hanggi  
       42 天前
    elk 一套占多少资源啊,CPU, memory
    BQsummer
        18
    BQsummer  
       42 天前
    我们是从 graylog 迁到 sls 的,感觉还是 graylog 好用
    hdfg159
        19
    hdfg159  
       42 天前 via iPhone
    用 graylog
    homie2018
        20
    homie2018  
    OP
       42 天前
    @mtzhjsnv 好的,我研究一下,非常感谢。
    kaikai5601
        21
    kaikai5601  
       42 天前 via iPhone
    你都用 sls 了还有啥不方便的??比 elk 方便,就是对标 elk 的
    yicong135
        22
    yicong135  
       41 天前
    @metrue 用了 2 年,感觉还不错,值得试试
    huangzxx
        23
    huangzxx  
       41 天前
    推荐 ELK ,all -> kafka -> logstash -> es -> kibana
    fucku
        24
    fucku  
       40 天前
    这大于号是什么意思?

    比如
    ->
    >
    securityCoding
        25
    securityCoding  
       40 天前
    @Hanggi 主要是 ES 集群吃资源,数据量不大的话 3 台 4u16g 机器足够
    homie2018
        26
    homie2018  
    OP
       39 天前
    @kaikai5601 主要是不太熟悉,比如通过 taskid abcd123efg 查所有相关的日志,不知道在控制台怎么使用,他们好像提供了类似 SQL 的句法,但我更倾向于在终端使用 grep, awk, sed 等命令进行查询。
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1076 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 19:44 · PVG 03:44 · LAX 11:44 · JFK 14:44
    ♥ Do have faith in what you're doing.