V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yuan434356430
V2EX  ›  程序员

咨询下项目日志存储方案

  •  
  •   yuan434356430 · 2020-10-29 14:31:42 +08:00 · 835 次点击
    这是一个创建于 1269 天前的主题,其中的信息可能已经有所发展或是发生改变。

    架构迁移中,老项目的日志存储是一次请求过来,数据库存储多次日志(可能涉及到请求其他平台,也要存储)

    ​ 我想优化一下其中的流程,因为老项目都是单条存入库中的,目前想到两种方案:

    1. 将日志写入 Redis,再定时或每百条批量存入数据库
    2. 将日志推到 Kafka,然后消费掉这些日志,统一存到库里

    ​ 目前想问一下有做过的朋友,还有没有其他的方案,还有我想到的这两个方案的可行性怎么样

    日志的在特定的情况下实时性要求比较高,其他时间无所谓

    nodesolar
        1
    nodesolar  
       2020-10-29 17:16:59 +08:00
    kakfa 比较合适
    itsql
        2
    itsql  
       2020-10-29 17:22:15 +08:00
    日志推到 Kafka,消费存到 ES
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2786 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 14:43 · PVG 22:43 · LAX 07:43 · JFK 10:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.