V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sbt
V2EX  ›  Java

关于 kafka 消息消费的一点小疑问

  •  
  •   sbt · 2020-03-10 14:11:14 +08:00 · 2428 次点击
    这是一个创建于 1720 天前的主题,其中的信息可能已经有所发展或是发生改变。

    问问各位大佬在自己公司的项目中用到 kafka 的时候,都是配置一个 topic 对应一个分区 partition 吗?(是为了保证消息被顺序消费吗?) 有没有 1 个 topic 对应多个分区的应用场景?

    7 条回复    2020-03-11 17:51:58 +08:00
    lhx2008
        1
    lhx2008  
       2020-03-10 14:12:54 +08:00 via Android
    多个分区可以一个客户端并发消费,速度会快一点。如果要求发送和接收顺序一致,也一个分区。
    asAnotherJack
        2
    asAnotherJack  
       2020-03-10 14:14:19 +08:00
    多个 partition 可以有多个消费者,对顺序没要求的话可以加快消费速度
    xinyewdz
        3
    xinyewdz  
       2020-03-10 14:17:25 +08:00
    一个分区,那就无法横向扩展了。保证有序,可以指定 key。相同的 key 会被存储到同一个分区的。
    sbt
        4
    sbt  
    OP
       2020-03-10 14:19:34 +08:00
    @lhx2008
    @asAnotherJack
    明白了,多谢两位的解惑
    lovelife1994
        5
    lovelife1994  
       2020-03-10 14:25:09 +08:00 via iPhone
    单个分区也无法保证一定是有序的,最多实现单个 producer 实例在某个分区是有序的。
    lovelife1994
        6
    lovelife1994  
       2020-03-10 14:35:12 +08:00 via iPhone
    @lovelife1994 1.0 之后的幂等 producer 支持在单个 producer session 单分区内有序?之前配置 in-flight request 为 1
    thinkmore
        7
    thinkmore  
       2020-03-11 17:51:58 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   976 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 22:51 · PVG 06:51 · LAX 14:51 · JFK 17:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.