V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
noble4cc
V2EX  ›  Java

为什么 rocketmq 这么优秀 kafka 使用还这么广泛呢?

  •  
  •   noble4cc · Oct 12, 2020 · 11298 views
    This topic created in 2022 days ago, the information mentioned may be changed or developed.

    rocketmq 有很多有趣的特性,kafka 就性能方面胜出,kafka 为什么没有完全被取代呢

    54 replies    2020-10-14 22:47:06 +08:00
    no1xsyzy
        1
    no1xsyzy  
       Oct 12, 2020
    俺寻思你自己都回答了……
    qwerthhusn
        2
    qwerthhusn  
       Oct 12, 2020   ❤️ 6
    ok,听说 rocketmq 很吊,准备使用 rocketmq,先安装一个吧。查一下官网文档。。。http://rocketmq.apache.org/docs/quick-start/
    什么??先 clone 代码库,然后再 Maven 编译??
    再见。
    Oktfolio
        3
    Oktfolio  
       Oct 12, 2020
    @qwerthhusn 不都用 docker 吗
    GopherDaily
        4
    GopherDaily  
       Oct 12, 2020
    为什么没有完全被取代?还是为什么没有被取代一点点?
    Lighfer
        5
    Lighfer  
       Oct 12, 2020   ❤️ 2
    稳定性还是不行啊,开源版和商业版都是
    硬件配置啥的都阿里给规划的,也是阿里部署的 MQ 服务器
    时不时各种 busy 先不说
    多次出现同步消息可正常发送,异步消息无法发送,持续一年无法解决
    压力不大的情况下,mq 服务器都崩溃过一两次,而且不是长时间运行出现的
    就我司目前使用下来,开源版甚至比商业版还要稳定一点
    rocketmq 特性是又多又香,但是问题也多啊
    noble4cc
        6
    noble4cc  
    OP
       Oct 12, 2020
    @Lighfer 不是吧很多大公司都在用 rocketmq 如果这样的话淘宝的服务岂不是很不稳定
    pmispig
        7
    pmispig  
       Oct 12, 2020   ❤️ 4
    因为是阿里式开源,所以我选择 kafka
    Lighfer
        8
    Lighfer  
       Oct 12, 2020
    @noble4cc 然而确实都是我们用了一年多,持续存在的问题,经验仅供参考嘛
    qwerthhusn
        9
    qwerthhusn  
       Oct 12, 2020
    @Oktfolio docker 镜像只信赖 docker 官方构建的,或者软件发布者构建的,第三方个人构建的都不好用,扩展性配置性都很差
    bk201
        10
    bk201  
       Oct 12, 2020
    我觉得应该是阿里制造的原因,阿里制造,必属实验品。
    wakzz
        11
    wakzz  
       Oct 12, 2020
    没楼上说那么糟糕,商业版确实很棒,用起来比 kafka 舒服太多了,开源版嘛。。。阉割得太严重了
    JB18CM
        12
    JB18CM  
       Oct 12, 2020
    因为 kafka 比 rocketm 更优秀, 尤其是性能
    opengps
        13
    opengps  
       Oct 12, 2020
    多样性的特点适用于很多地方,除了第一第二,完全可以都有第三四五六存在,现在很多地方还有的人直接使用 redis 的队列呢
    waising
        14
    waising  
       Oct 12, 2020
    我们已经用 pulsar 了。。。
    noble4cc
        15
    noble4cc  
    OP
       Oct 12, 2020
    @opengps 不怕丢数据?
    TypeError
        16
    TypeError  
       Oct 12, 2020 via Android
    生态怎么比,
    rabbitmq,kafka 份额最高
    各种语言支持,各种坑都有人踩过,中英文资料都丰富的很
    EminemW
        17
    EminemW  
       Oct 12, 2020
    因为体验过阿里 dubbo 、antd pro 的坑,所以不敢用
    chihiro2014
        18
    chihiro2014  
       Oct 12, 2020
    因为是阿里
    haitaotao
        19
    haitaotao  
       Oct 12, 2020
    浓浓的知乎味
    DoctorCat
        20
    DoctorCat  
       Oct 12, 2020
    同理,为什么 etcd 这么优秀 zookeeper 使用还这么广泛呢?
    inwar
        21
    inwar  
       Oct 12, 2020 via Android   ❤️ 1
    国产开源,doc 都写不明白,各种坑
    xuanbg
        22
    xuanbg  
       Oct 12, 2020
    小兔兔用起来辣么方便,为啥还有人用 kafka ?
    heiheidewo
        23
    heiheidewo  
       Oct 12, 2020
    KPI 式开源楼主去用吧
    IDAEngine
        24
    IDAEngine  
       Oct 13, 2020 via iPhone
    kafka 生态成熟呀,阿里开源的东西基本都是内部不用了的或维护不下去了的
    ditel
        25
    ditel  
       Oct 13, 2020 via Android
    @noble4cc 开源的和开源公司自己当然自己的要写好些啊
    wangyanrui
        26
    wangyanrui  
       Oct 13, 2020 via Android
    不怕被喷
    本人不相信国内的商业公司会开源一套和自己内部实现一模一样的产品,什么叫开源版(社区版),不就是找一群小白鼠吗
    wangyanrui
        27
    wangyanrui  
       Oct 13, 2020 via Android
    所以,我选择 RabbitMQ 或者 kafka
    rrfeng
        28
    rrfeng  
       Oct 13, 2020 via Android
    看好 pulsar
    noble4cc
        29
    noble4cc  
    OP
       Oct 13, 2020
    @xuanbg 小兔兔性能不行呀
    JohnYehyo
        30
    JohnYehyo  
       Oct 13, 2020
    RabbitMq 永远滴神!
    raptor
        31
    raptor  
       Oct 13, 2020
    rocketmq 这么优秀???哈哈哈哈,看来阿里的坑你还没踩够。。。
    noble4cc
        32
    noble4cc  
    OP
       Oct 13, 2020
    @raptor 我只是说设计很优秀,开源版本可能很多坑?我之前的公司是基于开源的二次开发的添了很多坑
    keshawnvan
        33
    keshawnvan  
       Oct 13, 2020
    @noble4cc 淘宝用的 MetaQ,RocketMQ 是开源版本不完全一样
    lscexpress
        34
    lscexpress  
       Oct 13, 2020
    @noble4cc 你什么项目啊,rabbitmq 都不够用,不够用就上集群啊
    TypeError
        35
    TypeError  
       Oct 13, 2020 via Android
    @lscexpress 场景不一样,
    rabbitmq 吞吐小,实时性高
    kafka 吞吐量大
    noble4cc
        36
    noble4cc  
    OP
       Oct 13, 2020
    @lscexpress 及时通讯呀,小兔子其实以前也用过,量小了确实可以,之前用的就是小兔子集群呀,小兔子很优秀但是量撑死一万了
    hpan
        37
    hpan  
       Oct 13, 2020
    国内阿里这种几万人量级的公司的开源产品基本上打不过国外百人量级公司的开源产品,就是这么个情况
    BBCCBB
        38
    BBCCBB  
       Oct 13, 2020   ❤️ 1
    @lscexpress rabbitmq 的集群尤其难用. 甚至某种感念上来说它是 '假集群'
    GBdG6clg2Jy17ua5
        39
    GBdG6clg2Jy17ua5  
       Oct 13, 2020 via iPhone
    阿里出品,必属淘汰品
    IDAEngine
        40
    IDAEngine  
       Oct 13, 2020 via iPhone
    @BBCCBB 还好吧,集群确实部署有点麻烦
    LICOEVE
        41
    LICOEVE  
       Oct 13, 2020
    看好 pulsar
    joesonw
        42
    joesonw  
       Oct 13, 2020
    @noble4cc https://tanzu.vmware.com/content/blog/rabbitmq-hits-one-million-messages-per-second-on-google-compute-engine 吞吐肯定不止你那么点. 是不是每个用户一个队列了? rabbitmq 的每个队列背后都有一个 erlang process 来 back. 队列大了确实扛不住, 可以考虑分区集群.
    noble4cc
        43
    noble4cc  
    OP
       Oct 13, 2020
    @joesonw 之前用的,好几年了,都忘记了,我搜了下网上有实际测评,在 32 核心的机器下撑死 1 万五,这是开持久化的情况下,当然机器性能提高下也就三万差不多了,当然一般公司的一般业务也行了,大部分业务真跑不满这几万
    cxcoder
        44
    cxcoder  
       Oct 13, 2020
    在生态和资料的丰富程度上比不过 KAFKA
    kanepan19
        45
    kanepan19  
       Oct 13, 2020
    生产环境: 开源版 使用情况
    机器负载很低的情况下 , TPS 不到 200 , 各种 busy
    至今无解. 改了几个参数也没效果,官方也没什么解释.
    zsdroid
        46
    zsdroid  
       Oct 13, 2020
    楼主这自圆其说都不会。
    29 楼:“小兔兔性能不行呀”,大概是性能很重要的意思。
    但是帖子正文又说:“kafka 就性能方面胜出,kafka 为什么没有完全被取代呢”。这个“就”又说明性能不重要。
    rockyou12
        47
    rockyou12  
       Oct 13, 2020
    还有 kafka 设计很清晰,使用很简单,这个其实是很重要的优点
    hpeng
        48
    hpeng  
       Oct 13, 2020 via iPhone
    为什么要取代,各有各的优势劣势,看业务取舍(不过,一般不会直接用开源版的 rocketmq
    noble4cc
        49
    noble4cc  
    OP
       Oct 13, 2020
    @zsdroid 小兔子性能和 kafka 差两个数量级,rocketmq 性能比小兔子高多了,而且设计上和 kafka 很类似,扩展方便,说是性能,但是 kafka 在设置完全不丢消息的前提下性能比 rocketmq 高不太多,但是还是比小兔子高很多,也就是说小兔子性能完全不够用,rocketmq 还是可以的
    muzuiget
        50
    muzuiget  
       Oct 13, 2020
    @haitaotao 我也对这种标题略有不适。
    ZiLong
        51
    ZiLong  
       Oct 13, 2020
    因为设计是取舍的艺术,计算机世界没有银弹,没有免费的午餐
    wc951
        52
    wc951  
       Oct 14, 2020 via Android
    因为 kafka 久经考验,是大数据领域的事实标准
    wxy1991
        53
    wxy1991  
       Oct 14, 2020   ❤️ 1
    只用过 rocketmq,那文档是真的烂,很多坑找不到文档说明,只能从前人经验和源码自己找问题
    afc163
        54
    afc163  
       Oct 14, 2020
    @EminemW #17 antd pro 遇到什么问题了不妨反馈一下
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   849 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 117ms · UTC 21:21 · PVG 05:21 · LAX 14:21 · JFK 17:21
    ♥ Do have faith in what you're doing.