V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
scalaer
V2EX  ›  问与答

有 akka 大佬吗, 请教一个问题

  •  
  •   scalaer · 2019-11-15 16:32:55 +08:00 · 1201 次点击
    这是一个创建于 1595 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用 slick 流式读取 mysql 一个大表 700w, 在 map 的时候计数,发现到 360w 就停了, 请问下这是什么原因?

    val source: Source[Event, NotUsed] = Slick.source(query1)
    
    val sink: Sink[ProducerRecord[String, Event], Future[Done]] = Producer.plainSink(p)
    
    var counter = 0;
    
    val done: Future[Done] =
            source
              .map(
                e =>
                  {
                    counter += 1
                    println(counter)
                    new ProducerRecord(topic, e.sid, EventFactory.build_event(e))
                  }
    ).runWith(sink)
    
    4 条回复    2019-11-16 22:26:33 +08:00
    woodfish
        1
    woodfish  
       2019-11-15 18:11:10 +08:00
    是不是 mysql keepalive 超时了
    scalaer
        2
    scalaer  
    OP
       2019-11-15 20:43:14 +08:00
    @woodfish 现在定位到是 kafka producer 超时了, 这个有啥参数可以设置的吗?
    scalaer
        4
    scalaer  
    OP
       2019-11-16 22:26:33 +08:00
    @woodfish close-timeout 设置了很大, 不起作用..
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5310 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 05:57 · PVG 13:57 · LAX 22:57 · JFK 01:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.