首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
Kafka
Golang Kafka Writer 消息被截断
ghjacky
·
2021-12-09 09:56:21 +08:00
· 1069 次点击
这是一个创建于 1109 天前的主题,其中的信息可能已经有所发展或是发生改变。
* 数据流向:数据上报 API ===> goroutine 写入 buffer (channel) ===> goroutine 后台循环从 buffer 中读取 batchsize 个消息 ===> kafka writer 将获取到的消息写入 kafka
* 目前看到,从 buffer 中读取到的消息都是完整的,但是从 kafka 消费出来的消息很多都被截断了,差不多 30%多
* 每个 topic n 个 partition ,1 个 group ,n 个消费者
* 每条消息的长度从 2k 到 10k 不等,也有更长的,但 90%多在 2k 到 10k 之间
* 被截断的消息:截断为 n 段( n 不确定),比较大的一部分基本都处于 4000 到 8000 个字节之间,小的部分可能就几个字节
**详细信息如上**
**各位,帮忙看下是什么原因导致的,先谢过🙏**
Kafka
截断
buffer
Writer
2 条回复
1
liprais
2021-12-09 10:15:03 +08:00 via iPhone
你看看 writer 什么时候发消息就知道了
2
ghjacky
OP
2021-12-20 11:31:25 +08:00
@
liprais
刚看到,不好意思,不知道为啥我这边居然没有未读提醒。。
目前是去掉 buffer ,直接收到一条写一条,没有被截断的情况了。
你说的看 writer 什么时候发消息是什么意思,可以讲的详细点吗
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
1353 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms ·
UTC 17:09
·
PVG 01:09
·
LAX 09:09
·
JFK 12:09
Developed with
CodeLauncher
♥ Do have faith in what you're doing.