noparking188

noparking188

V2EX 第 224910 号会员,加入于 2017-04-07 22:30:30 +08:00
咸鱼,学渣
根据 noparking188 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
noparking188 最近回复了
1 天前
回复了 ah64zzpk 创建的主题 酷工作 有没有了解南京巴斯夫的朋友?
还有这类公司推荐吗,看了巴斯夫招聘在江浙沪没有合适的岗
@edis0n0 #10 不重启容器里的服务,而是选择重启容器,是因为考虑实现更简单吗?
4 天前
回复了 zhao1cheng 创建的主题 Google 谷歌中文搜索好像出现了新的垃圾站
@zqjilove #1 英文内容也不行了现在,都是菠菜农场?
4 天前
回复了 leegradyllljjjj 创建的主题 程序员 我是如何失去团队掌控的?(转)
团队里的工人同志们身体还好吧,有安排做体检吗?
5 天前
回复了 Renco 创建的主题 职场话题 真摆烂是主流趋势?
“主管让我们后台大致评估一个方案,给产品。以这个同事为主,有不清晰的可以问我,我辅助他”

他是任务负责人,你可以完全不用管,他要做会主动找你,他不做也不影响你,少一事更好。

楼主应该是比较有责任心。
5 天前
回复了 Renco 创建的主题 职场话题 真摆烂是主流趋势?
@fengjianxinghun #9 不要忘了农民,工农不分家,改开原始积累靠剥削农民
8 天前
回复了 leonme 创建的主题 Java Spark 如何精准控制消息的发送速率?
@leonme #14 看上去
1. 不要用 Spark 直接写 MQ (瞬间写几千万到队列也不是很合适的样子,除非实时性要求高,下游可以瞬间消费完)
2. 调整消费端的消费策略(推荐)

一点建议,仅供参考
8 天前
回复了 leonme 创建的主题 Java Spark 如何精准控制消息的发送速率?
@leonme #11 老哥,我看你主题描述的是想控制 Spark 写 MQ 的速度,这边回复里说是想控制消费端消费 MQ 的速度

我没有裸写程序消费 Kafka 的经验,不过我有用过 Flink 消费 Kafka ,可以限制消费速度,比如隔多久 fetch 一次,fetch size 啥的,也许可以参考。补充一下,我也是所有数据都推同一个 topic ,多个 flink 应用消费同一个 topic ,根据条件过滤无关的消息,几千万数据倒是没有不稳定的。

可能我经验不足,有点不明白的是,你的消费端程序难道不是按一定频率通过偏移量读消息(比如等待几秒再更新一次),而是只要来了就立马消费?
9 天前
回复了 onecode 创建的主题 求职 苏州, 8 年半 .net/.net core 求职
老哥可以试试小冰,月亮湾那里
9 天前
回复了 leonme 创建的主题 Java Spark 如何精准控制消息的发送速率?
@leonme #7 给个参考:
1. Spark 写 Parquet 文件,这个写完很快,不会占用太久集群资源
2. DataX 之类工具读 Parquet 写 DB ,可以设置并发和 Batch Size ,开很小的资源就够了
以上是离线处理的场景,你的场景是什么?
关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4658 人在线   最高记录 5497   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 02:49 · PVG 10:49 · LAX 19:49 · JFK 22:49
Developed with CodeLauncher
♥ Do have faith in what you're doing.