V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1074 days ago, the information mentioned may be changed or developed.
目前遇到一个需求，应该是大数据处理范畴，不过我没有做过类似需求，看看各位有没有什么好的解决方案推荐
就是要实现图中的 taskA 、taskB 、taskC
技术栈是 JAVA
 |
1
9113946 May 29, 2023
spark sql 轻松解决
|
 |
2
xiangagou May 29, 2023
看你的数据量和具体需求喽,大数据那套可以做,Java 自己处理数据也可以做.大数据主要搭起来麻烦,写写脚本都是比较简单的.
|
 |
3
bk201 May 29, 2023
看你的图和大数据好像没啥关系。
|
 |
4
bugmakerxs OP @xiangagou 每天 100w 左右数据要处理，要考虑并行和水平扩容提高处理效率的话，感觉直接写代码会比较麻烦，，，process1~processN 之间也可能有相互依赖。flink 那套不知道能不能一把梭
|
|
5
xiangagou May 29, 2023
@bugmakerxs flink 能搞得.我看了下 es 的 sink 端官方有的,source 端没有需要自己处理.
|
Select Language