使用 CompletableFuture 解决基于 DAG 并发任务调度问题

[Roni]

一个异步编排的问题想请教大家： 假设我们有 n 个 task，为了提高执行的效率，希望能并行执行 task，但是各个 task 之间又有一定的依赖关系，如何根据依赖关系找出可以并行执行的任务尽量让其并行执行？

需要用到 Java8 的 completableFuture 。我只知道串行是拓扑排序，但是如何并行编程异步编程，这种分阶段不太知道如何处理。希望大家帮帮忙提出一些思路 or 伪代码都可以，非常感谢。

（关键词：任务调度，依赖，DAG，拓扑，异步，并发，多线程，CompletableFuture ）

要求： root 节点根据所有的 task，生成最终 job ； job 执行，返回 FutureJob 给原线程；线程调用 FutureJob 的 get 方法，等待任务的最终执行结果。对最终执行结果进行封装，生成最终 result 返回给请求方。

[sleepNULL]

我搞得一个本地 dag 并发执行框架，可以借鉴下
https://github.com/sleep-NULL/DagConc

[Roni]

@sleepNULL 你好，谢谢你的回复，我最后是用 CompletableFuture+递归版拓扑排序解决了该问题；可能 Job 和 Task 对象的实现不同，方法就不同，加上并发编程的框架很多，类似 Future 等也可以做

[thetcc]

@Roni 能否看下你这种方式是怎么实现的，可以提供下代码吗