大佬们 stable-diffusion-webui API 文生图怎么多人同时画图
AuYuHui · 2023-05-24 22:37:09 +08:00 · 2282 次点击这是一个创建于 577 天前的主题，其中的信息可能已经有所发展或是发生改变。
多人使用时不需要排队，是否可以支持，要设置什么参数之类的吗
 |
1
gzlock 2023-05-25 00:11:27 +08:00
可以试试秋叶启动器里有一个停用 gradio 内置队列的选项
但是禁用队列后我有疑问就是，如果用户 A 在用大模型 A 在出图中，而用户 B 这时候选择大模型 B 出图，那大模型 A 和 B 是不是都需要加载到显存里？那再来一个用户 C 选择大模型 C 呢？ 没有队列后，是不是显存就需要无穷大了？ |
 |
2
lzghades 2023-05-25 08:43:24 +08:00
不用队列应该不行，多个用户同时画图的话，显存应该不够。
|
 |
3
jifengg 2023-05-25 09:39:07 +08:00
单机应该不行，本来一个任务就全力跑了，不排队的话大家都慢。
如果 api 有可以获取队列信息话，可以考虑在它前面套一个自己维护的负载，webui 部署多台机器，自己做任务分配。 |
 |
4
hyperzlib 2023-05-25 13:30:52 +08:00
多进程队列，我现在就是这么做的。不同进程可以加载不同的模型。
|
 |
5
dabingbing 2023-08-05 16:36:50 +08:00
@hyperzlib 你好，你的方案需要魔改吗？
|
|
6
hyperzlib 2023-08-11 11:37:00 +08:00
@dabingbing 不用，启动参数可以指定加载的模型和端口，不同模型开在不同端口上就行了。然后自己写一个调度中间件。
|
Select Language