V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Olament
V2EX  ›  问与答

Pytorch 模型部署到服务器有没有什么好的方案?

  •  
  •   Olament · 2019-12-07 08:31:57 +08:00 via iPhone · 3854 次点击
    这是一个创建于 1813 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请问有没有类似下面这种的: 整个模型装进一个 docker 里面,然后提供一个 api。传入输入之后会返回一个 json 包含 inference 的结果。

    6 条回复    2019-12-07 11:10:49 +08:00
    jdhao
        1
    jdhao  
       2019-12-07 09:15:26 +08:00 via Android   ❤️ 1
    用 flask 部署,提供一个服务接口,docker 里面接口映射一下即可
    widewing
        2
    widewing  
       2019-12-07 09:16:12 +08:00 via Android   ❤️ 1
    kubeflow
    jaswer
        3
    jaswer  
       2019-12-07 10:26:27 +08:00
    方案你不是自己都说出来了
    Olament
        4
    Olament  
    OP
       2019-12-07 10:43:41 +08:00
    @jaswer 我在想有没有类似于 tensorflow serving 这种的
    tfdetang
        5
    tfdetang  
       2019-12-07 11:08:04 +08:00
    不知道是不是我的错觉。模型用 tensorflow-serving-gpu 部署,同样的配置比本地的实验代码推理速度慢(同样配置)。当然 serving 部署比较方便是真的
    hdbzsgm
        6
    hdbzsgm  
       2019-12-07 11:10:49 +08:00
    seldon/tf serving/kf serving
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   978 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 19:54 · PVG 03:54 · LAX 11:54 · JFK 14:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.