V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
tcdh
V2EX  ›  Python

用 poetry 和 pyproject.toml,如何保证开发/测试环境和生产环境 dependency 同步?

  •  
  •   tcdh · 201 天前 · 807 次点击
    这是一个创建于 201 天前的主题,其中的信息可能已经有所发展或是发生改变。

    当前 workflow:

    1. 开发 /测试的 dependency 在 poetry.lock 里,poetry install 安装
    2. 测试通过后用 poetry build & poetry publish 发布
    3. 生产环境 docker image 里 pip install 上一步的 package

    问题:开发环境的 dependency 在 poetry.lock 里,发布 package 的 dependency 在 pyproject.toml 的 tool.poetry.dependencies 里。有可能不同步。

    我能想到的解决方法:

    1. 手动同步 pyproject.toml 和 poetry.lock 。不过这样一来似乎也没什么必要用 poetry.lock 了。根据 poetry 的文档如果没有 poetry.lock 的话 poetry install 会读取 pyproject.toml 里的 dependency,那干脆开发和生产都用 pyproject.toml 。

    2. docker 里 git checkout 出 poetry.lock,安装 dependency 然后再安装发布包。不过这样一来需要在 image 里装没什么用的 git,并且如果是 private repo 的话可能要添加一些设置。

    python 半小白,感觉应该是比较常见的问题但是搜了一圈没看到人怎么说。请不吝赐教。

    9 条回复    2021-05-19 14:53:59 +08:00
    GoLand
        1
    GoLand   201 天前
    正常很难把整个项目打包到一个 pip 包里,更多的是直接构建 docker image,再去分发 image 即可。

    然后就解决了你这个问题。
    0bit
        2
    0bit   201 天前
    楼上正解,还是建议用容器级别的封装和分发。
    Python 的包,如果都是纯 Python 还好,如果有二进制依赖就很难受,充满不确定性。
    so1n
        3
    so1n   201 天前
    我是开发用 poetry 然后会用 potry 命令导出一份 requirements, 生产就直接用这份 requirements
    tcdh
        4
    tcdh   201 天前
    @GoLand 对 docker 也只是一知半解。请问你的意思是构建当前 package 的 image,然后 production 的 image (需要多个不同的 package )用 https://docs.docker.com/develop/develop-images/multistage-build/#use-multi-stage-builds 来构建吗?

    这个流程可以避免生成 python distribution(sdist, wheel )吗?我的理解是只要需要生成通过 pip 安装的 distribution 就会出现我目前面临的问题(开发的 denpendency 和打包的 dependency 不同步)
    no1xsyzy
        5
    no1xsyzy   201 天前
    @tcdh 不要 multi-stage,直接
    FROM python
    COPY
    RUN poetry install
    CMD

    既然你生产环境是 docker,发布就不应当是 poetry publish 而是 docker push
    lychee930224
        6
    lychee930224   200 天前
    docker 统一
    frostming
        7
    frostming   199 天前
    poetry.lock 就是让你复制可用环境部署用的,否则这文件没任何意义。
    你既然选择用发布 pypi 包部署就是放弃了 poetry.lock 的能力。

    要复制环境应该在 docker 里装 poetry 然后用 poetry.lock 安装,或者用导出 requirements.txt 的方式来避免安装 Poetry
    CharAct3
        8
    CharAct3   196 天前
    1. 将安装了 poetry 的 python image 作为基础镜像
    2. 复制依赖文件到自定义的 work dir 下
    3. 运行 poetry 命令安装依赖

    FROM custom_python_with_poetry
    WORKDIR /work_dir
    COPY pyproject.toml poetry.lock /work_dir

    RUN poetry config virtualenvs.create false && poetry install --no-dev --no-interaction --no-ansi
    no1xsyzy
        9
    no1xsyzy   193 天前
    捞个出来稍微改了改。


    poetry 似乎没有官方的 image…… 理应当不用 get-poetry 这个 installer 的,直接 ADD release.tar.gz 就行…… 或者照着 aur/python-poetry-git 的 PKGBUILD 改改,安装到 /usr/bin 下面去。
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1705 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 00:27 · PVG 08:27 · LAX 16:27 · JFK 19:27
    ♥ Do have faith in what you're doing.