V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Thecosy
V2EX  ›  分享创造

做了个图生成诗的 AI 小程序产品,根据照片匹配古诗词,生成分享卡片。

  •  
  •   Thecosy ·
    Thecosy · 18 天前 · 1565 次点击

    主体功能流程

    1. 前置工作:古诗词向量化
    2. 用户上传照片,后台通过多模态接口分析图片主体和意境,格式化输出
    3. 根据上面的输出去向量库中匹配,返回 Top N 诗句
    4. 根据诗句反查得到整诗返给前端
    5. 前端呈现 小程序
    • AI:Gemini 、LangChain 、m3e 、chroma 通义千问视觉理解大模型 Qwen-VL

    技术原理:是把古诗词通过大语言模型翻译成可以理解的现代词。然后搭建一个视觉理解大模型 Qwen-VL 理解图片的内容。通过 chroma 向量化我们的古诗词数据库(包含全部的古、近、现代诗、词、小调)然后反查结果同一内容返回给前端用户。

    小程序名称叫做图生成诗,目前免费供大家使用。👇下面是二维码

    e8cf72ca7b9b976f99b1232fe4b51a85.png

    10 条回复    2024-11-26 00:57:18 +08:00
    v2maxwell
        1
    v2maxwell  
       18 天前 via Android
    感觉好像前几天有坛友发过类似的。。。
    Thecosy
        2
    Thecosy  
    OP
       18 天前
    @v2maxwell 这个是小程序
    Thecosy
        3
    Thecosy  
    OP
       18 天前
    后面加上朋友圈文案分享功能,然后还可以方便的调用手机摄像头。
    savian666
        4
    savian666  
       17 天前
    ![图片注释]( https://shibei.cool/_next/static/media/wechat.e8a8f65f.jpg)
    TyCoding
        5
    TyCoding  
       17 天前
    @Thecosy #3 这些功能不允许个人小程序开发,你就是写了也上架不了
    Thecosy
        6
    Thecosy  
    OP
       17 天前
    @TyCoding 那现在不是上架还过审了嘛,而且我有企业小程序。这个认证快而已
    Thecosy
        7
    Thecosy  
    OP
       17 天前
    @TyCoding 个人禁止的是生成式 AI ,这个可不是生成,而是搜索。图片调用也有安全审核,怎么不能行了
    TyCoding
        8
    TyCoding  
       17 天前
    @Thecosy #7 或许你理解错了,我指的是个人小程序不允许有社交分享属性
    jefferyH
        9
    jefferyH  
       17 天前 via iPhone
    你是把所有诗都翻译了一遍吗用大模型?
    Thecosy
        10
    Thecosy  
    OP
       16 天前
    @TyCoding 分享没看见官网哪里有限制,我现在已经添加分享朋友圈功能了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1125 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 23:37 · PVG 07:37 · LAX 15:37 · JFK 18:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.