V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
iX8NEGGn
V2EX  ›  Local LLM

感谢巨硬, Phi-3 Mini 让我八年前的破笔记本也能玩本地大模型翻译了

  •  
  •   iX8NEGGn · 244 天前 · 2880 次点击
    这是一个创建于 244 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用 Ollama 跑了下 4B 量化版本,翻译效果已经差不多追上谷歌机翻了,终于可以实现文档翻译自由了。

    13 条回复    2024-04-26 16:43:52 +08:00
    iX8NEGGn
        1
    iX8NEGGn  
    OP
       244 天前   ❤️ 2
    打脸了,试着翻译了几篇 PDF ,中文不太行,有的地方还多嘴,甚至有乱码。
    lovestudykid
        2
    lovestudykid  
       244 天前
    听说过拟合比较严重,刷榜的产物
    passive
        3
    passive  
       244 天前 via Android
    估计训练的人叫 Bob ,因为总会出来 Bob:提示符
    iX8NEGGn
        4
    iX8NEGGn  
    OP
       244 天前 via iPhone
    @passive @lovestudykid 看到介绍说 Mini 就能媲美 Chat-GPT3.5 ,把我给激动的,14B 不得起飞噜,诶,又被骗了。
    Chad0000
        5
    Chad0000  
       244 天前 via iPhone
    这种新闻都是说打脸 GPT ,最终也不知道打的是谁的脸。

    我铁打的 ChatGPT Plus 一直开着就挺好的
    qilme
        6
    qilme  
       244 天前 via Android
    论文里说了两个主要缺点,一个是只支持英文,一个是知识库偏少
    haiku
        7
    haiku  
       244 天前 via Android
    还是 llama8b 吧
    june4
        8
    june4  
       244 天前
    内存不差的话,感觉 4b 还是比 8b 之类的差不少,反正性能一样
    fredweili
        9
    fredweili  
       244 天前
    翻译还是得 gpt ,llama3 也不行
    weilongs
        10
    weilongs  
       244 天前
    op 用什么工具翻译的? 沉浸翻译接入的 ollama 嘛?
    iX8NEGGn
        11
    iX8NEGGn  
    OP
       244 天前
    @weilongs 不是,用的 memoQ ,加上自己写翻译插件( https://v2ex.com/t/981110 ),昨晚快速对接了下 Ollama 的 API ,还没 push ,没有译后编辑需求的话,沉浸式翻译等浏览器插件更方便吧,拖入浏览器就行。
    weilongs
        12
    weilongs  
       243 天前
    @iX8NEGGn 哦 我尝试了沉浸式翻译,进行处理还可以。Phi 感觉不太行,我更喜欢微软另一个小模型:wizardlm2:7b
    SuperMaxine
        13
    SuperMaxine  
       243 天前
    目前用来翻译的本地能跑的大模型我就感觉 qwen-14b 还不错,参数量小的基本都没法看,国外的大模型比如 mixtral 、llama3-8b 之类的经常会中英混杂,翻译结果里夹生漏个一两部分不翻译。用来做中英互译任务还是得国内这些由足够中文预料进行训练的。不过就这感觉也打不过在线模型比如 kimi 之类的,和 gpt-3.5 的翻译比稍微差一点点,更打不过 gpt4 了,只能说勉强能用,通顺程度上还是不行。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5448 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 08:46 · PVG 16:46 · LAX 00:46 · JFK 03:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.