我用 3.5 天的时间和 Claude 3.5 联手开发了一个 Mac App，利用本地运行的 Llama 3.1 提供实时的 AI 反应。在 M 系列芯片的 Mac 上可用。免费，完全本地，飞快。

[unstop]

朋友们好，好久不见。

前几天 Llama 3.1 发布，我体验之后感到——

时代的变化突然降临了，现在每个人都有几乎免费而且无限量的机器智能。

问题在于缺少应用。

我要做一个大量使用本地 AI 的应用！

整个开发过程和 Claude 3.5 合作完成，3.5 天之后，Snapbox 横空出事：

下载链接：

https://snapbox.app

Snapbox 最基本的用法是在任意 App 中选中一段内容，按 Alt + Space 快捷键启动 Snapbox ，立即获得来自本地 AI 的回应。

修改会自动触发重新请求，因此叫 Live Reaction.

更高级的用法是可以利用预设的 Prompt ，选中内容之后直接套入特定的 Prompt ，可以实现翻译、查词、找 bug 、改写等各种业务。

一切都在本地完成，完全免费，速度飞快。

推荐 Llama 3.1 8B 和 Gemma 2 2B 这两个模型，16G 内存选前者，8G 选后者。

刚刚更新的 v1.10 支持了包括 Openai, Gemini, Anthropic, Openrouter, Groq 等在内的服务提供商。

[BearD01001]

好强的执行力，已下载体验

[arongpm]

已下载，需要和你学习执行力

[wangshushu]

楼主太强了，能否加我微信一下？ R29vZ2xlTWljcm9zb2Z0

[BearD01001]

不知道是不是我使用方法有问题，更改快捷键后好像不会生效，快捷键无法唤起应用主窗口

[unstop]

@wangshushu 微信不太用，可以 X 私信联系我：dm.new/qqs

[CSGO]

🐂🐸！

[CSGO]

15.0 Beta 版是不是用不了啊。

[unstop]

@BearD01001 确认是一个 bug ， 已经在 v1.9.10 中修复。推荐更新一下。

[unstop]

@CSGO 能用，我就在用 15.0 Beta

[djyde]

8.2MB, electron 用户流下了羡慕的泪水

[djyde]

我用的 16G m1 air, 跑 llama 3.1 还是挺吃资源，会从本来 5G free 变成 1G. 速度大概是一秒两三个字。

这也是为什么我一直想用本地模型但最终还是会回到中心化模型。不知道大家一般用什么配置能流畅使用 llama3.1 这个级别的模型。

[unstop]

@djyde 推荐试试 Gemma 2 2B ，我在 M3 Air 8G 上使用速度很快。

[richangfoo]

横空出事? 出什么事了？

[unstop]

@richangfoo 故意留的错别字，目前只有你☝️一个人发现

[djyde]

@unstop 确实快，但是幻觉也严重。看来要发掘一些适合小模型的使用场景

[yb2313]

@djyde #10 快使用 tauri, 还能做移动端

[djyde]

@yb2313 风评太差了

[Chad0000]

苹果的模型性能需求不是只有你那个 8B 的六分之一么，有没有人试试效果

[yb2313]

@djyde #17 ??诶, 完全没有听说过, 网上搜了一下也没有搜出来这个风评太差了,给个地址我看看

[kaxiu]

的确飞快！

[YsHaNg]

@Chad0000 afm 没开源出来 on-device 是个不到 3b 的模型 按照公测评价实际不咋样 苹果自己评分对比 op 这两个是胜的 https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

[john990]

楼主可以分享下使用 Claude 技巧吗？为什么我和他沟通好几次才能完成一个小功能…

[unstop]

@john990 也没有什么技巧，大概就是两点：1. 描述需求要准确到细节，2. 提供相关的上下文。

[joejiang]

👍

[gebiwanger]

nice 。后续还会有更多有价值的迭代更新吗？

git4all 这样的 app 也可以快速下载开源模型，叠加 RAG 文档训练，开启本地 server 。

这些开源模型都需要比较大的内存，服务器上跑跑还可以，但质量还是不行。
本地的话，还是得上 gpt 和 claude ，但是又不开源。

so ，这个方向价值的局限性，看起来还是很大。

[unstop]

@gebiwanger 刚刚更新 v1.10 支持了远程服务商

[tomdddd]

楼主之前有开发这个桌面端 app 的经验么，求问下技术栈是啥

[quainter]

@unstop 去 X 上搜

[fcten]

@unstop 选择 custom endpoint 填写相关信息后，使用时提示 An error occurred ，是哪里不对？我尝试了一下阿里云百炼的 api

[unstop]

@fcten Custom Endpoint 目前仅支持 Openai 兼容的 API

[weilongs]

下载下载,看起来还不错的样子.

[xing7673]

@djyde #11 m1max 32g 内存，输出字符和网页版差不多，基本可用。但是非常后悔为什么当时不再多加一点钱上 64g ，这样就可以跑主流 70b q4 的模型了

[Neo18761]

直接下载 Ollama 就可以呀

[xing7673]

@xing7673 忘了说了，用的模型是 gemma2:27b

[fcten]

@unstop 我用的是 openai 的兼容 api ，直接用 OpenAI Python SDK 调用是没问题的。主要是没有错误提示，也不知道为啥

[unstop]

@fcten 配置为 https://dashscope.aliyuncs.com/compatible-mode/v1 理论上应该可以，我测试了其他的 Openai 兼容接口是好用的。

[xing7673]

看起来目前的需求 raycast 都能够覆盖到，op 加油

[jackple]

模型文件是下载到哪里了呢?

[jackple]

找到了, 在~/.ollama/models

[mitoop]

An error occurred. Please try again. 这是为什么

[mitoop]

@mitoop 找到问题了 Model 选择之后 还要再点一下 😂

[LaughingCat]

牛啊

[ropon]

有 intel 芯片的包么？非常想体验下

[rubbishmod]

想请问程序内置了 ollama 吗？还是说需要本地自己下载 ollama

[viiii]

行动力满满, 点赞~

顺便问一下, 按照你这样的深度使用来说, GPT4 和 Claud3.5 相比, 辅助开发(也许是人辅助 AI,哈哈), 哪个更强更实用一些?

[yazoox]

好像很厉害的样子...... 点赞！

[ccc00]

请问怎么加到访达 - 应用程序里面