LaTero

关于去拒绝微调（ finetune ）可以看 nous research 的这篇文章： https://arxiv.org/pdf/2408.11857

最简单的办法就是换模型啊，OpenAI 和 Anthropic 的用不了，那不用就是了…Grok ，Command R+，Deepseek 就是从一开始就基本不带这些对齐。
另外你的问题我有点没看懂。“但是做这种训练的话,必然要掺杂基础的训练内容的,这些内容不可能做到完全筛选出伦理合规性的东西的”是指这些公司也要担心伦理问题吗？那答案就是他们根本不 care……比如楼上说的 NovelAI 就根本不管你写的是啥。

@shuimugan 不过个人感觉 hermes 3 405b 还是强不少的，“事实”这种东西确实不管多强的模型都爱扯淡，但大的模型还体现在“智商”高，比如你编了一些物品/概念/机制然后要 AI 也来编几个，区别就打了。瑟瑟应用在这也没法发，就只能游戏举个例子，hermes 能像模像样地编出有配合和复杂机制的 rogue like 游戏物品，而 command r+就只能编出“攻击力+5”这种没什么意思的。

回楼主：隐私方面的话，你可以去看他们的 tos 和隐私政策，都是很友好的，没有额外审查（“额外”指除去模型自带的或提供商要求的。比如 claude 会要求他们审查，但不会比 claude 本身的审查更多，而且 claude 还有 self-moderated 版本，就是由 claude 的模型自己来做，比直接用 claude 网页版都更少审查），默认也不会记录你写了什么。你可以主动开启匿名记录并获取 1%的折扣，但是这是完全可选的。你甚至可以用一次性邮箱注册+加密货币支付。至于封号，从他们 discord 记录和网站上的统计，拿这家做瑟瑟的是很多的。而且我就这么和你说吧，如果我写的东西都不会被封，你也不需要担心……而速度快（ command r+ 60 token/s ）选项多是实打实的。

@shuimugan Command R+居然是 open weights ！用了这么久我都不知道，他们官网也没写

刚才去看了下 hermes 的模型卡，fp16 要超过 800GB 的显存，而 fp8“仅需”430GB ，这样的模型，在 openrouter100 万个输入 token 才 1.79 美元……
本地的话最多也就 int4 量化 70B 了，但是效果真的不是很好。最近的 70B 跑分王 qwen2.5 和英伟达的 Nemotron 我都试过，真的就只是跑分王。尤其是 Nemotron ，它高分主要是输出长，不切实际的跑分就喜欢输出长的，然而对人类来说就是啰嗦、废话多。Qwen 经常英语中文乱混，我用英语的时候它喜欢夹几个汉字，我用中文它又整几个英文单词出来了，很无语。这俩还是有审查的，需要找越狱 prompt ，越狱也不是一定管用的。
另外还有两个我个人用的多一点的模型是 WizardLM 和 DolphinLM ，都是基于 Mistral 的 MoE 模型，优点是很便宜。Wizard 有一点点审查，一个简单的系统 prompt 就搞定了，Dolphin 无审查。

玩 silly tavern ，建议用 openrouter ，silly tavern 支持他家的 api ，而且是按量付费，用多少付多少，还能匿名用 claude/gpt 不怕封号，多好，搞什么本地。模型建议 hermes 3 405b （基本是 llama 3 405b 的去审查版）或 command r+（无审查的商用模型，个人感觉效果其实不是很好，但是非英语会比 hermes 好一些。社区微调一般只会英语）。效果真的把那些本地 13b 小模型吊着打，还快。本地搞一堆非常低的量化也就勉勉强强跑个 70b ，速度还不行，而且你本地买两张 24g 的卡能在 openrouter 玩多久……

@pyre 如果是国产的 400IU 800IU 是很难过量，但是我买的 doctor's best 一粒就是 5000IU ，吃多了还是有风险的。而且人和人体质不同，口服中毒风险个体差异巨大，有条件还是去医院测一测血羟维生素 D 浓度。

你确定真的需要吃吗？去医院测过吗？如果是 B 、C 之类的还好，水溶性很难超量，但是你要是 A 、D 狂吃过量后果很严重。