chatgpt 出来这么久了，看到的都是卖号，或者直接用 api 开发个啥，就没人想微调，针对垂直行业做定制化的 chatgpt?

[diehe]

据我对各行各业的观察，这个需求其实很大的。

最好是，把整个微调过程，做成无需写代码的方式。 让他们只要简单上传，自己行业的专业数据资料，就能得到一个全能的二十四小时在线的行业专家。

并且这个本行业的 chatgpt 还可以做成 api 形式，对外收费。岂不美哉？ 当然这是后话！

有懂这方面技术的大佬，愿意一起来弄这个事么？

[bt7vip]

和电脑出现早期需要打字员一样的状况，不是不想做，是除了少部分人，其他人没有调整模型的能力或者技术，有是一回事，会用又是一回事，况且算力也是一个限制。

[siriulx]

你是说这个么 https://beta.character.ai/
这个之前拿了 150M 的投资

[Procumbens]

https://openai.com/blog/chatgpt-plugins

[diehe]

@bt7vip 算力就是显卡噻，这个不是问题。主要是调整模型的技术，感觉懂的人不多啊！

[diehe]

@siriulx 不是，他这个就是角色扮演，我说的是针对企业的。垂直行业，私人定制那种。

[zapper]

现在还没有这个 API 。所以没有，而且哪个掌握核心的公司会随便上传自己的专业数据资料？给人类做慈善吗
说白了未来就是数字分身的天下，创一个自己的分身跟吃饭一样简单。
到时老板们有无数个数字分身替他解决各种奇葩问题。普通打工人会只能做强线下的工作，而普通人的数字分身只能去帮普通人上网对线、买东西吧

最后，你指的应该是泛 AIGC 这个行业，而不是什么 chatgpt 吧

[diehe]

@zapper 这个基于 chatgpt 开源的程序，搭建自己垂直行业的 chatgpt ，然后基于这个去微调，这个数据不至于上传给 chatgpt 吧？

[a302800411]

你说的是 gpt 插件，官方就快上线了。

3.5 的模型压还根不支持微调。

[JensenQian]

官方说要支持插件了
https://openai.com/blog/chatgpt-plugins

[DingDingDang123]

哈哈，这不是说我吗？
我自己开通了 plus 后，发现这东西真麻烦，后来在 v2 上发贴。
很多 v2 的朋友找我帮忙帮开，其实还是挺有意义。
总要先用起来吧。你说是吧。

我帮忙代开 chat plus, vx 见我之前的贴子。

[kwh]

@zapper 有道理，毕竟 AI 的智慧基于计算机资源。那么一个国家的 AI 那该多么强大？？？

而且 AI 最不怕的就是数据多，可以想象，如果我国有了 AI ，把所有的个人数据输入，分分钟给每个人进行定性，打标签。

而且 AI 多半能取代人工编程，大不了多试几次，而且还可以把问题抛出来，让人工解决 AI 不会的问题，然后 AI 就噌噌噌的把剩余的代码写完。感觉以后在某些编程领域，真人只会成为 AI 编程的附庸。

[zapper]

@diehe 首先，chatgpt 没有开源。目前基于他的程序也就是 API 套壳而已。
而且是联网云计算的，为什么不会上传
然后就是楼主有什么优势？能让大佬跟你合作呢，总不能说你是郭帆吧

[nightwitch]

gpt3.5 以后的模型没开源啊。基础模型没开源的情况下，没法做定制，无非就是提示词不一样，这种有什么好定制的

[yunyuyuan]

@nightwitch OP 可能说的是傻瓜版定制，使用者不需要懂任何计算机技术，翻墙都不会的那种。但是要搞这种服务，首先要目标行业相关的人脉吧，普通程序员的人脉应该不怎么广

[Lanceliel]

楼主以为难点在于微调模型？
整理“行业的专业数据资料”才是最困难&成本最高的部分。
有能力搞定这部分的话，也未必非得基于 ChatGPT 了：
https://doi.org/10.48550/arXiv.2303.17564

[thinszx]

1. 没那么多相关数据
2. 没那么多计算资源
按照之前 gpt3 一类的模型成本来看，单单训练一次就要烧掉几百万美元，而且这个参数量，想要达到让模型有很好的泛化性，训练数据相比普通的模型要多出来几百倍估计都不止，如果只是想要在原始的模型上微调是可能的，但是原始模型没开源，大概率以后也不可能开源了，所以不太可能做到

[Senorsen]

想了想，好像是 Azure

[shaohan0228]

autodesk 要测试的 maya assist 就是用的 Azure 的 openai 服务，算是垂直领域吧

[realpg]

某个无主之地出现了新的金矿，挣钱的要么是巨头，要么是卖铲子的

[SGL]

问得好，但是 GPT3.5 好像没有开源

[ETiV]

OpenAI 提供 fine-tune 接口，也正如 LZ 所想，只需要提供一问一答样式的 JSONL 文件即可。

但 base model 只有 A 、B 、C 、D 四款，调 fine-tune 接口不贵，但是使用价格非常贵 —— Davinci 的使用价格跟 GPT-4 32K 上下文 tokens 的价格一样。

而且可供 fine-tune 的模型不包括 gpt-3.5-turbo 或者 gpt-4 ，也就是说生成质量未必像 ChatGPT 那样好…

然后就是你提到的专业数据资料，有多少是 GPT-4 不知道的呢？

[documentzhangx66]

@diehe

显卡不是问题？你猜猜一台 8 * A100 的服务器，要多少钱。

再猜猜一个这样的系统，要多少台这样的服务器。

再猜猜电费、网费、机房托管费。

[levelworm]

得等 openai 训练好之后，再去私有环境中对私有数据训练。但是的确不好搞，除非是自己做过这个的。

[levelworm]

比如说 A-100 对国内禁用，可能得等阉割版出来了。

[Kumo31]

有的，例如多邻国： https://openai.com/customer-stories/duolingo ，不过感觉定制化程度还是有限

[dangyuluo]

垂直行业定制。。互联网味真浓

[henryhu]

正在做一个 3d 建模的 gpt 应用，让普通设计师（非程序员）也能编程。其实特定领域的 chatgpt 应用有不少尝试，大家都是才刚刚起步

[westoy]

目前感觉还只能作为辅助者， 比如 office 助手、代码生成这些， 需要有一个能把关的

并不能直接对接客户， 比如你要拿来作为一个客服， 可能因为一次无中生有， 你就永远失去这个客户了， 而且成本比起用一个执行复读机操作的人也没优势。

[AeroXi]

你说的微调 finetune 从 chatgpt 开始不提供了，openai 认为没有必要，现在模型的能力只需要提供上下文就有很好的效果
方法就是用 embedding 向量索引，查找相似内容插入 prompt
国外已经非常多这类产品，比如 kapa.ai mendable 都可以接入开发文档生成回答问题的 chatbot

[baobao1270]

模型都没给你，你怎么 fine tuning

[houshuu]

OpenAI API 其实有 Fine-tuning 服务, 只是目前不对 GPT 模型开放罢了.

本来想过针对 Token 试试, 但感觉新的几个 GPT 模型和他提供的 API 也不是一致的, 官网提供的 Token 工具貌似是基于 GPT2 做的. 所以个人感觉 OpenAI 不公布模型原参数的情况下, few-shot 目前阶段是完全做不了的, 要么自研要么等. 提示词的影响终究只有那几千个 Token, GPT4 还没用过, 好像可以多点.

其实也有一年没怎么碰机器学习了, 最近又开始看相关论文学习学习. 数据收集和数据质量是一方面, 目前 OpenAI 和大部队拉开差距的主要是他们能够用很小规模的模型去预测大规模模型训练收敛的情况, 大部分 AI 民工就算能找到数据, 能写出模型, 拉得到算力投资, 可 Loss 估计一训练就飞出太阳系了. 稳定训练是个技术活, 之前不是搞大模型方向的估计够呛.

[outman87]

怎么定制呢？你无法调教它啊。换言之，没法给它投喂大量的行业数据，训练它逐步摸清该行业的模式和运作规则啊

[kkkbbb]

感觉现在遍地都是靠他割韭菜的

[haaro]

GPT 的 Fine-tuning 在微软的 Auzre 上已经有了
https://learn.microsoft.com/en-us/azure/cognitive-services/openai/how-to/fine-tuning

[Biluesgakki]

这个后续 openai 肯定会开放的，就是时间问题，看了上面的链接，gpt 模型都没开放，只能等开放

[vsitebon]

@haaro #32 冷知识，其实 OpenAI 也有接口；但是现在是 ChatGPT 也就是 GPT 3.5 没有 Fine Tuning 接口

[xdzhang]

阿里云之前打过电话，推销相关的比如 ai 的客服啥的。

[sujin190]

@diehe 这个还真是问题，类似的模型想再训练微调可不是随便搞两块显卡就能搞得定的，用云服务价格也是不一般的死贵死贵

[fg990]

@diehe 我不是程序员。楼主的想法我很支持。“最好是，把整个微调过程，做成无需写代码的方式。 让他们只要简单上传，自己行业的专业数据资料，就能得到一个全能的二十四小时在线的行业专家。”就要这个，不用专家级别，做到自然流畅的专业客服就可以。

[fg990]

补充一下，我在一个家电企业从事人力资源工作，同时分管顾客服务工作。

[randyo]

不怕数据泄露可以上传

[diehe]

大佬，虽然技术方面我可能不如你，但是显卡，我还是懂滴，你去闲鱼搜下：叠鹤倒显卡 看看！
a100 说是禁运，其实随便买。我搞显卡的，经常在国外竞拍显卡，大量 a100 ，可以随便拍，只是目前国内，没这么多能消化。或者说，中间的倒爷赚太多了，导致也没什么人想去搞专业卡。比如最近一批 a100 ，80G 的，全新的，国内做专业卡的给我报价七万五一张，而人家竞拍就是九万起，怎么玩？

[diehe]

@Lanceliel 可能你说的对。行业专业数据资料，这个可能更难！

[diehe]

@AeroXi 这个玩意，我试玩了很多，感觉都不咋滴，比如：chatthing.ai chatpdf.com

[diehe]

@vsitebon 难怪了

[diehe]

@zapper 我有钱啊+有显卡啊，够了不？

[Jungeer]

怎样微调 带带弟弟

[karatsuba]

你指的是 embedding ？ 早就有人做了，而且为了数据安全不可能用你的东西的

[tomari]

有的，微软自己就做了很多啊，针对 bing 的 chatgpt （ new bing ），针对 office 的 chatgpt ，针对 teams 的 chatgpt ，等等。

[ggcver]

怎么会没有...
sft,rlhf,rm ，都一直在复现和做垂类。我有朋友都做出场景下微调后的效果了，我也在做
你有显卡？可以互补一下资源？

[diehe]

@karatsuba 给企业做私人制定

[byron]

你说的是这个吗？
https://platform.openai.com/docs/tutorials/web-qa-embeddings

[perfectar]

这块未来肯定需求很多，但是现在 OpenAI 成 closeAI 了，所以国内的一帮 ToB 的都是在摸着石头过河，我们自己也在做垂直领域的迁移适配，难度挺大的。

[pkoukk]

gpt 已经是面向个人消费者的终端产品了，就像手机一样，你说手机没用么？非常有用
但是哪个工厂舍得拿手机当生成工具呢？他们的大部分场景就需要一个可触摸平板点点极其有限的内容即可
手机的通用处理能力他们完全用不上，他们也不愿意为这些用不上的功能付费

另外，垂直领域的“AI”其实不成立，就像 SASS 喊了那么多年也做不成，因为即使是同行业每家的玩法也不同，还是得定制开发。那垂直领域的“AI”怎么训练呢？不同的公司对同一规则的处理流程可能是完全相反的，适配到了最后还是硬编码...

[changhai]

@diehe 有钱有显卡太可以了，绝对的大佬。
能好奇的问一下吗？有多少？

[diehe]

@pkoukk 你这么一说，好像有道理。但是现在企业的数据很多都是机密，不可能直接喂给 chatgpt 。
你说，有没有可能，用他开源的前几个版本，搭建一个私有的，然后投喂自己的数据。这样避免数据泄露，同时能满足自己的需求。

把这整个过程，做成一个软件，在客户本地安装，数据什么的也都在本地。

然后跟 erp 软件一样，按年收费。

[milukun]

微调会有，但是是 openai 选择与你合作，而不是你选择和 openai 合作
这种企业级的合作，比如和老东家微软的 bing 合作
其他的目前还没有看到，但肯定不是申请个 api 或者网上填个表格就开始的这么简单的事情哦

[dudubaba]

有人用代理二次封装，然后充值供国内用户调用，赚麻了好吗，日进万金都是小 case

[garlics]

有比较浅显的应用：
周报生成器
打拳小作文生成器等

[pkoukk]

@diehe 不能的，从目前的成果来看，AI 的智能程度和训练数据集的大小存在极大的关联。
你可以假想他就是个人，一个人起码要经历九年义务教育，才能做一个符合社会要求的工人。
你只给 AI 喂垂直数据，而且是离散度不高的，重复性很强的数据，它会表现的非常智障，它很难理解你说的话的含义。
我曾经做过一些 AI 和模型的工作，范围小，规则强的东西还是写代码最高效、而且更可控。

[diehe]

@pkoukk 哦

[diehe]

@dudubaba 这种打擦边的事，我已经好多年不干了！

[sonix]

@diehe 不是说现在 GPU 很缺吗，为啥国内收的还这么便宜？

[SWALLOWW]

@diehe 大佬，叠鹤倒显卡没搜到...应该搜啥- -

[andyskaura]

@DingDingDang123 #10 能代充值吗

[sunyang]

定制啥？ 电信诈骗功能吗？

[jhdxr]

0. 大的企业不会考虑将数据这么共享给一个不会签 NDA 的第三方（就算你想签企业也未必愿意 /相信，更何况 openai 是不可能签的）
1. 基于大模型做 finetuning （也就是你所想象的给模型喂 domain 数据），和调整 prompt 是两个不同的优化思路。以 GPT3.5/4 的量级，走的是后者的路线。
2. 现在其他已经开源的 LLM ，包括但不限于之前的 GPT3 （或更早的版本）以及最近各个大学企业发布的，效果离 ChatGPT 差距巨大
3. 对 AI 有兴趣的企业，不少（从好多年前起）就有自己的 AI team 。（以我浅薄的认知和见识）做 NLP 的组很大一部分工作就是把别人现成的模型搬过来套在自己数据上试一试，然后选一些还不错的做 finetuning 。效果见仁见智。

把硬件需求的问题放一边，LZ 是哪来的信心，认为自己一个缺乏深度理解 /定制的，可以打败第三点里提到的企业自有 AI team ？

[zzzzzzZ]

先问是不是，再问为什么。
[https://beta.character.ai/]
[https://app.copilothub.co/copilots]
[https://github.com/OptimalScale/LMFlow]
[https://fullpeace.cn/]
[https://video.h5.weibo.cn/1034:4882922419978365/4882922621895977]

[1279990918]

携程国际版已经在做了噢，ota 行业版的 gtp ，不过是和 openai 合作的

[jhdxr]

另外看你 @diehe #41 的回复，你可能手里的确有几张 A100 （毕竟 10 张卡可能就得快 100W 了），但其实这真算不上多少。一台 DGX 就得 8 张卡，你能凑几台？
ChatGPT 算是证明了 LLM 的性能的确与模型大小有关，暴力的确出奇迹。那么别说训练，你猜要几张 A100 （ 80G ）能够跑 GPT4 （将模型用于 predict ）？


@fg990 『最好是，把整个微调过程，做成无需写代码的方式』这个很容易，但假如『微调』一次的成本上百万你能接受吗？如果再告诉你无法承诺『微调』后的结果一定能够变得更好你能接受么？

[anubu]

fine tuning 和 text embedding 会有很大的却别吗？似乎大部分的文档助手、客服助手类 chatbot ，有 text embedding 就可以做到相对专业的协助了。

[pipaseqin]

数据集和标注这层可能才是真正的壁垒。
这个是医疗领域的 AI https://glass.health/ai

[cc666]

没有原始模型
没有原始模型权重数据
没有训练数据
没有训练设备
锅和米和柴火都没有，做个 DER 的饭

[ljpCN]

应该还是有的。

[diehe]

@SWALLOWW 闲鱼收用户！

[diehe]

@sonix 可能真正有能力搞这个的少吧，加之之前并没有禁，估计还有库存。

[diehe]

@anubu 我试了好多，都不咋滴，这个要时间测试才明白！

[diehe]

@jhdxr 如果我想要，多少都有，只是钱够不够的问题。但是话又说回来，钱能解决的事，都不是事！

[c3de3f21]

google ，bing 甚至 baidu ，他们都有数据集

[diehe]

@ljpCN 感谢，我感觉这个博主的想法，比较符合我。我要找他聊聊！

[diehe]

@changhai 有多少，取决于理想愿景有多大！

[diehe]

@jhdxr 大佬，中国还有千千万万的微小企业，我想服务他们。

[diehe]

@milukun 其实国内已经有一家小公司在搞这个了，还拿到高瓴投资了。产品也出来了，我也试用了，还不错。不简单，但是也没你想的难！

[wellqq]

比如把所有法律條例喂给他，然后以后你有法律上的事不用咨询律师，直接问他

[alne]

@kwh 数据才是最麻烦的事儿

[DingDingDang123]

@andyskaura 代充值可以接的，wx 看我之前的帖子

[Daybyedream]

多了去了。。但是最低级的最方便的就是卖号代充呀 你当然见到的最多

[sangleft]

微调方法还是有的。但是 openai 的模型并没有开放啊，ChatGLM 模型参数也是非商业开放。

[sudoy]

我前不久就想做，但是一直没时间

[rpman]

我们在做。

[Macadamia]

https://github.com/project-baize/baize

[findex]

你看抖音+wx+快手直播上，多少人在售卖账号教程收割，把观众当傻子看。这个 wall 收割的是不仅仅是文化差异，而且是认知差异。

[yankebupt]

fact opinion truth lie uncategorized
有懂这方面技术的大佬，愿意一起来弄这个事么？
https://imgur.com/a/TLA8lWN
其实之前就有 AI 实现这个功能了，不过被用来做审核这种不太道德的事情上了……

[yankebupt]

图没出来，补图

[diehe]

@Macadamia 这个不错。

[diehe]

@yankebupt 这个没办法，国情如此。前几天参加了一个大学的网络讲座，主题就是关于 chatgpt 的，我发现国内在追踪研究新事物这块，其实速度是很快的，但有个不好的倾向就是，一个新鲜事物出来，很多教授喜欢研究如何管理，如何合规，这就很中国了！

[permaylau]

别难为 V 站的程序员了，首先是专业的大量数据，其次是没有钱买英伟达 A100 专业显卡，再次是没有“微调”的技术。V 站只是程序员闲聊喷水的地方。

[Chewbacca]

我发现了个非常好用的基于 ChatGPT 的应用，可以说是颠覆性的： http://chat-web.infinities.club/


（狗头保命）

[aliezleft]

有啊,已经有人开课了 https://www.jtthink.com/course?c=25

[hitsmaxft]

微调需要他提供 1. 数据导入和计算资源， 换句话说得是模型的 saas 或者 paas 。目前 openai 并没有提供这样的服务. 或者只提供给了微软或者 github 。