@xiaoshu 1c2g 能到这个 QPS ，挺接近 http 库裸跑 hello world 性能了，达到这个性能应该是 https 流量在上层卸载了（印象中腾讯云分享过服务器装 ssl 加速卡来优化），加上服务器的 cpu 指令集优化，网关层自身业务应该不重。
腾讯云那个 api 网关有用过，印象中扩展都是通过 serverless 的，这样看应该是把 cpu 计算都尽可能抛出去了，响应结果压缩这块应该也不是这一层做的吧？

这个网关现在部署在什么规模的集群上？最小的那个节点能抗多大的并发，占用多少资源？

休眠还能不断网，假寐是吧，下一步是不是可以研发休眠时候跑下载？

多人一机一般是 Aster + Sandboxie 绕开不能多开的软件检测，Aster 价格大概 200 多人民币

直接暴露在公网最容易挨打了，要暴露的话最起码加个 HTTP 基本认证 (Basic access authentication)，可以大幅度减少产品自身爆 0day 后被日穿的风险。

如果是小团队内部使用的话又没什么运维能力的话，可以上 cloudflare 的 Zero Trust （本质上就是一个带鉴权的内网穿透），添加一个 tunnel ，再配个认证，比如先跳转 github 的授权页面拿到邮箱，判断邮箱在 cloudflare 配置的列表里了才能访问，这样就兼顾了安全和便捷，除非浏览器插件在偷 cookie 和自己人有内鬼，不然很难被日穿。

vmware 跑 gnome 一直是卡出屎的，你换 hyper-v + drm 倒是会流畅不少，我以前参考这个帖子 https://www.v2ex.com/t/838071 玩过一把。
另一个思路是 hyper-v + GPU-PV 的方式来把显卡也分给虚拟机，之前很多人用这个玩法结合 Easy-GPU-PV 项目做多人一机来整活，不过这个方案我只在虚拟机里也是 windows 的时候试过，虚拟机里也是 linux 的情况就没试过了。

很古早的特性,我大概在安卓 8 的时候想把手机当服务器时就发现了

5900x 去 bios 开 pbo eco 95w 模式，性能又好温度又低，我平时写代码+一堆浏览器窗口+几个虚拟机也就 45w 左右。加几百上 5950x 更爽，你搜 5950x+pbo eco 看评测就知道了

规模太小了上限注定就那样，等 70B 以上规模的发布再看。我在等 https://www.phind.com/blog/introducing-phind-70b 这个开源

这不是 seo 基本功吗？第一天学前端就会了啊

为什么不让小孩去沉迷骑马和滑雪，是因为没钱吗？
为什么不学学游戏策划教育他们小孩的方式？

你要找的是不是 ubuntu 的 lxd

外部的不管，自己团队的坚持开拼写检查，碰到写错的坚决改，碰到离谱的还要拿出来鞭尸。妈的以前有个功能在开发文档里叫去重，有个同事查了下翻译然后字段写了个 go_heavy ，震惊我一整年，被我长期拿来做反面例子，教育他们一定要看 IDE 的告警，提交前要保证所有告警消失。

你这个不叫本地文件过大，这个叫本地内存太小。我以前都是在公司丢一台 128G 内存台式机干点数据处理的脏活累活，你这个场景分分钟就搞定了

这个预算，可以看看托管的价格 https://www.together.ai/pricing 不贵。


1：不要指望单张 4090 跑大模型可以秒天秒地，实际上爆显存之后就是个弟中弟。2 张 24G 显存的卡凑 48G 也只能跑个 Mixtral-8x7B 量化版 ，这几天 CodeLlama-70b 和 Qwen1.5-72B-Chat 刚发布，你要不要跑跑？
2：不要指望 N 卡那个显存不够使用内存的回退机制，那个只会越跑越慢慢慢慢慢，还不如直接爆了告诉你显存不够，重新划分模型的卸载层数。
3：不要指望存粹的 CPU+大内存机器跑大模型可以秒显卡，内存的带宽真的是比显存小太太太太太多了。参考 https://www.reddit.com/r/LocalLLaMA/comments/14q4d0a/cpu_ram_only_speeds_on_65b/ 和 https://www.reddit.com/r/LocalLLaMA/comments/13upwrl/cpu_only_performance/
4：没有 nvlink 纯靠 pcie 通讯的多卡方案，卡约多损耗越大，不要指望多卡的性能是线性增长的。参考 https://www.reddit.com/r/LocalLLaMA/comments/190f1c1/specs_and_gotchas_from_playing_with_an_llm_rig/
5：如果你觉得 4090 太贵，想买 2 张 7900xtx 组成 48G 显存的机器，那么可以参考这个帖子的速度对比 https://www.reddit.com/r/LocalLLaMA/comments/191srof/amd_radeon_7900_xtxtx_inference_performance/
6：如果执意要在这预算内买全新机器跑大模型，可以等等 https://github.com/SJTU-IPADS/PowerInfer 这个项目支持更多的模型和显卡。
7：mac 的 ultra 系列 + 大内存很适合跑大模型，还可以通过命令解除默认显存只给用 80%总容量的限制，增加显存的分配，参考 https://www.reddit.com/r/LocalLLaMA/comments/186phti/m1m2m3_increase_vram_allocation_with_sudo_sysctl/

换个思路，写扩展就是写一小段函数，一小段函数在云平台里比较成熟的方案就是 serverless 。那么可以直接定好几个接口格式，用户喜欢用什么语言写就用什么语言写，每个事件前后就是一个 http 请求打过去，根据接口响应来决定后面怎么处理。

当用户在各种平台讨论并贴出一段测试用的脚本时，你无法预估平台会对代码做什么格式化处理，如果是 python 脚本这种强缩进相关的，随便一个缩进错乱就搞得脚本出错了。我已经见过好多例新手因为缩进问题搞出的低级 bug ，你这种半成品编辑面板，就是让用户在外面写好之后再复制进去的，更容易出问题了。

攻击方就喜欢你这种思想，请看下面 2 个漏洞案例：
https://www.yiiframework.com/news/168/releasing-yii-2-0-15-and-database-extensions-with-security-fixes
https://github.com/yiisoft/yii2/issues/19755