V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  slowgen  ›  全部回复第 2 页 / 共 28 页
回复总数  553
1  2  3  4  5  6  7  8  9  10 ... 28  
2025 年 11 月 20 日
回复了 crocoBaby 创建的主题 Local LLM 折腾了一晚上大模型,索然无味
5060 太丐了,全新也掩盖不了丐的事实,你这个就像“新买了一个 500MB 容量的托管虚拟主机然后部署了一个 WordPress ,玩了一下主题和插件之后索然无味”,能怪 WordPress 太弱吗?
2025 年 11 月 3 日
回复了 zungmou 创建的主题 互联网 虎嗅网被撤销了证书
通配符证书被吊销,那大概率是和测试环境证书共用一个证书,然后被喜欢用 GitHub 做笔记的猪队友把测试环境配置打包下来放笔记里,然后被扫描到了
管理后台首选 amis ,基本上都是在改 json 文件
2025 年 10 月 14 日
回复了 lileyzhao 创建的主题 程序员 奔 4 的.NET 老兵,想深入 AI 大模型方向,但很迷茫
卖课流永不过时
2025 年 10 月 14 日
回复了 xkwdm 创建的主题 Node.js 删除 node_modules 文件夹非常耗时
可以用华硕的 RAMDisk https://dlcdnets.asus.com/pub/ASUS/mb/14Utilities/ASUS_RAMDisk_V2.03.00_for_Windows_10_64-bit.zip (有 Referer 校验,需要地址栏输入打开)
把内存分出来当硬盘,结合 WSL1 在里面使用 rm -rf 删除,超快
2025 年 10 月 12 日
回复了 YanSeven 创建的主题 浏览器 Zen 浏览器疑似内存占用有点高啊
应该是 Firefox 的锅,我最近用 Firefox 开发者版内存泄露了,开游戏经常被杀一开始还以为是游戏的问题,后面检查了内存占用才惊觉是有一个没关 Firefox 吃了六十多 G 内存,Firefox 里的页面也很正常就几个 Github 的项目
2025 年 10 月 6 日
回复了 guin 创建的主题 程序员 感觉前端自学后端是不是还是从 Java 开始学比较好?
跟着这个 roadmap 走就行了 https://roadmap.sh/backend?r=backend-beginner ,最多加个消息队列 RabbitMQ 和搜索引擎 Elasticsearch ,非要去 java 屎里淘金干啥…首选 node 和 go ,选对已经成功一半了。

目标是“软件工程师”而不是“x 语言程序员”,先掌握更多的后端架构知识才是正确的道路。
很多时候做技术方案不是越多越好,一股脑做加法的都是菜得抠脚的人,你看 java 那些课程觉得人家内容多,我看过去还觉得是一开始方向错了只能引入更多的蹩脚方案来弥补,疯狂堆屎山。做减法才有技术含量。

我搜了下你那些充电桩、AI 、网约车课程,给你理一理里面内容:

充电桩:
SpringBoot3:正常的 web 框架,没啥特别的;
MQTT:RabbitMQ 加插件;
WebSocket:node 、go 更擅长,甚至 deno 和 bun 在标准库里都实现好了;
Netty:就是 JavaScript 在 async/await 之前的回调地狱的时代那套东西;
时序数据库:PostgreSQL 装个 TimescaleDB 插件搞定;
Protobuf:好坏参半的 RPC ,复杂度增加很多,真要用你还得考虑很多东西,不如纯 http 调用接口,最多加个 Dapr 在中间;

AI 课:
LangChain4j:一个库,你用 LlamaIndex.TS 就得了;
RAG:LlamaIndex 里就有,3 行代码的事 https://developers.llamaindex.ai/typescript/framework/modules/rag/chat_engine/ ,原理在 https://github.com/run-llama/llama_index/blob/81d4b871143ddd4a7cb90333a3d103fbb1f269c5/llama-index-core/llama_index/core/prompts/chat_prompts.py#L21 这 15 行代码,说白了就是拆分问题里可以搜的东西,搜出来相关内容再 rerank ,然后拼接成字符串贴在上下文里,又回到了 Elasticsearch 或者 PostgreSQL 的 pgvector ,其实难点在召回高质量内容,和 java 没啥关系;
记忆: https://developers.llamaindex.ai/typescript/framework/modules/data/memory/#configuring-memory-for-an-agent 有效代码不到 20 行…还是字符串拼接;
tools + MCP: https://developers.llamaindex.ai/typescript/framework/modules/agents/tool/#tool-function 有效代码加起来不到 50 行…

AI 课:和 java 有点关系但不多,算是一个 API Caller 加点项目设计吧,这也能水 13 小时课程,看得我也想去卖课了……

网约车课:
SpringCloud 微服务体系:有 k8s 之后没它什么事,也就 java 存量项目在用,真正要学的是 k8s 这套体系,结合你的代码正确的跑在 k8s 上面。

要是会打一个极简的 docker 镜像然后自己在云厂商的容器服务/serverless 里跑起来再配置一个网关入口你已经超越 98%的同行了。要是在云厂商通过界面操作点点点配置好弹性伸缩你已经超越 99%同行了。此时一部分 java 还在解决容器太大启动太慢和内存占用太高的问题,一部分 java 在看某屎山动态线程池方案想办法给自己的服务从 50 并发优化到 100 并发,而你在喷云厂商为啥我 1 核 512MB 内存的容器明明能抗三五千并发,你的共享型 API 网关并发额度才给到我 500 。

要是框架选了 honojs 然后部署到 cloudflare worker 你就已经超越 99.5%的同行了,你的应用现在已经打不死了,能打死你的是下游扛不住的各种组件和你的账单。

AI 写代码正确性最高的语言:
Go (语法简陋、特性少、概念少、标准库质量高,已经被 AI 学透了,从 30B 到 1000B 级别的 AI 写出来都差不多,反正遇事不决可以让 AI 当场搓一个库给你)
JavaScript/TypeScript(高质量代码库多,毕竟前端娱乐圈一言不合开个 NPM 仓库,9 行代码的 is-odd 都要搞一个包,还写一堆测试代码和 lint ,产能超强,喜欢追新,AI 容易学到新内容);
Python (高质量代码库多,但是异步生态垃垮所以高质量异步代码少,AI 写同步代码还行,写异步代码能力差)

你在 groq 里创建个免费 api key ,选个 gpt-oss-120b (速度接近 500token/s )或者 kimi-k2-instruct-0905(速度 220token/s),用来写这 3 个语言正确率都能有 95%甚至更高,你看都来不及,何苦去用 java 呢,限制你的只有你的后端体系知识,因为每个 AI 给的方案可能都不一样,你需要判断这“上中下策”里哪一个才是“上策”,所以按照最开始的 roadmap 打好基础才是正道。
2025 年 9 月 19 日
回复了 wh469012917 创建的主题 程序员 Swoole 下的 Hyeprf 框架,现在的维护计划怎么样?
现在只是为当时的选择还债而已,5 年前就应该迁移到 go 了,再不济迁移到 nodejs 也好过继续 php 。
你现在迁移到 go 有个好处就是 AI 写 go 的能力几乎是溢出的,比其它语言准确性高很多,在 AI 加持下迁移应该很快
2025 年 9 月 19 日
回复了 PilgrimSun 创建的主题 Solana 关于我买和卖 v 币的说明
哈哈,来点代币,打赏有价值的帖子还挺有意思
2025 年 9 月 16 日
回复了 wenkgin 创建的主题 Local LLM AI 本地化部署的方式
@mewking 也不能说写伪代码,正常提需求是可以的,举个例子
https://chat.qwen.ai/s/e80b06a7-f08b-4c10-b556-ab71b158a0b1?fev=0.0.208 30B 参数写的

https://chat.qwen.ai/s/1a84cca6-4818-43fc-a131-24b48bbc7d41?fev=0.0.208 80B 参数写的

https://yuanbao.tencent.com/bot/app/share/chat/Ua8dLAdHJBHj 671B 参数写的,还开了推理

几乎没差别,但是你把问题换成其它编程语言看看?
https://chat.qwen.ai/s/0d258b03-a808-415b-8523-a76b33ba27a9?fev=0.0.208

这里一下用 3 个模型同时回答,只有 480B 的 Qwen-Coder 意识到高性能要用 asyncio ,写出来的代码能跑,但是也有 2 个语法问题:finally 代码块里的变量作用域不对。
2025 年 9 月 16 日
回复了 wenkgin 创建的主题 Local LLM AI 本地化部署的方式
@mewking 如果跑 Qwen3-Next-80B-A3B 的 int8 ,单 96G DDR5 6400 确实够了,但是这个系列分推理和非推理模型,我日常是 2 个模型都会常驻的,如果你也像我一样操作那 96G 内存就不太够。

但是如果你仔细观察 Qwen3-Next-80B-A3B-Thinking 的跑分,会发现它比 Qwen3-30B-A3B-2507-Thinking 提升也不到 10%……估计你手头现有硬件都能跑了。

这些跑分提升不到 10%是什么概念?我最近用这些模型来测编程能力,发现了一个很有趣的现象,理论上大模型现在写 python 、javascript 能力最好,但是 golang 因为关键字就 25 个,特性也少足够简陋,所以 Qwen3 这 30B 级别的模型写出来的 golang 代码居然和更大更顶级的模型差距非常小,准确度超级高
2025 年 9 月 16 日
回复了 wenkgin 创建的主题 Local LLM AI 本地化部署的方式
@mewking 22B 的 Q8 量化加上 KV Cache ,32G 显存还真不一定放得下,你可以用这个 https://smcleod.net/vram-estimator/ 算一下。带宽的话叠加不了,一般是计算分层,Q4 量化推理速度都不一定能到 30 ,我肉眼看 https://github.com/intel/ipex-llm/blob/main/docs/mddocs/Quickstart/flashmoe_quickstart.md 这里的 gif 估摸着单卡速度也就 12token/s 的样子,这个配置还是跑新出的 Qwen3-Next-80B-A3B 系列实在,和 235B 的百分比差距很小了
2025 年 9 月 16 日
回复了 Ketteiron 创建的主题 TypeScript TypeScript5.9,仿佛走出草原来到了现代社会
没切 deno 前确实有 zod 类型推导延迟这个问题,webstorm 更加严重根本反应不过来类型已经变更了……
2025 年 9 月 15 日
回复了 Sirius8 创建的主题 程序员 长时间不关电脑网速下降
@shuimugan 进入“控制面板 > 电源选项 > 更改计划设置 > 更改高级电源设置”,找到“无线适配器设置 > 电源保存模式”,将其从“最大省电”改为“最大性能”
2025 年 9 月 15 日
回复了 Sirius8 创建的主题 程序员 长时间不关电脑网速下降
感觉前几天就看到过这种案例,案例好像就是联想,解决方案是电源策略里面找一个和无线网卡相关的改掉大概是持续高性能,别节能就解决了。如果是插网线的话可能是扁线的锅
2025 年 9 月 15 日
回复了 guansixu 创建的主题 生活 今天第一天骑车上班,坚持一个月看能瘦多少
注意戴好头盔,配好前后灯。
我每个月用山地车骑河边路 500~800 公里的骑行量,匀速 22 公里,心率控制在 130~140 ,单次骑行 2~5 小时。骑行一年了,也就前半年控制饮食的时候掉了 6 斤,然后爱吃什么就吃什么,体重也没什么增长,比较稳定了。
我把我的情况和 AI 对话了之后,它建议单次骑行最好控制在 2 小时以内(否则骑行时要注意碳水和蛋白质补给,不然开始分解肌肉),加上力量训练效果更好
这种工具永远架不住有猪队友把生产的 token 等敏感信息放进去,肯定要用本地化的。
https://www.postman.com/trust/security/ postman 的安全都做到这个程度了,你搜漏洞和安全事件还是有,更何况官网连安全策略都没披露的,攻击者的最爱。
2025 年 9 月 13 日
回复了 wenkgin 创建的主题 Local LLM AI 本地化部署的方式
@wenkgin 内存小小,带宽小小,只能找 [激活参数 < 5B] 的模型的 4bit 量化了。

Qwen3-Next-80B-A3B 系列、Qwen3-30B-A3B-2507 系列、ERNIE-4.5-21B-A3B-Thinking 、SmallThinker-21BA3B-Instruct 这些都能在低配置玩,里面的 A3B 的意思就是激活的参数只有 3B ,4bit 量化后 DDR4-3200 双通道的带宽 50GB/s 左右也能跑个 15token/s 左右(单人勉强用),像锐龙 AI Max+ 395 的 256GB/s 的内存带宽就能跑个 55token/s 左右。

其实本地模型现在已经很能打了,从 Mixtral-8x7B 开始打 ChatGPT3.5 的时候 MoE 架构模型应该成为主流,可惜国内一直没怎么跟,直到 DeepSeek V2.5 V3 R1 这些出来国内才跟进大搞 MoE 模型,今年出的模型都是 MoE 为主的了。

而且模型越大提升的能力分数并不是线性增加的,关注现在的模型跑分就能得出结论,就像前几天的 Qwen3-Max-Preview ,1000B 的参数,比自家 Qwen3-235B-A22B-2507 多了 765B ,这个差距差不多能塞一个 DeepSeek + gpt-oss-120b 了,然而性能提升连 10%都没有,所以现在选模型有点像玩游戏选个甜品卡那样,根据你的任务难度和硬件选一个合适的模型(你的任务里跑分高的)就行了。

你这个硬件看起来像是个笔记本带个小显存的 N 卡,模型从上面 A3B 里挑一个,部署方案首选 https://github.com/kvcache-ai/ktransformers (合理分配好模型活跃的专家到 GPU 跑得快点),次选 LM Studio 这种傻瓜式部署方案
2025 年 9 月 9 日
回复了 funcman 创建的主题 云计算 ECS 如果是流量计费,是否能做到完全防止流量攻击?
人口换轻量应用服务器呗,200MB 峰值带宽
1  2  3  4  5  6  7  8  9  10 ... 28  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2501 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 04:45 · PVG 12:45 · LAX 21:45 · JFK 00:45
♥ Do have faith in what you're doing.