yangyaofei

@Livid #4 哦, qwq llama 肯定是不行的, 前者是尽量 CoT 会输出很多中间过程, llama 个代都对中文支持很不好, 我想说的是比如 qwen2.5-instruct 这种非 coder 模型. 如果显存够的话, 65B 的 4bit 量化模型性能很不错的

生成原文没有的词挺正常的, 毕竟生成模型, 而且也不一定影响结果的正确, 想避免的话可以 prompt 加入用原文的词的设定, 想进一步控制的话, 可能性能就下降很多了(比如前面的 Guided 方式也可以实现)

21 小时 0 分钟前

回复了 Livid 创建的主题 › V2EX 站点状态 › 20241230 - vLLM + Qwen2.5-Coder-32B-Instruct 驱动的新的标签系统

可以用 guided 参数让模型输出固定格式的内容 https://docs.vllm.ai/en/latest/usage/structured_outputs.html, 在加上两部输出(先输出标签格式随意, 输出内容用 LLM 再格式化为 json), 可以获得很好的效果, 当然 prompt 和模型够强够好一部也没问题.

还有, 我好奇为啥用 coder

42 天前

回复了 Koril 创建的主题 › 程序员 › 关于 SpringBoot 中的并发请求外部接口的需求解惑

如果不想把程序写很大(MQ + 消费者之类的), 直接请求进来存数据库, 对应某个字段为任务是否执行, 然后 scheduler 去找没有执行的数据, 执行并把结果添上, scheduler 后面想加多少线程就随意了.

其实就是相当于用数据库直接当 mq 用, 前台请求只是插入挺简单的速度回很快

56 天前

回复了 jackwang123 创建的主题 › 投资 › 30 万存款应该如何理财？本人存款大概 30 万，目前大部分放在余额宝，不到 5 万放在基金和股票了，不会炒股，都是瞎买的，也没盈利。能不能推荐一下科学点的理财方式或者思路，把收益放大？不能投太多精力，还是稳健型为主

定投黄金 ETF 吧, (长期持有联结 A 就行)

美元还没有个定数建议等等看看, 相信沪深股市可以沪深 300 定投

建议直接支付宝买就行, 反正差不太多

57 天前

回复了 VERT1GO 创建的主题 › JetBrains › 购买个人版 jetbrains IDE，有什么优惠可以用吗？

别去中国官网, 把位置调到比如日本, 现在汇率比较好, 还能省不少,我看邮件明年日本也要涨价

60 天前

回复了 DigitaIOcean 创建的主题 › 电动汽车 › 纯讨论，国内车的动能回收是否就是单踏板模式？危险点在哪里

动能回收和单踏板不是绑定关系, 单踏板可以实现动能回收,但是不是所有的动能回收都是单踏板.

动能回收一般(除了特斯拉这种)都是用的 CRBS, 在踩踏刹车的时候也会启动动能回收, 且和踩踏形成相关, 并在动能回收不能提供足够的制动力的时候增加物理刹车.

也就是说, 为了动能回收而做成单踏板是逻辑不顺的, 应该是为了在省钱的情况下实现动能回收, 才做成单踏板.

67 天前

回复了 feather12315 创建的主题 › 投资 › 聊聊央行的那三个政策吧

@feather12315 #48 谢谢, 我证券账号都没有,微操玩不来太占用精力, 就 ETF 就够了, 我去看看 300 和 A500 啥区别

67 天前

回复了 feather12315 创建的主题 › 投资 › 聊聊央行的那三个政策吧

@shijingshijing #46 谢谢解答,去定投点沪深 300ETF 了

68 天前

回复了 feather12315 创建的主题 › 投资 › 聊聊央行的那三个政策吧

@feather12315 #44 是, 弄懂了之后感觉这个方法挺牛逼的, 就是感觉有点小心谨慎抠抠搜搜的

» yangyaofei 创建的更多回复