V2EX › makerbi 的所有回复 › 第 1 页 / 共 3 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3

❮

❯

55 天前

回复了 csulyb 创建的主题 › 程序员 › 现在微创企业 ai 应用都是如何部署的

1. 微调的目的是什么？是否必须微调？没有经验的情况下微调只会耗费大量资源而且降低模型本身的能力。能用提示词搞定的就优先用提示词。如果要求是能问答企业内部知识的场景，考虑 RAG 是否可以完成？
2. 考虑并发会到多少？并发数直接影响到你需要的显卡资源数量。按我观察的经验来看，大部分企业员工在应用 AI 这件事情上尝鲜的程度多于真正日常使用的程度，也就是说部署一个并发数在个位数的服务就完全绰绰有余了。
3. 如果不是严格要求私有化部署的情况下，使用公有服务是最优选择。
4. PDF 总结也有很多种做法，显存资源不够的情况下对应的就是上下文长度较小，那就分块总结再合并总结，也能完成任务。

56 天前

回复了 makerbi 创建的主题 › Python › 简单改造了一下阿里云的 oss2 模块，底层改用 httpx，支持异步和类型提示

@CassianVale 估计是打包的问题，可以直接用 aliyun-oss-x 替代试试，默认是不需要 aliyunsdkcore 的。

110 天前

回复了 AlanBrian 创建的主题 › Python › 请教下有什么方案可以在服务器上把 html 转成图片

Python 的话 Playwright 就可以，我是和你完全一样的需求，需要渲染 ECharts 图表，部署在阿里云函数，每次调用平均用时 4 秒的样子。

123 天前

回复了 xiaoli1999 创建的主题 › 程序员 › [求助] 求一个低价文生图模型 api 🙏

https://siliconflow.cn/zh-cn/pricing
目前免费

173 天前

回复了 xueling 创建的主题 › 程序员 › coze 要收费了，还有什么替代方案推荐吗?

自荐一下我一年前就开源的 AI Agent + 工作流产品： https://github.com/AndersonBY/vector-vein

249 天前

回复了 Pters 创建的主题 › Python › 新手请问我这样处理文件上传对不对

你自己的服务器管理大文件？一般来说 GB 级了用 OSS 更方便吧

252 天前

回复了 frostming 创建的主题 › Python › 有一个包管理器叫 PDM，已经四年多了

两年前开始我的项目都用 PDM 管理了，支持一个

265 天前

回复了 sqlman 创建的主题 › Python › 公司数据流转平台如何从 0 开始搭建？

如果没时间或者没兴趣学前端的话，可以考虑 AMIS （ https://baidu.github.io/amis/zh-CN/docs/index ），就只是取个数展示啥的完全够用了。

271 天前

回复了 nbagigi 创建的主题 › Python › pywebview 在 Windows 系统，模板无法载入 js,谁遇见过有解决的方法吗

之前遇到过一个类似的问题，windows 下无法正常识别 javascript 类型的文件，需要在代码里手动配置：

import mimetypes

mimetypes.add_type("application/javascript", ".js")

284 天前

回复了 Greysonhyh 创建的主题 › Python › 广州招聘 | AI 应用 Python 后端工程师 | 8 - 13k

没看出来比特鹰具体是干啥的

289 天前

回复了 ronman 创建的主题 › Google › 收到 Gemini 1.5 Pro 资格了

@noahlias 还真是，没通知，再去发现已经有权限了

298 天前

回复了 PiersSoCool 创建的主题 › 程序员 › 用 ai 写代码是不是该换种方式了

@947347 是的，但是目前大部分 LLM 特别是开源的 LLM 还是以 32k 为主，而且如果要自己部署生产环境的开源 LLM ，考虑硬件配置的话，32k 现阶段比较合适。

298 天前

回复了 PiersSoCool 创建的主题 › 程序员 › 用 ai 写代码是不是该换种方式了

大部分的 LLM 上下文长度也就 32k ，导致很难把一个完整的中型项目或者小型项目+文档放到上下文里，也就无从谈起跨文件理解架构和函数调用之类的需求。所以目前比较期待 Google 的 1M 上下文长度 Gemini 1.5 Pro 来实现完整理解代码项目。根据一些内测用户的反馈确实能够达到放一个完整代码项目进去然后实现新功能。

299 天前

回复了 Jimmyisme 创建的主题 › 程序员 › 开机的时候自动用 vscode 打开了一段代码。ChatGPT 说是病毒？？

我已经 report 了，Github 刚刚给我回复处理了

301 天前

回复了 dtla 创建的主题 › 程序员 › 一道 Java 八股，检测 AI 智商

单纯从一道题目来看大语言模型的性能还是有失偏颇，评测肯定是从多个维度多方面评价的。单一题目考核最容易出现的问题是数据泄露的问题，即原题目本身出现在了模型训练数据里，这是目前很多 LLM 榜单存在的问题（当然也有对应的检测和新的考核方案）。

对于这道题目本身，对比了几个模型的输出，除了 OpenAI 外，ChatGLM 和 Qwen 看起来都还行。
https://vectorvein.com/public/workflow-run-record/04ef976b300848b9b0318dc233b8f29d

我倾向于还是训练数据的问题，不完全能代表模型能力本身。目前一个热点研究也是在小模型上增加更多的训练数据达到更好的效果。

310 天前

回复了 wxd21020 创建的主题 › Local LLM › 配置小主机跑大模型

如果只是关键字提取、文本摘要这种的需求的话用 1~2B 的模型就可以了，llama.cpp 量化部署，纯 CPU 跑就行，内存不要太小都没问题。

338 天前

回复了 iktor 创建的主题 › Python › 请教大佬：安装 github 第三方库的时候出现 UnicodeDecodeError: 'gbk' codec can't decode..........如何解决？

如果是 Windows 下长期做开发的话，可以考虑打开全局 utf-8 ，能避免大部分编码问题 https://i.imgur.com/hXNuMV8.jpeg

338 天前

回复了 iktor 创建的主题 › Python › 请教大佬：安装 github 第三方库的时候出现 UnicodeDecodeError: 'gbk' codec can't decode..........如何解决？

如果是 Windows 下长期做开发的话，可以考虑打开全局 utf-8 ，能避免大部分编码问题

![PixPin_2024-01-20_14-37-56.jpg]( https://sapic.makerb.pro/static/upload/andersonby/PixPin_2024-01-20_14-37-56.jpg)

1 2 3

❮

❯