基于 chatGPT 的文章阅读助手 # myGPTReader

[bmpidev2019]

开源地址： https://github.com/madawei2699/myGPTReader

背景： https://twitter.com/madawei2699/status/1632246398308724737

花了几天时间开发了基于 gpt_index 与 chatGPT 的 slack bot ，功能就如这个帖子里展示的，只不过是在 slack 中交互。如果想体验的话可以加入这个 slack channel： https://join.slack.com/t/bmpidev/shared_invite/zt-1r38f90n5-bOp~RZqoMYiYMOtmKZsbcw

目前实现的功能：

1. 可发送多个链接（支持普通页面与 RSS 链接），让 chatGPT 基于这些文章内容进行总结、分析处理；
2. 会自动对链接进行爬取，如果常规爬取不了的站点会启用无头浏览器代理爬取；
3. slack bot 会自动在问题下的 thread 内异步回复答案；
4. 不包含链接的内容直接发给 chatGPT 处理；

未来的进一步规划：

1. 定时自动总结每日订阅的邮件列表或文章信息源；
2. 支持多种 prompt 模版做自定义的调优；
3. 可能会支持语音交互；

彩蛋：此项目是与 chatGPT 一块结对开发的，我把交互的 prompt 过程也记录下来了，感兴趣的可围观： https://github.com/madawei2699/myGPTReader/blob/main/docs/chatGPT/CDDR.md

近期更新的功能：

1 、通过 slash 命令展示多种 prompt 模版，并能够根据消息上下文进行交互回复；
2 、每日热榜新闻定时推送，并与 chatGPT 一块读新闻；
3 、可以读取整部电子书（ epub 、pdf 、docx 、txt 、markdown ），与 chatGPT 一块读书；
4 、多国语音交互，可通过语音（英文、汉语、德语与日语）与 chatGPT 聊天或读新闻。

slack bot 体验频道： https://join.slack.com/t/bmpidev/shared_invite/zt-1rk3md1lz-Fy9Id7ZgmSsdIO2pZaPYxg

最新 slack🔗https://slack-redirect.i365.tech/

YouTube 直播回放：基于 chatGPT 的应用开发
https://youtube.com/live/XZIogwFU7jE?feature=share

[gogogo1203]

可以把 以前的旧信息提前生成成 vector 存起来，然后用 embeding, 省去 4000token 的麻烦。

[ggmood]

已 star

[u79Ua0lLHcF7PBAg]

赞一个。之前看过楼主的 blog ，很牛逼。

[conge]

与 chatGPT 一块结对开发这件事，对我触动很大。我以前只是问他一些具体的问题，但从来没想过让它从头到尾帮我写代码！

开启了新思路啊！！

大写的服！

[haoxuexiaoyao]

支持爬取文档么 比如 python3.11 文档

[bmpidev2019]

@haoxuexiaoyao 可以的，你甚至可以吧一本书的内容用 embedding 处理，目前这个 bot 只是处理单页面，当然也可以一次发送多个 url 让它把这些页面内容全部喂给 chatGPT 去处理。

[lopssh]

这个可以！

[handuo]

感谢！平时用 discord bot,可以也移植到 discord 上去

[kongkongye]

@bmpidev2019 我有个疑问，内容喂了后，问他某个具体的 xxx ，那是先把与 xxx 有关的行按相关程度提取出来，然后当作上下文来问 chatgpt ，但如果只是问整篇文章 /整本书写了什么，那提取的是什么东西呢？

[kongkongye]

结对开发，是通过一个 chatgpt 会话实现的吗？还是多个 chatgpt 会话？
如果是用 api ，那每次都把之前聊天内容传回去，账单要爆炸。
而且一些小的东西，你非要让 chatgpt 来回答与修正，这等待的时间太浪费，反而会降低效率。

[bmpidev2019]

@handuo 这也可以，主要是费用的问题，这个适合私有部署，否则人多了账单爆炸，不过增加一个 bot 也容易

[bmpidev2019]

@kongkongye 一个 task 一个会话完成，任务驱动的，实际效率比自己写还要快，因为对语法和生态掌握的不熟练，所以实现交给 chatgpt 反而很快能完成。

[bmpidev2019]

@kongkongye 这是 gpt_index 库利用 openai 提供的 embedding 模型完成的，具体你可以看背景提供的链接介绍，并不是把所有内容一股脑喂给模型，那样真账单爆炸了

[bugschn]

@bmpidev2019 大佬，请问使用 gpt_index 阅读源码是怎样实现的？

[hyperzlib]

@bmpidev2019 如果需要大量 embedding ，其实可以考虑一下本地运行 BERT 做词向量转换

[hyperzlib]

@bmpidev2019 BERT 也支持句向量，可以试试 chinese-bert-wwm

[bmpidev2019]

@bugschn 官方就有 demo ，本文背景里的推文也有我的阅读代码测试可以看看

[bmpidev2019]

@hyperzlib 不知道这个模型效果和 openai 的相比怎么样，因为少量的话 openai 的 embedding 也不贵，大约五百多万个 token 是 2 美元，这大概是一个小型 repo 的源码大小。

[lovestudykid]

gpt_index 是怎么实现的呢？这些 embedding 不需要每次都喂给 gpt 吗？长度不超标？

[ziyuan]

这个不错啊。。

[gogogo1203]

@lovestudykid 针对开源库 doc 用 chatgpt 来做应答， 现在最主流的方式。1. 把所有 doc 用 chatgpt 转化成 pgvector, 存到数据库。2. 用户搜索 query ，用 chatgpt 转化成 pgvector. 3. 用 chatgpt 返回的 query vector 在数据库里搜索相似 4. 把相关的内容作为 context 上传到 chatgpt.

[lovestudykid]

@gogogo1203 这种我了解过，看了下文档，的确还是这样的方式。更好的方式应该是用自己的数据做一下 fine tune 吧

[gogogo1203]

相关性自己可以调啊. 给 AI 喂什么， 以什么 prompt 来喂，出什么结果，AI 给的结果怎么提纯再给到用户。 这些都是 prompt engineers 需要做的事。

[NeedforV2]

有些牛 B

[hyperzlib]

@gogogo1203 补充一下，elasticsearch 也适合用来做句向量索引

[bmpidev2019]

最近更新了一大波功能，见附言更新👆

[metalvest]

好像爬取链接的时候钻得不够深


@myGPTReader
http://www.livingneighborhoods.org/ 请用中文讲解这个网站中有关土地诊断的部分

抱歉，我只能使用英语进行回答。该网站的土地诊断部分提供了一些工具和资源，帮助人们评估和改善他们所居住的社区的土地使用情况。这些工具包括土地利用调查表、土地利用图、土地利用规划和设计指南等。此外，该网站还提供了一些案例研究和实践经验，以帮助人们更好地理解和应用土地诊断的概念和方法。总之，该网站旨在促进可持续的社区发展和土地利用规划。


@myGPTReader
http://www.livingneighborhoods.org/packets/diagnosis-phase.htm 请用中文总结这个网页

这个网页介绍了一个建立社区的生成代码，强调了维护整体性和修复受损地区的重要性。第二阶段是对土地的诊断，包括寻找整体性、介绍诊断概念、识别整体结构、发现宝贵的地方、修复受损空间、识别中心和潜在中心等。通过精确地记录和定位这些地方，可以为建立新的整体性社区奠定基础。该网页还提供了开发者的信息和理论背景。


给网站首页，然后问里面的内容给出的回答和给里面链接的网页得到的回答完全不一样

[bmpidev2019]

@metalvest 对某些网页来说可能有这个问题，但爬多级页面也有成本方面的考虑

[goodniuniu]

此链接不再有效
要加入此工作区，你需要向最初邀请你的人员请求一个新链接。

[psyer]

starred

[bmpidev2019]

@goodniuniu 更新了，看 append

[m4d3bug]

老实说我没懂怎么部署，请大佬明示

[haoxuexiaoyao]

https://join.slack.com/t/bmpidev/shared_invite/zt-1r38f90n5-bOp~RZqoMYiYMOtmKZsbcw
这个失效了 怎么加入

[LuXiaoR]

有权限问题，作者怎么才能开通呢

[bmpidev2019]

@goodniuniu 链接已更新，还是之前的链接，但是重定向到最新的了

[bmpidev2019]

@haoxuexiaoyao 重新试试

[bmpidev2019]

@m4d3bug 周末 YouTube 直播演示，文档没时间细写

[bmpidev2019]

@LuXiaoR 看 channel 里置顶有介绍，在申请 channel 里去找 bot 申请，自动下放权限

[goodniuniu]

@bmpidev2019 加入了，谢谢。彩蛋内容很精彩，谢谢分享。请问如何申请开通 PDF 阅读分析功能呢？

[bmpidev2019]

@goodniuniu slack channel 置顶有申请方式，找 bot 自动给权限

[haoxuexiaoyao]

@bmpidev2019 此链接不再有效
要加入此工作区，你需要向最初邀请你的人员请求一个新链接。

[bmpidev2019]

@haoxuexiaoyao 更新了

[m4d3bug]

@bmpidev2019 坐等个直播回放