@Livid #164 实在是抱歉，目前已经关闭了历史主题的爬取，以后也不会开启

goAccess 中的日志
/api/topic/info?task=undefined 为当前浏览主题的数据提交，不产生额外请求
/api/topic/info?task=[:id] 为历史主题的数据提交，会产生额外的请求
/api/topic/task 为获取历史主题的爬取任务，这个是我们可以控制的，并且请求很多，但是大量返回的是空任务（之前 70% 现在停止了），而且另外的 30% 也要取决于是否有较长时间未更新数据的主题

@Livid #156 逻辑并不是这样的，是用户浏览一个主题的行为才会有后续的爬取操作，如果用户一直不浏览主题那就不会有任何额外的请求产生（是指爬取数据的请求，签到、检查未读消息除外），用户浏览的主题多才会导致爬取的内容多，然后历史主题的下发是用户侧请求服务器的，目前关闭的是历史主题的下发。

然后这个功能同样是拥有独立的开关的，用户关闭 vDaily 后，既不会有推荐主题也不会有额外的爬取动作

@Livid #157 因为我是今天凌晨才知道这个事，在半小时前（十点左右）已经停止了额外的请求。

扩展会获取当前浏览主题的信息（不会发起另外的请求），也会为了获取历史主题的信息发出额外请求（ 30% 的情况）,按扩展的活跃用户数量，之前每天估计有几万条请求在访问历史主题（现在已经停止）

@Xianmua 好的，不早了早点休息吧。
分布式爬虫如果带来了什么问题，明天早上有时间我也会另外开贴说明的，谢谢你提出的问题，我认为开源项目有监督是在帮助项目做得更好。

@Xianmua #149 因为不单单有周报，还有全站的排行，历史数据会随机提取一些到推荐内，所以历史数据更新会比较慢，最近的数据更新会快一些。
看你的语气倒是有不少怨气，大可不必，代码是开源的、项目也没有任何盈利，好好沟通可以把误会说清楚。

@Xianmua #145 如果你是想把事情弄清楚，这个帖子热度很高 append 其实是很好的解决方案，也节约很多大家的时间，谢谢。
明天早上有空的话，我也会在周报内再次说明一下。

@Livid 实在不好意思，我在做这个功能之前也有考虑过会不会增加 V 站的压力，活跃度这块由于定时检查签到、未读消息每天已经固定有一定量的访问了（活跃度黑得很快），所以最开始我们向 sov2ex 的作者要了一份他爬取的存量数据，但是由于通过接口获取的数据没有主题和回复的数据信息（ up 、点击量、收藏数、感谢数等）所以还是需要通过爬虫爬取 HTML 解析，由于我们扩展的用户量似乎不是很大 1W+ 所以在爬完历史数据后，我们不断的下调了爬取的任务数，感觉对 V 站的用户应该不会造成很大的影响，爬取的任务是浏览主题时第 1 、2 、3 分钟的时候如果标签页还打开时，每次会有 30% 的概率额外爬取一个信息，也就是浏览一个主题，最多会额外增加 3 个 get 请求。

很早以前煎蛋的站长也吐槽过很多新人拿煎蛋网练手造成了额外的压力，我们做这个小站点的初心很简单，平时比较忙又不想错过一些精彩的内容，所以爬爬主题做做排行，如果站长觉得这样确实不妥，我们也可以下线此站，谢谢。

@HFX3389 @ljsh093 @lran9527

@Xianmua 感觉帖子内关系的用户还是不少的，如果 OP 愿意 append 一下我回复的楼层那可能更好，谢谢了。

@dingwen07 #130
@dxppp #131

我认为是个误会，请看 https://v2ex.com/t/939486?p=2#r_13072133 已经后续欢迎跟进

不好意思，我不是在线不回复（目前在外，家里电脑安装了扩展会定时获取未读消息就会一直在线了），刚知道消息，还是朋友告知的，没想到发酵这么厉害，针对上面的一些疑惑逐一解答：

1. 无论是扩展还是后端的代码都是开源的，先看代码再说嘛，如果要做偷鸡摸头的事情，其实没必要把代码开源、日志开放是吧？也写过几年代码，没有这么笨，如果有什么不舒服地方石锤就好，然后删掉扩展进行投诉。

2. 做这个事情的初衷很简单，vDaily 并不是今年才做的项目，扩展也默默服务了很多年，至少一直有个重构的想法，今年才抽出时间维护了一下重构了，之前也收到一些朋友咨询建议恢复 vDaily 。

3. 活跃度的进度条容易变黑是否和 vDaily 功能有关系？有一定的关系，但是主要的原因在于每几分钟查看一次未读消息，每次访问都会记录一点点活跃度，vDaily 获取的信息主要是当前浏览的主题基本内容（不含 cookie ，不含任何与用户相关的信息欢迎查看源码以及解压线上任何一个版本的扩展来质疑）获取完当前后可能会随机爬取几个主题，概率为 30%（ https://github.com/sciooga/v2ex-plus-backend/blob/master/fastapi/tools.py#L68 ）。

4. 是否会操作用户 cookie ？#140 举例的地方看得懂 python 的同学可以看看源码，是周报机器人自动登录后保存周报机器人需要的 cookie 为未来每周发帖使用的，无法操作前端，再次强调一下哈，前端没有操作任何 cookie 的地方，无法翻页的问题以及 502 的问题，大概率不是扩展导致的，也有很多没安装扩展的同学遇到了翻页 502 ，早两天还和站长沟通了这个情况 https://www.v2ex.com/t/937337

5. vDaily 加入扩展是 2.0.3 版本的时候，我看了下确实没有通知到大家这个功能是默认开启的，实在不好意思，但是通过上面的解释应该能明白这个功能只能爬取 v 站帖子的基础信息（没办法爬取站外的信息），同时也没有操作 cookie （需要操作 cookie 扩展就可以完成不需要后端支持），而且当时主要的目的是侧栏增加最近热门及高赞帖子的随机列表。对应的通知： https://github.com/sciooga/v2ex-plus/commit/2936025bf45b7b4b64a890a2e39443140b103f9a

6. goAccess 的访问是否是我们删除的？没有，这个服务确实不是很稳定时不时还需要手动启动用过的小伙伴应该知道，不想给大家看，连地址都不需要展示出来，欢迎监督。

7. 有小伙伴提到扩展是否允许自动化行为？这个也不好意思哈，开发这个扩展的时候我还在读书当时没注意这些功能是否违反规定，自动化的功能主要有：签到、检查新回复、检查关注者新主题（上了 cf ，2.0 无法实现，移除了），爬虫的工能是在浏览的时候提交当前页面的信息以及获取几个超过一定时间未更新的主题爬取更新（ 30% 以内的概率）

目前在外地哈，后面会多留意消息，有什么疑问还可以 @ 我，我尽快回复，最后有朋友提到吃饭的问题，其实这个项目除了六年前有过几个月捐助二维码收入了几百块钱给了我很大的鼓励之外再也没有收入了，vDaily 的服务器也是热心朋友赞助的，我正在创业，时间似乎更加需要投入到非盈利的事情上，所以更新慢了很多，今年才抽出时间迭代，所以一切看源码不用质疑太多。

declarativeNetRequest 权限规则只针对微博的域名增加了 referer: https://weibo.com 目的是让老主题的微博图片能正常显示，https://github.com/sciooga/v2ex-plus/blob/master/rules.json

另外注入到页面的 js 由于没有设置 run_at 参数，默认为 document_idle 相当于 window.onload 事件之后才会执行，所以没办法在页面加载完成之前进行 30x

之前我也遇到过一次这种情况，不清除 cookie 是能长时间稳定复现的，下次遇到了可以配合你查找下问题

@Livid #10 站长你好，我推测是主题的第一页上了 CDN 或某种缓存直接返回所以正常，但是第二页可能有些逻辑判断陷入了死循环，而且这个问题我只出现过一次怀疑和当时活跃度已经黑条了有关系，建议看看活跃度黑条后的跳转逻辑

@di94sh #12 并不是的，你单独清除 cookie 也一样会正常，扩展也没有操作 cookie 的行为

你好，我看了下是指 V2EX Plus 扩展吗？扩展是第三方的非官方扩展，您提到的按钮已经在后续某个版本增加上了，同时最新版也增加了楼中楼模式

@shakoon 感觉是这些用户已经被 V 站 block 了，所以用户都已经不存在了，但是你这边还有他们的屏蔽记录，可以在 view-source:https://v2ex.com/ 搜索一下有个 blocked 的数组，里面是用户 id

@coolpace #282 https://i.imgur.com/PHGmtee.jpg 我是说这个 3D 头像哦

楼主，你 Github 的 3D 头像是怎么制作的？刚好在找相关的工具