我看到有一些第三方服务商是可以监测到微博或者 twitter 的用户的点赞,评论或者是转发等社交行为。理论上,社交平台那么多用户,每一个用户都可能实时发送一些数据或者做一些互动。这些服务商是如何精准的监测到的呢?
目前来看,肯定是可以实现的,从技术上来说,咨询 v 友几个问题
头脑发热想到这个问题了,对这个问题的思考和研究都停留在比较浅的层次,欢迎批评,讨论。
欢迎大家把这个话题当做一个开放话题讨论下。
1
SunsetShimmer 14 小时 4 分钟前
公开的就轮询。
|
2
GeekGao 14 小时 2 分钟前
你这问题用人民币能解决
|
3
mytsing520 13 小时 49 分钟前
微博、X 都有开发者平台
|
4
busier 13 小时 47 分钟前 via iPhone
国外网站技术太差了 爬虫一下就给爬走数据了
你看咱们的 分分钟触发风控 |
5
MYDB 13 小时 24 分钟前
很多平台都有开发者 api
比如 discord 可以参考 https://discord.com/developers/docs/intro 然后回归问题: 1. 基本上都有知名的对应开源代码,可以让 ai 告诉你 2. 好多开发者 api 没人维护,或者文档太老 如果平台就不开放 api 硬要玩封闭,只能爬的话,难度很大,一般都是访问特殊的接口(还得是容易绕过鉴权的),运气好的话服务器会返回一些基本的信息,比如返回的 json 里可能包含了点赞数、播放数;运气差只能买其他人的付费接口了,信息差就是钱啊! |
6
longlonglanguage 13 小时 3 分钟前
其实 twitter 也有风控系统,所以想要无所欲为的爬取是不现实的。更稳定的就是买他们的接口,twitter 的叫开发者平台,微博的是开发者平台-微服务。
|
7
wunonglin 11 小时 34 分钟前
|
8
wogogoing 11 小时 24 分钟前 1
我司之前有 twitter 的一键三连的引流数据统计需求,有过一段时间的研究,分享给你:
1.twitter 有现成的开放 API ,但是限流低的离谱,而且不同接口限流阈值不同,有些接口还只对会员开放,几乎没法用。开通高级会员可以提高阈值,会员等级越要阈值也随着提升,但是要扫描十几万一键三连这种级别的数据,几乎也是做不到的。 2.业内有个 discord 机器人很牛,几乎所有的项目都用了它来打通 discord 与 twitter 的数据,这个机器人叫 engage ,官方文档在这里: https://docs.engages.io 。 3.还有些其他的服务提供商提供聚合好的接口服务,但是当初我们测了一遍稳定性达不到我们需要的生产级别,不过它们的阈值相对官方的高级会员都高。我自己猜测是接口后端聚合的大量爬虫轮询,前端接口通过一定算法调度,不知道对不对,知道的大佬可以分享下。 |