我看到有一些第三方服务商是可以监测到微博或者 twitter 的用户的点赞，评论或者是转发等社交行为。理论上，社交平台那么多用户，每一个用户都可能实时发送一些数据或者做一些互动。这些服务商是如何精准的监测到的呢？
目前来看，肯定是可以实现的，从技术上来说，咨询 v 友几个问题
- 有哪些实现方案，有没有一些开源的 code 可以参考
- 实现这个方案的过程中有没有要注意的坑
- 发散一下，类似的其他社交平台例如 tg ，discord ，脸书等呢？
头脑发热想到这个问题了，对这个问题的思考和研究都停留在比较浅的层次，欢迎批评，讨论。
欢迎大家把这个话题当做一个开放话题讨论下。
12 条回复 • 2024-12-25 18:26:53 +08:00
 |
1
SunsetShimmer 1 天前
公开的就轮询。
|
 |
2
GeekGao 1 天前
你这问题用人民币能解决
|
 |
3
mytsing520 1 天前
微博、X 都有开发者平台
|
 |
4
busier 1 天前 via iPhone
国外网站技术太差了 爬虫一下就给爬走数据了
你看咱们的 分分钟触发风控 |
 |
5
MYDB 1 天前
很多平台都有开发者 api
比如 discord 可以参考 https://discord.com/developers/docs/intro 然后回归问题： 1. 基本上都有知名的对应开源代码，可以让 ai 告诉你 2. 好多开发者 api 没人维护，或者文档太老 如果平台就不开放 api 硬要玩封闭，只能爬的话，难度很大，一般都是访问特殊的接口（还得是容易绕过鉴权的），运气好的话服务器会返回一些基本的信息，比如返回的 json 里可能包含了点赞数、播放数；运气差只能买其他人的付费接口了，信息差就是钱啊！ |
 |
6
longlonglanguage 1 天前
其实 twitter 也有风控系统，所以想要无所欲为的爬取是不现实的。更稳定的就是买他们的接口，twitter 的叫开发者平台，微博的是开发者平台-微服务。
|
 |
7
wunonglin 1 天前
|
 |
8
wogogoing 1 天前  1
我司之前有 twitter 的一键三连的引流数据统计需求，有过一段时间的研究，分享给你：
1.twitter 有现成的开放 API ，但是限流低的离谱，而且不同接口限流阈值不同，有些接口还只对会员开放，几乎没法用。开通高级会员可以提高阈值，会员等级越要阈值也随着提升，但是要扫描十几万一键三连这种级别的数据，几乎也是做不到的。 2.业内有个 discord 机器人很牛，几乎所有的项目都用了它来打通 discord 与 twitter 的数据，这个机器人叫 engage ，官方文档在这里： https://docs.engages.io 。 3.还有些其他的服务提供商提供聚合好的接口服务，但是当初我们测了一遍稳定性达不到我们需要的生产级别，不过它们的阈值相对官方的高级会员都高。我自己猜测是接口后端聚合的大量爬虫轮询，前端接口通过一定算法调度，不知道对不对，知道的大佬可以分享下。 |
 |
9
halobugTurbo 1 天前
1 、服务商的数据应该是有延迟的。
2 、实现：拿到匹配的数据后，T-1 做数据对比。 3 、使用钞能力 API 就能拿到数据。 |
 |
11
milukun 1 天前
人家都有开放平台可以买 API 的
而且有意思的是，微博可以买到的商业接口有一个是“获取某人发表过的历史评论” 就是说你给到一个用户的 uid ，就能拉取到他在任何微博下面发表的评论，完全社死的一个接口 你去拉你对象的可能就能找到 ta 出轨的证据  但是 ta 完全还不知情 |
 |
12
unco020511 17 小时 50 分钟前
基本都有开放平台 api,但是都有一些限制,可能要结合爬虫
|
Select Language