如何在短时间内扫描完成一个很大的监控列表呢？

[pythonfan]

在做一个比价的小项目，希望每个用户可以设置自己关注的商品（对应一个后台请求地址，每一个地址又配置了多个平台的监控扫描地址，这个管理员配置），比如设置一个价格区间，系统能够自动扫描，当有商品进入价格区间时，自动给用户发消息提醒。
例如，有三个用户分别设置了对 a ， b ， c 商品的监控。将三条监控地址放入队列，定时 5 分钟一次的去查询，然后有信息就给用户推送信息提醒。但是，当用户量大的时候，比如有 10000 个以上监控列表，这时可能整个队列扫描完一次操作都将超过 5 分钟了。。。然而用户对这个时效性又是有要求的，
不能将扫描时间调的更大了，或者说扫描时间要缩短到一分钟一次甚至 30 秒（对于每个监控地址而言），这种情况应该用怎么解决好呢？

[c742435]

分布式？多搞几台机器扫

[publicID001]

阿里云 阿里云 阿里云
组集群 组集群 组集群
（重要的事情说三次

[9hills]

如果单机能搞定，就压 Queue ，多进程 /多线程去扫
单机搞不定，就压消息队列，多机器去扫。原理类似

Python 可以用 rq

[Tianpu]

监控很多，需要队列吧

然后分配权重，关注多的刷新频率高，少的低

设置最高，最低，根据权重分配抓取时间间隔？

觉得半小时甚至半天更新一次都可以吧，一分钟更新一次价格不是很合理需求吧

[Comdex]

我想我在做的股票价格监控的话 30 秒查一次也不为过

[pythonfan]

@9hills 多谢，我去看看 rq ，前期先用单机吧

[pythonfan]

@Tianpu 一分钟甚至更短，主要是满足一些抢单的需求。。。

[pythonfan]

@Comdex 股票价格这种是查的哪里？有没有官方接口的？

[dingyaguang117]

我觉得楼主需要担心的是 购物平台会不会封你

代理应该是要的

[Comdex]

@pythonfan 新浪的 JS 接口