17 条回复 • 2024-12-07 18:26:21 +08:00
 |
1
lostbirds OP 来个专业大佬。请教一下
|
 |
2
zeusho871 4 天前
用国外 vps 请求就不会慢
|
 |
4
Abbeyok 4 天前
@lostbirds 说明你需要一个虚拟网卡级别的 vpn ，比如 clash 安装服务模式-开启 TUN 、快连直接支持虚拟网卡、QuickQ 开[TUN]专家(旧版)、nekoray 开 TUN ，都可以
|
 |
5
donaldturinglee 4 天前
用过 smartproxy 和 webshare 吗?
|
|
6
lostbirds OP @donaldturinglee 用过 smartproxy 。这个好一点。3s 返回。我目标平台是日本的
|
 |
8
NoOneNoBody 4 天前
实时项目？不然爬虫不需理会快慢，对方能承受多少（风控）才是重点
|
|
9
donaldturinglee 4 天前
@lostbirds 如果是做实时的,最好是对接 api. 如果只是需要数据集的话速度并不是指标
|
 |
10
shiguang 4 天前
我用的 smartproxy 住宅代理感觉很好啊 （题外话 我最近也在搞爬虫 要搞的网站刚上了 Cloudflare 不知道 op 是否知道绕开 Cloudflare 的方案呢 可付费解决🐶）
|
 |
11
defaw 4 天前
要么把程序放海外跑，要么就嵌套代理，自己找个机场做第一层，然后你的爬虫代理是第二层
|
|
12
NoOneNoBody 4 天前  1
@shiguang #10
单 ip 5 秒盾没办法，需要多 ip 且每个 ip 用较长的间隔 |
|
13
shiguang 4 天前
@NoOneNoBody ip 的话 可以去 smartproxy 用数据中心代理 我看 smartproxy 的也不贵 30 刀起步 50GB 池里的 ip 随便用
昨天朋友给我推了一个 capsolver 我看官网号称可以越过 Cloudflare 照着配置了一下 不太行 老哥有成熟的方案吗🤔 |
 |
14
x86 4 天前
海外数据海外机爬呀，你不考虑出口延迟的吗
|
|
15
NoOneNoBody 4 天前
@shiguang #13
没有，我之前搜了一圈，试过几个别人提供的方案都不行，最后还是拉长了间隔才能过 我不是职业爬虫，只是爬一些个人爱好的数据集，不急，爬到就行(我称为“自动浏览”，😅)，也不想搞到人家服务器响应迟缓结果我还爬不到 所以不舍得花钱，也不需要太快，扔后台单线程慢慢跑就是了，上个月爬一个站 11 万 page 非实时信息，断断续续用了 5 天 职业爬虫应该上集群去爬，且用 ip 池，并发，只要客户标识每个不同，不搞死 |
Select Language