这个页面为什么抓取不到？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1721 天前的主题，其中的信息可能已经有所发展或是发生改变。

这个：
https://www.amd.com/en/products/graphics/radeon-rx-590
浏览器正常打开没问题。
但是，我用 wget, php 的 curl, nodejs 的 crawl 都获取不到数据，全都超时。这是咋回事？

5 条回复 • 2020-04-03 15:10:16 +08:00

b821025551b

2020-04-03 14:26:12 +08:00

curl 试了一下表示并没有问题。

cdlnls

2020-04-03 14:29:41 +08:00 via iPhone

f12 -> Network -> 找到那个请求 -> copy -> Copy as cURL

stabc

2020-04-03 14:34:08 +08:00

@cdlnls 试过了，还是不行

263

2020-04-03 14:45:42 +08:00

curl -A 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36' 'https://www.amd.com/en/products/graphics/radeon-rx-590'

stabc

2020-04-03 15:10:16 +08:00

@263 说了一下是『 access denied 』。我用我自己 copy 的 curl 的话，在 mac 的 terminal 下可以抓到，但是在 linux 下超时。在 php 和 js 代码里全超时。应该是他们做了防抓取，但是不知道是哪个地方不对……