这是一个创建于 3071 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在用 python 抓取知乎的问题日志, 大概就是用 requests 库得到内容后再用 xpath 提取链接, 请求内容的时候用了代理. 刚才报错, 一看提取的链接里居然有广告...求问这是什么状况?
 |
1
est 2015-12-04 20:13:34 +08:00
requests 默认自动 302 301 跳转。被运营商劫持之类第九回跳转到广告什么的。
|
 |
2
binux 2015-12-04 20:26:03 +08:00
1. 有的代理,特别是免费代理,会往页面里插东西,或者整个返回的就是广告
2. xpath 写得太泛, 当获得不是真正的知乎页面的时候, 也会匹配到别的东西. |
 |
3
leiz 2015-12-04 20:58:20 +08:00
过滤一下不就完了
|
Select Language