上 https 的接口怎么爬取了？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2017 天前的主题，其中的信息可能已经有所发展或是发生改变。

比如豆瓣 APP 的接口，这种上证书的接口怎么爬取了？有人试过吗

10 条回复 • 2018-11-02 10:42:03 +08:00

2018-10-27 19:39:10 +08:00

有区别嘛，只要没有 ssl-pinning

t6attack

2018-10-27 19:49:55 +08:00

带上证书或者忽略证书错误。其他都一样。
比如 curl 有三个相关参数。CURLOPT_CAINFO、CURLOPT_SSL_VERIFYPEER、CURLOPT_SSL_VERIFYHOST。

jugelizi

2018-10-27 19:59:02 +08:00

基本的搜索都不会用？

leoleoasd

2018-10-27 21:25:12 +08:00

他说的是抓包吧..

tetsai

2018-10-28 09:58:36 +08:00

立即 mitmproxy

rupert

2018-10-28 11:35:32 +08:00 via iPhone

@tetsai 这个可以

Marven

2018-10-28 20:00:05 +08:00

charles,手机配置一下证书，就能抓到 https 的包了

rupert

2018-10-29 15:04:34 +08:00 via iPhone

@Marven 这样只能抓包不能爬取

l4ever

2018-10-31 01:43:55 +08:00 via iPhone

https 照爬啊，上 python
urllib3 上星期还爬了某 https 几十万数据下来。

rupert

2018-11-02 10:42:03 +08:00

好吧，cUrl 加上参数 --insecure 就可以了，不知道这是什么原理