@meik2333 我发现，我爬取了一批视频，总是有几个下载报 403，然而我手动打开这个视频是正常的。 我有 headers 中 random UA 和 X-Forwarded-For，不知道是不是因为下载太多被封了

@meik2333 if 里边的是 Scrapy 的代码，我没有改，但是经过你的提醒，我终于发现我确实看不到 log，因为我配置的 loglevel 是 warn，多谢

什么公司呀，需要测试吗？

@insert000 我司招开发，你有意向不？

@zwzmzd 学习了，我去看看

python 感兴趣，不知道有啥项目

@dendi009 重写岂不是得复制粘贴代码之后，再修改，他的方法有很多 import，我懒得挨个 import 了

@mainlong 没懂

@wdytoya 然后呢？我只是问一下加班，至于？

pymongo 好像不这么用吧......

@15399905591 我代理是全局的

想问问北京这边加班多吗？

@15399905591 但是命令行中其他命令并不会走代理啊

@Vauman 我问得是有没有测试岗位........

我当时在新加坡的时候，用新加坡的手机号注册的新加坡的 paypal，然后绑定的国内的 VISA，过了阿里云的验证

@wind3110991

我这个推测应该不准，我修改了配置文件，改成了 ip 域名，都是 3 个线程，依然内存会爆

@wind3110991 我自己分析发现，减少并发数量可以降低内存，推测是由于服务器网速快，所以默认的 16 个线程都能满速下载，然后下载的时候，scrapy 用的 requests 应该设置的 chunked 比较大