没想到有这么多人回复，统一回复下，说是境外其实不是外国就是中国，澳门科技大学。在犹豫是因为自己本身出身的本科学校不怎么样，在本科学校的实验室大多数情况是属于自己被队友坑，到了工作环境 周围都是大佬，至少我们公司技术部几乎一半以上都是留学背景，30 多个人只有个位数的本科生，在里面学到的东西确实很多很多。另外和澳门科技的老师接触过，希望我去读，并且会提供不错的条件，我感受到这个老师对教育对计算机行业也是很有热情的，包括在深夜都在回复我邮件，但是在我和同被录取的学生的交流中，我感觉他们的技术水平一般，而且大多都是想继续学业而不是对专业，或者说学术方面有热情，跟我本科学校类似。所以十分犹豫，谢谢大家的回复。

简单嘛 上淘宝 5 块钱买个视频跟着看就行了

1 我觉得使用框架的话可以把爬虫高度结构化，后期维护也相当方便。
2 这个在写爬虫原型的时候可以测试下

确定是 send_key 慢？没有使用过 IE,但是印象里 send_key 应该是很快的，尝试下关闭图片加载和 CSS 加载试试

@jyf 老哥 哪个演示站有拿轮廓的接口啊 没找到

@LadyChunsKite 已加

@LadyChunsKite 晕了 确实是这个问题，但是我是企业级的 key 检索 然后再用检索结果去访问另一个接口 虽然访问的是高德不开放的接口 不过我今天只访问了不到 100 次 正常用户都不止 100 次 连 web 端都出问题了 不只是程序 晕。看来之后要挂代理了

现在那些采集器不就是这样吗

公司氛围相关性大一些吧。

首先这是一个爬虫策略的问题，假设 V1 接口返回的是一个 list of ID 那么 V1 接口的访问量会远低于 V2 接口，从稳定性和反-反爬虫的角度来说，我建议 V1,V2 分开处理，即 V1 获取所有商品 ID 并保存在本地后,再来通过 V2 获取商品详情，可以保证如果出了什么错后可以断点续爬（已经爬取的 ID 标记字段）。体量很大的话对于 V1,V2 都可以 网络 IO 和数据库 IO 做异步操作。

@realpg Ubuntu16.04

@airyland 抱歉 这个事情完全是我个人问题 如果有什么选择错误 不知如何修改或删除

@joejhy 是的 这个完全是我的问题

@dassh +1 对于 xlsx 有可能遇到问题