这是一个创建于 1967 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在有些网站的数据都是前端动态生成的，用传统爬接口的方式很难获取，只能通过浏览器级的自动化工具，先对页面进行渲染然后再获取数据。
目前主流的工具，除了 PhantomJS、WebDriver、Puppeteer 还有哪些？
有些网站为了保护数据，需要有用户行为才能进一步渲染数据，所以还需要模拟真实的用户行为。不知现在是否有比较成熟的模拟行为的爬虫平台（收费也可以）？
目前主流的工具，除了 PhantomJS、WebDriver、Puppeteer 还有哪些？
有些网站为了保护数据，需要有用户行为才能进一步渲染数据，所以还需要模拟真实的用户行为。不知现在是否有比较成熟的模拟行为的爬虫平台（收费也可以）？
 |
1
flybird 2018-11-26 17:19:15 +08:00
要啥自行车？ Puppeteer 已经是目前为止爬虫辅助的最牛逼的工具了！
|
 |
2
myhot21 2018-11-26 17:57:25 +08:00 via Android
用 selenium+代理 ip，目前除了因为复杂验证码原因外，还未遇到过不能抓取的网站。
|
 |
3
1010543618 2018-11-26 18:55:33 +08:00
PhantomJS 都不更新了吧，感觉还是得靠 FF，Chrome 的无界面模式
|
Select Language