爬虫管理平台 Crawlab v0.4.5 发布

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1536 天前的主题，其中的信息可能已经有所发展或是发生改变。

前言

本次修复主要集中在 Bug 修复和一些必要的优化。

更新日志

功能 / 优化

交互式教程. 引导用户了解 Crawlab 的主要功能.
加入全局环境变量. 可以设置全局环境变量，然后传入到所有爬虫程序中. #177
项目. 允许用户将爬虫关联到项目上. #316
示例爬虫. 当初始化时，自动加入示例爬虫. #379
用户管理优化. 限制管理用户的权限. #456
设置页面优化.
任务结果页面优化.

Bug 修复

无法找到爬虫文件错误. #485
点击删除按钮导致跳转. #480
无法在空爬虫里创建文件. #479
下载结果错误. #465
crawlab-sdk CLI 错误. #458
页面刷新问题. #441
结果不支持 JSON. #202
修复“删除爬虫后获取所有爬虫”错误.
修复 i18n 警告.

参考

Github: https://github.com/crawlab-team/crawlab
Demo: https://crawlab.cn/demo

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。

crawlab

修复

示例爬虫

优化

10 条回复 • 2020-02-04 16:54:07 +08:00

hfutzj

2020-02-04 10:18:07 +08:00

感谢分享

tikazyq

2020-02-04 10:24:40 +08:00

@hfutzj 谢谢支持

pythonee

2020-02-04 12:24:33 +08:00

感谢分享

看了下文档，建议增加一些术语解释，比如说阶段这个概念

另外，不知道 scrapy 是不是默认已经集成？

tikazyq

2020-02-04 12:29:20 +08:00

@pythonee 是的，现在文档还有些不那么完善，后续我们会进一步逐步完善的。

在 Docker 镜像中，scrapy 是已经集成了的了。

kaikai5601

2020-02-04 13:45:15 +08:00 via iPhone

demo 登录出错了

qsbaq

2020-02-04 13:49:59 +08:00

demo 登录出错了

musi

2020-02-04 15:04:38 +08:00

看了一下是支持多节点部署的？最近刚好想找一个爬虫管理平台管理一些内网环境下的爬虫(机器可通外网，但获取的数据在内网)貌似可以试试？

tikazyq

2020-02-04 16:52:28 +08:00

@kaikai5601 密码被更改了，现在可以试试

tikazyq

2020-02-04 16:52:36 +08:00

@qsbaq 现在试试

tikazyq

2020-02-04 16:54:07 +08:00

@musi 是的，这个本身就是支持分布式的平台，可以多节点部署。Crawlab 分主节点工作节点，主节点主要控制 API 和节点注册等，工作节点主要负责抓取，你可以让主节点在内网，工作节点在外网，这样就可以实现你想要做的事情了。