打算搞一个在线爬虫平台,就是最近在爬租房数据,然后百度了下在线爬取,不是付费就是功能比较简单 支持在线编辑代码,执行,直接获取到结果下载 不同用户数据,代码隔离 有一个公共爬虫库,点击后可以直接使用
希望大家多多提意见。
1
FaceBug 2020-11-09 15:48:01 +08:00
是爬房租的价格么
|
2
efaun 2020-11-09 15:55:28 +08:00
从入门到坐牢?
|
3
alexchinatests OP @FaceBug 不是,就是一个在线爬虫系统,不需要搭建环境,不需要部署。前期可能需要一点代码基础,后面功能完善了就不需要代码基础了。
|
4
alexchinatests OP @efaun 面向监狱编程
|
5
qfdk 2020-11-09 15:57:36 +08:00
早就有了啊 好像是 binux 还是谁写的
|
6
alexchinatests OP 额
|
7
icedir 2020-11-09 16:02:57 +08:00
这是面向监狱编程啊
|
8
pckillers 2020-11-09 16:02:58 +08:00
然后贵产品各 IP 被各大网站疯狂屏蔽?
|
9
alexchinatests OP |
10
alexchinatests OP 写好声明不就行了。。。
实在不行就私有部署吧 |
11
em70 2020-11-09 16:13:15 +08:00
就是采集器嘛,十年前就已经很多类似产品了,即刻不也是采集器的变种么
|
12
alexchinatests OP @em70 叫这个名呀。我搜了下好像蛮多的
|
13
madlifer 2020-11-09 16:56:56 +08:00
其实如果你能写出来个开源的无代码采集器肯定火爆,参考火车头
|
14
flicking2015 2020-11-09 16:58:42 +08:00 1
不推荐做,了解下 crawlab,你能短时间内做一个比他更好的就去弄吧
|
15
lazycat353 2020-11-09 17:04:36 +08:00
面向牢饭
|
16
yolee599 2020-11-09 17:25:31 +08:00
爬虫写得好,牢饭吃得早
|
17
tikazyq 2020-11-09 17:26:37 +08:00
crawlab 传送门
https://github.com/crawlab-team/crawlab |
18
westoy 2020-11-09 17:32:06 +08:00
提供软件没事
提供采集规则和平台是找死 |
19
agdhole 2020-11-09 17:43:18 +08:00
曾经有人搞过,叫“造数”
刚才去官网已经打不开了 |
21
zhule0601 2020-11-09 18:25:13 +08:00 via iPhone
GitHub 上面搜一下,肯定有人弄过了,,
|
22
linksNoFound 2020-11-10 16:52:40 +08:00
神箭手也倒闭了,我在上面写的几十个脚本全给我清咯
|
23
streamrx 2020-11-10 19:32:52 +08:00 via iPhone
你说的这个好像就是神箭手那种平台 这种已经很早就有人搞了
|
24
lxfcool 2020-11-11 08:56:15 +08:00
几年前没学爬虫用过类似的软件, 感觉还是不如自己实现的好.
|
25
xinyana 2020-11-12 18:50:01 +08:00 via Android
写爬虫本身没什么门槛,不懂的人,不会用你的平台,懂得人自己搭,不好定位用户群
|
26
jackrebel 2020-11-13 13:59:37 +08:00
建议楼主熟读《面向监狱编程++》
|
27
linktom 2021-05-08 17:05:44 +08:00
3 年起步哟
|