V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
alexchinatests
V2EX  ›  奇思妙想

打算搞一个在线爬虫平台

  •  
  •   alexchinatests · 2020-11-09 15:38:10 +08:00 · 5398 次点击
    这是一个创建于 1235 天前的主题,其中的信息可能已经有所发展或是发生改变。

    打算搞一个在线爬虫平台,就是最近在爬租房数据,然后百度了下在线爬取,不是付费就是功能比较简单 支持在线编辑代码,执行,直接获取到结果下载 不同用户数据,代码隔离 有一个公共爬虫库,点击后可以直接使用

    希望大家多多提意见。

    27 条回复    2021-05-08 17:05:44 +08:00
    FaceBug
        1
    FaceBug  
       2020-11-09 15:48:01 +08:00
    是爬房租的价格么
    efaun
        2
    efaun  
       2020-11-09 15:55:28 +08:00
    从入门到坐牢?
    alexchinatests
        3
    alexchinatests  
    OP
       2020-11-09 15:56:34 +08:00
    @FaceBug 不是,就是一个在线爬虫系统,不需要搭建环境,不需要部署。前期可能需要一点代码基础,后面功能完善了就不需要代码基础了。
    alexchinatests
        4
    alexchinatests  
    OP
       2020-11-09 15:57:09 +08:00
    @efaun 面向监狱编程
    qfdk
        5
    qfdk  
       2020-11-09 15:57:36 +08:00
    早就有了啊 好像是 binux 还是谁写的
    alexchinatests
        6
    alexchinatests  
    OP
       2020-11-09 16:00:47 +08:00
    icedir
        7
    icedir  
       2020-11-09 16:02:57 +08:00
    这是面向监狱编程啊
    pckillers
        8
    pckillers  
       2020-11-09 16:02:58 +08:00
    然后贵产品各 IP 被各大网站疯狂屏蔽?
    alexchinatests
        9
    alexchinatests  
    OP
       2020-11-09 16:07:57 +08:00
    @pckillers
    @icedir
    不是,不提供代理服务。他们自己实现
    alexchinatests
        10
    alexchinatests  
    OP
       2020-11-09 16:09:05 +08:00
    写好声明不就行了。。。
    实在不行就私有部署吧
    em70
        11
    em70  
       2020-11-09 16:13:15 +08:00
    就是采集器嘛,十年前就已经很多类似产品了,即刻不也是采集器的变种么
    alexchinatests
        12
    alexchinatests  
    OP
       2020-11-09 16:15:45 +08:00
    @em70 叫这个名呀。我搜了下好像蛮多的
    madlifer
        13
    madlifer  
       2020-11-09 16:56:56 +08:00
    其实如果你能写出来个开源的无代码采集器肯定火爆,参考火车头
    flicking2015
        14
    flicking2015  
       2020-11-09 16:58:42 +08:00   ❤️ 1
    不推荐做,了解下 crawlab,你能短时间内做一个比他更好的就去弄吧
    lazycat353
        15
    lazycat353  
       2020-11-09 17:04:36 +08:00
    面向牢饭
    yolee599
        16
    yolee599  
       2020-11-09 17:25:31 +08:00
    爬虫写得好,牢饭吃得早
    tikazyq
        17
    tikazyq  
       2020-11-09 17:26:37 +08:00
    westoy
        18
    westoy  
       2020-11-09 17:32:06 +08:00
    提供软件没事

    提供采集规则和平台是找死
    agdhole
        19
    agdhole  
       2020-11-09 17:43:18 +08:00
    曾经有人搞过,叫“造数”
    刚才去官网已经打不开了
    graetdk
        20
    graetdk  
       2020-11-09 17:50:13 +08:00
    @agdhole 造数转企业服务了,活得可滋润了
    zhule0601
        21
    zhule0601  
       2020-11-09 18:25:13 +08:00 via iPhone
    GitHub 上面搜一下,肯定有人弄过了,,
    linksNoFound
        22
    linksNoFound  
       2020-11-10 16:52:40 +08:00
    神箭手也倒闭了,我在上面写的几十个脚本全给我清咯
    streamrx
        23
    streamrx  
       2020-11-10 19:32:52 +08:00 via iPhone
    你说的这个好像就是神箭手那种平台 这种已经很早就有人搞了
    lxfcool
        24
    lxfcool  
       2020-11-11 08:56:15 +08:00
    几年前没学爬虫用过类似的软件, 感觉还是不如自己实现的好.
    xinyana
        25
    xinyana  
       2020-11-12 18:50:01 +08:00 via Android
    写爬虫本身没什么门槛,不懂的人,不会用你的平台,懂得人自己搭,不好定位用户群
    jackrebel
        26
    jackrebel  
       2020-11-13 13:59:37 +08:00
    建议楼主熟读《面向监狱编程++》
    linktom
        27
    linktom  
       2021-05-08 17:05:44 +08:00
    3 年起步哟
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3974 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 00:58 · PVG 08:58 · LAX 17:58 · JFK 20:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.