V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jin5354
V2EX  ›  问与答

想用爬虫抓 2TB 的数据,怎么存放比较好呢?

  •  
  •   jin5354 · 2015-12-04 21:41:30 +08:00 · 3121 次点击
    这是一个创建于 3076 天前的主题,其中的信息可能已经有所发展或是发生改变。
    业余练手玩,抓点羞羞的东西 > _ <
    主要是图片资源,可以收藏。

    手头只有个 256G 的 rmbp 。
    打算把脚本放到 VPS 上,数据每爬够 10GB 存一份( VPS 只有 20G 磁盘)。印象中好像百度网盘有 linux 端的包,可以直接调用上传过去。
    有没有什么好用的云存储呢?还是说直接买个移动硬盘好了。
    求建议~
    15 条回复    2015-12-06 00:03:39 +08:00
    msg7086
        2
    msg7086  
       2015-12-04 23:25:57 +08:00
    2TB 并不大啊,用硬盘存吧。
    放在网上的东西是不属于你的,特别是没付费的网盘。
    sinker
        3
    sinker  
       2015-12-04 23:31:08 +08:00 via Android
    百度盘最大空间 2T 多一点,上传要看数据是否能秒传,不能秒的话国外 vps 传百度云速度比较捉急。但考虑国内从云端下载的速度还是推荐百度云。其实更推荐用个树莓派接个硬盘挂脚本下载。
    66CCFF
        4
    66CCFF  
       2015-12-04 23:35:26 +08:00
    买个移动硬盘好。
    jin5354
        5
    jin5354  
    OP
       2015-12-04 23:40:40 +08:00
    好哒,打算买硬盘去咯。
    canky
        6
    canky  
       2015-12-05 00:06:31 +08:00 via iPad
    求分享 2TB
    yxling
        7
    yxling  
       2015-12-05 00:22:48 +08:00
    求分享
    kslr
        8
    kslr  
       2015-12-05 01:39:10 +08:00 via Android
    我爬了几十万照片才几个 G 你这该多大啊
    Marfal
        9
    Marfal  
       2015-12-05 01:43:44 +08:00
    Amazon Cloud Drive 无限容量现在一年只要 5 刀,有 API ,可以在国外 VPS 上跑爬虫,然后上传。
    tSQghkfhTtQt9mtd
        10
    tSQghkfhTtQt9mtd  
       2015-12-05 12:37:19 +08:00
    @sinker 国内从云端下载的速度还是推荐百度云
    你确定?百度云非会员没人权啊
    sinker
        11
    sinker  
       2015-12-05 13:42:06 +08:00
    @liwanglin12 aria2+BaiduExporter
    tSQghkfhTtQt9mtd
        12
    tSQghkfhTtQt9mtd  
       2015-12-05 13:43:04 +08:00
    @sinker 没限速么?
    sinker
        13
    sinker  
       2015-12-05 14:26:15 +08:00
    @liwanglin12 有的话我也不会提了。想了解详情自己去项目主页看吧
    herozzm
        14
    herozzm  
       2015-12-05 15:11:14 +08:00
    自己配一个 nas ,用脚本定时从 vps 下载到 nas 中,然后 vps 上定时删除
    jin5354
        15
    jin5354  
    OP
       2015-12-06 00:03:39 +08:00
    @kslr 大概七十多万本,每本 5-500 张图片不等。。。而且只是普通清晰度的 jpg 格式
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1187 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 23:12 · PVG 07:12 · LAX 16:12 · JFK 19:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.