一个 24 小时跑的爬虫程序主机需要什么配置？

[ke1vin]

我想做一个豆瓣小组发帖搜索引擎，主要是要爬指定豆瓣小组的数据，保存的数据包括文本和图片。

前几天上了腾讯云的车，但是感觉配置达不到要求（ 2G 内存，50G 硬盘），什么样的配置可以跑？

[golmic]

看你抓的频率和范围吧，像豆瓣的小组更新频率并不高，再看看你要抓全部小组么。可以联系我详聊，层主是数据工程师。公众号 pydatame 有我联系方式。

[tailf]

先解决被封的问题再来说吧。。。。

[Hzzone]

一个爬虫主要有多好的配置……

[murmur]

需要超级多的代理

[ke1vin]

@Hzzone 我主要是在想硬盘多久会写满。。。

[ke1vin]

@murmur 代理是为了防止被封？降低访问频率应该可以破

[ke1vin]

@tailf 感觉问题不大，我主要是想硬盘如果写满怎么办

[aoxiansheng]

如果你想降低频率破封，你现在的配置足够了。

[ke1vin]

@aoxiansheng 硬盘呢，要不要担心写满的情况，我第一次开发爬虫程序。

[em70]

爬了页面,提取了需要的数据就删了啊,留着这些文件干嘛

50G 硬盘分 10 个 G 做数据库,能存个几千万条记录吧

[em70]

文本和图片上传 oss,七牛这些专业储存服务去,便宜

[mhycy]

@em70
看数据体积和存储方式，Pixiv 5KW 的元数据，占地 80G

[tscat]

1g 内存都爬的很开心啊。
50g 硬盘问题也不是特别大。除非你保存图片

[2ME]

图片多的话很快就塞满硬盘了 不过你策略不好的话可能还没爬满硬盘就被 ban 掉了 单爬数据就无所谓了 这配置跑爬虫绰绰有余

[aoxiansheng]

大哥你先干，有问题再解决。还没开始干，就想着解决问题了。
不够买云盘即可。