V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
maooyer
V2EX  ›  问与答

豆瓣电影有多少条目?

  •  
  •   maooyer · 2015-12-22 10:41:55 +08:00 · 2431 次点击
    这是一个创建于 3262 天前的主题,其中的信息可能已经有所发展或是发生改变。
    实验室有项目需要豆瓣电影的数据,所以写了一个爬虫爬了一下。
    目前抓到了约 12.5W 个条目,不知道这个数目是否靠谱?
    第 1 条附言  ·  2015-12-24 09:37:27 +08:00
    目前已经抓到 16w 条目,来源有两部分:
    1. 热门标签
    2. 观影量较多的用户
    目前来看第二种方法能够收集到更多的数据,因为很多影片是无法通过标签页查看到的(一个极端的例子: http://movie.douban.com/subject/11598908/)

    最后有大神要是抓到更多,可以在本帖留言告诉我!
    9 条回复    2015-12-22 14:27:12 +08:00
    Orzpls
        1
    Orzpls  
       2015-12-22 11:30:56 +08:00 via Android
    应该不止,如果豆瓣收录全了,每年全球电影有几千部吧。
    ieliwb
        2
    ieliwb  
       2015-12-22 11:45:28 +08:00
    估计要 x10 吧,哈哈
    undeflife
        3
    undeflife  
       2015-12-22 11:50:17 +08:00
    你居然能爬豆瓣 12 万多条目?我浏览器开电影详情页开快了就让我输验证码了,死循环的输...
    maooyer
        4
    maooyer  
    OP
       2015-12-22 11:51:48 +08:00
    @ieliwb 应该没这么多,我手头上美亚的影视的商品条目数才 20w 。个人觉得比较合理估计在 20w~50w
    trepwq
        5
    trepwq  
       2015-12-22 12:52:05 +08:00 via iPhone
    不止吧,豆瓣有不少 imdb 没有的分级电影,还有些根据政策不与显示的
    qian19876025
        6
    qian19876025  
       2015-12-22 13:11:42 +08:00
    这就不是盗版 ?
    ceoimon
        7
    ceoimon  
       2015-12-22 14:05:39 +08:00
    http://www.imdb.com/stats

    IMDb 目前收录的仅仅是 feature films 就有 34W 左右,豆瓣不应该差那么多吧(豆瓣电影应该也有收录短片)?
    wibile
        8
    wibile  
       2015-12-22 14:18:28 +08:00
    豆瓣有好多电影不显示了,不清楚为什么。能搜索到,点详情就提示不存在。我也爬过。。。
    maooyer
        9
    maooyer  
    OP
       2015-12-22 14:27:12 +08:00
    @trepwq 这个的确。不少影片需要登陆后才能看到。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1199 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 18:32 · PVG 02:32 · LAX 10:32 · JFK 13:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.