V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
snoopygao
V2EX  ›  Hadoop

目前有什么商用的大数据平台软件可用?

  •  
  •   snoopygao · 2017-02-05 22:31:58 +08:00 · 5445 次点击
    这是一个创建于 2853 天前的主题,其中的信息可能已经有所发展或是发生改变。

    只是稍微了解一些大数据的东西 hadoop mapreduce , spark , storm 那几家大的云平台公司貌似提供的都是租赁一个平台 有没有什么产品能部署在私有数据中心上,是直接部署一套 hadoop 或者 spark 就可以吗? 这里边的数据采集,数据分析,数据展现是不是都需要行业专业人员去开发?或者都是现成的东西?

    11 条回复    2017-02-06 12:39:40 +08:00
    GreatMartial
        1
    GreatMartial  
       2017-02-05 22:37:54 +08:00
    估计需要第三方来开发相应的应用
    adrianzhang
        2
    adrianzhang  
       2017-02-05 23:21:43 +08:00 via Android
    这些组件本来就是可自己安装的,公司提供的是服务,比如根据你需求搭配不同的 hadoop 生态组件。数据采集可以直接配置,数据分析和展现也有一些解决方案,但都比较零散和 common ,一般要根据自己需求开发,尤其是建模这部分。整体商业解决方案还不成熟,但也有公司比如华为移动等给做,只不过价格就不是一般中小公司能承担的。参考:一个会维护 hadoop 的高级工程师年薪就达到 500k 。
    linoder
        3
    linoder  
       2017-02-06 01:10:50 +08:00
    BDP
    likuku
        4
    likuku  
       2017-02-06 02:32:10 +08:00
    aws 的相关设施资源很丰富, 2016 年底重点之一就是大数据,还有了很好用的 BI 服务,如此前后端都有了。

    有兴趣的可继续这个话题。
    likuku
        5
    likuku  
       2017-02-06 02:34:15 +08:00
    hadoop 并不难搞,核心 /含金量最高还是业务算法和前期建模,基本都是数学和统计学的人干,相关圈子很小。
    likuku
        6
    likuku  
       2017-02-06 02:36:02 +08:00
    数据分析 /建模 /统计,我认识有资深人士,咨询的话都是付费的。
    snoopygao
        7
    snoopygao  
    OP
       2017-02-06 08:55:08 +08:00
    感谢各位的解答
    yanyanlong
        8
    yanyanlong  
       2017-02-06 10:04:40 +08:00
    公司自己搭建平台建议买星环或者 CDH 的商业版,可以节约不少开发周边维护工具的时间。
    knktc
        9
    knktc  
       2017-02-06 10:07:31 +08:00
    可以参考下 cloudera 的产品或是 splunk 的产品
    kinprogram
        10
    kinprogram  
       2017-02-06 12:01:18 +08:00
    @yanyanlong +1 还有华为的 FushionInSight
    ethankoo
        11
    ethankoo  
       2017-02-06 12:39:40 +08:00
    企业级数据平台,集采集、存储、开发、查询、可视化等工具链,有意聊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1412 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 23:48 · PVG 07:48 · LAX 15:48 · JFK 18:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.