V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ufo22940268
V2EX  ›  问与答

spark 中怎么实现 intersectionByKey

  •  
  •   ufo22940268 · 2017-08-07 10:41:35 +08:00 · 1411 次点击
    这是一个创建于 2700 天前的主题,其中的信息可能已经有所发展或是发生改变。

    问题就是加入我现在有两个 object array, 然后我要取两者公共的 object

    https://forums.databricks.com/questions/1980/filtering-an-rdd-depending-upon-a-list-of-values-i.html

    我在上面链接上找到一个解决方案,但是我觉得这个解决方案是不是效率不高

    1 条回复    2017-08-07 11:21:34 +08:00
    ufo22940268
        1
    ufo22940268  
    OP
       2017-08-07 11:21:34 +08:00
    尴尬, 刚发完自己就研究出一种写法

    https://gist.github.com/ufo22940268/9fb56db23942dae943527175cd05c3c6

    这样子写的话,就算 a 中有相同的 key, 也最终能够做到 intersectionByKey
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2832 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 07:27 · PVG 15:27 · LAX 23:27 · JFK 02:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.