V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
rootzeal
V2EX  ›  Spark

spark 源码研究

  •  
  •   rootzeal · 2019-01-28 19:55:28 +08:00 via Android · 3731 次点击
    这是一个创建于 1885 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我建了个公众号专门研究 spark 源码的 欢迎大家关注 大家可以试读一下 https://mp.weixin.qq.com/s/rjrpRZWj2pyscPHOMF1QCQ
    3 条回复    2019-01-28 20:25:12 +08:00
    liprais
        1
    liprais  
       2019-01-28 20:06:56 +08:00 via iPhone
    只讨论 query rewrite 就够写半本书了
    光 predicate pushdown 什么时候能推什么时候不能推,推了之后会不会适用别的优化就够喝一壶了
    还有 wholestage codegen 和
    liprais
        2
    liprais  
       2019-01-28 20:08:43 +08:00 via iPhone
    @liprais 按错了,接楼上
    wholestage codegen 和 vector execution 也可以顺带的讲一下的
    标题过于真实,建议改成了解 spark sql
    rootzeal
        3
    rootzeal  
    OP
       2019-01-28 20:25:12 +08:00 via Android
    @liprais 有道理 慢慢来 一步步深入 标题是夸张了点
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3890 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 10:30 · PVG 18:30 · LAX 03:30 · JFK 06:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.