【深夜Spark】 Spark on K8S的进展

夜深了,来听听两位Spark Committers Erik和Yinan在上个月的KubeCon 2018 Seattle给了一个talk:

Deep Dive: SIG-Big Data

其中重点介绍了Spark on K8S的Roadmap。

                                      

from smilegator

祝威廉点评语:

这篇文章主要讲的K8S上相关的生态,里面内容涉及到Spark的支持。Spark从2.3开始支持K8S模式,至此,已经支持Local/Mesos/Yarn/K8s 等大部分资源管理器了。到2.4版本,支持Python, R等语言, 并且部分支持Client Mode。 在接下来的3.0版本还会支持Kerberos认证通过pod模板自定义pod一些功能。

视频地址: 

   

   https://www.youtube.com/watch?v=bQx4JlUO4o8

PDF地址:

   

   https://www.slidestalk.com/s/K8SSIGBigDataDeepDive18328

【深夜Spark】 Spark on K8S的进展