大数据之Spark学习

spark官网

大数据之Spark学习

Yarn 模式

Spark 客户端直接 Yarn,不需要额外构建 Spark 集群。有 yarn-clienyarn-cluster 两种模式,

主要区别在于:Driver 程序的运行节点

  • yarn-client : Driver 程序运行在客户端,适用于交互,调试,希望立即看到 app 的输出
  • yarn-cluster : Driver 程序运行在由 RM (Resource Manager) 启动的 AP(APPMaster) 适用于生产环境

装饰者设计模式

字符流读取文件

大数据之Spark学习

字符流一行一行读取文本,懒加载,按需读取(readLine)

大数据之Spark学习
未完待续…