spark官网
Yarn 模式
Spark 客户端直接 Yarn,不需要额外构建 Spark 集群。有 yarn-clien
和 yarn-cluster
两种模式,
主要区别在于:Driver 程序的运行节点
-
yarn-client : Driver 程序运行在客户端,适用于交互,调试,希望立即看到 app 的输出
-
yarn-cluster : Driver 程序运行在由 RM (Resource Manager) 启动的 AP(APPMaster) 适用于生产环境
装饰者设计模式
字符流读取文件
字符流一行一行读取文本,懒加载,按需读取(readLine)
未完待续…