Retrying connect to server:Spark连接HA的HDFS问题

1问题描述

采用传统的连接方式会出现连接错误的问题。

https://www.cnblogs.com/wangbin2188/p/8252717.html

类似这篇文章的内容,会出现连接不上的问题。

2原因

因为开启高可用,带来namenode地址不固定

需求,传统方法,问题及原因,改进,实验。

3改进

下载hive配置,放在resource中,clear,修改链接,去除连接内容

Retrying connect to server:Spark连接HA的HDFS问题

Retrying connect to server:Spark连接HA的HDFS问题

Retrying connect to server:Spark连接HA的HDFS问题

 sc.textFile("/user/atguigu/ods/member.log")

成功!

Retrying connect to server:Spark连接HA的HDFS问题