Could not complete the operation. Number of retries has been exhausted.

Flink任务失败,其实是个小问题,但是看不到真正的日志误导,你都不会发现是哪里除了问题,直到你怀疑自己。

由于通过跳转机登录的一个服务器,然后无法查看Flink运行的task日志,只有在flink目录下的log,但是这个log只有部分日志,代码输出日志级别不够也是看不到,而且还是通过flink-per-job的方式提交的。

解决:

切换到yarn-session方式,这样就算是跳转机的那个,只要能访问的那个IP上可以看到flink的运行日志就可以确定异常问题是什么原因造成的,最后是数据源硬编码改了,hbase表的结构也变了,但是在flinkUI的日志里都可以看到这些信息。

Could not complete the operation. Number of retries has been exhausted.

总结:

        如果代码出现未知的异常,就找日志,日志不全就得想办法找到更详细的日志,只有打印出了所有的详细日志才能处理。有时候打印的日志只是部分日志,按逻辑来,不急,so easy