Hadoop集群 - 正常集群和安全集群之间的性能差异
问题描述:
在正常的Hadoop集群和配置了Kerberos和SSL的安全Hadoop集群之间,性能会有所不同吗?Hadoop集群 - 正常集群和安全集群之间的性能差异
考虑到机器配置对于这两种类型的群集都是相同的,完成作业所用的时间是否不同?如果是的话,我们有没有关于时差的已知时间指标?像,
- 正常的集群 - 1.5小时
- 安全集群 - 2.5小时
答
是。由于Kerberos和SSL,所有API调用都有开销。
作业完成时间将有所不同,但无法知道在不知道在作业中调用了多少次API的情况下,这个时间有多少。通常情况下,这种影响很小,但是由于您将另一个网络组件引入了工作流程(KDC),因此您可能会遇到严重的降级问题,具体取决于集群的大小以及KDC和集群之间的任何网络问题,以及KDC已配置。请参阅以下内容获取更多信息。