在分布式Tensorflow中，具有多个参数服务器的效果如何？
问题描述：
当我们有一个由其工作人员更新的参数服务器时，对于相同数量的工人有多个参数服务器会有什么影响？在分布式Tensorflow中，具有多个参数服务器的效果如何？
即当我们有多个参数服务器而不是一个参数服务器时会发生什么？
谢谢。
答
这被称为具有多个参数服务器分片。这给一些细节 https://static.googleusercontent.com/media/research.google.com/en//archive/large_deep_networks_nips2012.pdf，尤其是4.1节
申请SGD于大型数据集，我们介绍倾盆大雨SGD，异步随机梯度下降变种 使用多个单DistBelief模型 副本。基本方法如下： 如下所示：我们将训练数据划分为多个子集，并在这些子集中的每一个上运行模型的副本 。这些模型通过一个集中参数服务器进行通信，集中参数服务器保持模型所有参数的当前状态，并跨多个机器（例如，如果我们有10个参数服务器分片，每个分片为 负责存储和应用更新到 参数的1/10）（图2）