does tensorflow 0.10.0rc版本支持float16吗？

Question

为了降低张量，我定义的所有dytpe=tf.float16变量在我的模型，然后定义优化：

optimizer = tf.train.AdamOptimizer(self.learning_rate) 
self.compute_gradients = optimizer.compute_gradients(self.mean_loss_reg) 
train_adam_op = optimizer.apply_gradients(self.compute_gradients, global_step=self.global_step) 

一切正常，OK！但是在我运行train_adam_op之后，渐变和变量在python中是nan。我漫步如果apply_gradients() API支持tf.float16类型？为什么我得到nan后apply_gradients()被session.run()调用....

Answer 1

与32位浮点数相比，fp16的动态范围相当有限。因此，它们很容易上溢或下溢，这往往会导致你遇到的NaN。

您可以在模型中插入一些check_numerics操作，以帮助查明在fp16上执行时变得不稳定的特定操作。

例如，可以作为按照以检查它的结果适合在FP16紧裹L2损失操作

A = tf.l2_loss(some_tensor)

变得

A = tf.check_numerics(tf.l2_loss(some_tensor), "found the root cause")

溢出的最常见的来源和下溢是exp（），log（）以及各种分类原语，所以我会开始在那里寻找。

一旦找出哪个操作序列有问题，可以使用tf.cast（）将序列的输入转换为32位浮点数来更新模型以使用32位浮点数执行该序列，并且将结果转换回fp16。