张量流中的损失突然变成了南
当我使用张量流时，损失突然变成了南，就像：
Epoch: 00001 || cost= 0.675003929
Epoch: 00002 || cost= 0.237375346
Epoch: 00003 || cost= 0.204962473
Epoch: 00004 || cost= 0.191322120
Epoch: 00005 || cost= 0.181427178
Epoch: 00006 || cost= 0.172107664
Epoch: 00007 || cost= 0.171604740
Epoch: 00008 || cost= 0.160334495
Epoch: 00009 || cost= 0.151639721
Epoch: 00010 || cost= 0.149983061
Epoch: 00011 || cost= 0.145890004
Epoch: 00012 || cost= 0.141182279
Epoch: 00013 || cost= 0.140914166
Epoch: 00014 || cost= 0.136189088
Epoch: 00015 || cost= 0.133215346
Epoch: 00016 || cost= 0.130046664
Epoch: 00017 || cost= 0.128267926
Epoch: 00018 || cost= 0.125328618
Epoch: 00019 || cost= 0.125053261
Epoch: 00020 || cost= nan
Epoch: 00021 || cost= nan
Epoch: 00022 || cost= nan
Epoch: 00023 || cost= nan
Epoch: 00024 || cost= nan
Epoch: 00025 || cost= nan
Epoch: 00026 || cost= nan
Epoch: 00027 || cost= nan
主要的培训代码是：
for epoch in range(1000):
Mcost = 0
temp = []
for i in range(total_batch):
batch_X = X[i*batch_size:(i+1)*batch_size]
batch_Y = Y[i*batch_size:(i+1)*batch_size]
solver, c, pY = sess.run([train, cost, y_conv], feed_dict={x: batch_X, y_: batch_Y, keep_prob:0.8})
Mcost = Mcost + c
print("Epoch: ", '%05d'%(epoch+1), "|| cost=",'{:.9f}'.format(Mcost/total_batch))
由于第一个19时代的成本是可以的，我相信网络和输入是可以的。 对于网络，我使用4 CNN，激活功能是relu，最后一层是全连接，没有激活功能。
另外，我知道0/0或log（0）会导致nan。 但是，我的损失功能是：
c1 = y_conv - y_
c2 = tf.square(c1)
c3 = tf.reduce_sum(c2,1)
c4 = tf.sqrt(c3)
cost = tf.reduce_mean(c4)
我使用GPU GTX 1080运行tensorflow。
任何建议表示感谢。
很多时候，这些NaN由于梯度增加而来自优化的分歧。 它们通常不会立即出现，而是在损失突然增加并且在几个步骤内达到inf 。 你没有看到这种爆炸性增长的原因可能是因为你只在每个时代检查你的损失 - 试图显示你的损失每一步或每几步，你很可能会看到这种现象。
至于为什么你的渐变突然爆发，我建议你在失败函数中尝试不使用tf.sqrt 。 这应该在数字上更稳定。 tf.sqrt具有在零附近具有爆炸梯度的不良属性。 这意味着一旦你接近解决方案就会增加分歧的风险 - 看起来很像你正在观察的。