ConvNet没有改进（Tensorflow）

 

首先，我想道歉，因为我不允许发布很多代码，因为这是为了一个大学项目，但是我被严重卡住了。

我正在尝试使用以下模型使用带有TensorFlow的CIFAR-10数据集来训练ConvNet：

  • 图像：[32,32,3]
  • conv1：5,5,3,64 + bias [64]（初始化为0.0）
  • norm1：depth_radis = 4，bias = 1.0，alpha = 0.001 / 9.0，beta = 0.75
  • pool1：ksize = [1,3,3,1]，strides = [1,2,2,1]，padding = SAME
  • conv2：5,5,64,64 + bias [64]（初始化为0.1）
  • pool2：ksize = [1,3,3,1]，strides = [1,2,2,1]，padding = SAME
  • norm2：depth_radis = 4，bias = 1.0，alpha = 0.001 / 9.0，beta = 0.75
  • local1：8 * 8 * 64,384 + bias [384]（初始化为0.1）
  • local2：384,192 + bias [192]（初始化为0.1）
  • dropout：keep_prob = 0.5
  • softmax：[192,10] + bias [10]（初始化为0.0）

    • 但是，我得到的结果是（批量为1000）：

  • 步骤0，训练准确率0.09
  • 第1步，训练准确率0.096
  • 步骤2，训练准确度0.1
  • 第3步，训练准确性为0.108
  • 步骤4，训练准确度0.122
  • 第5步，训练准确率0.094
  • 第6步，训练准确度0.086
  • 步骤7，训练准确率0.082
  • 步骤8，训练准确度为0.104
  • 第9步，训练准确率0.09

    • 我正在使用以下内容来更新权重： 

    cross_entropy = tf.reduce_mean(
       tf.nn.softmax_cross_entropy_with_logits(y_conv + 1e-10, y_))
train_step = tf.train.AdamOptimizer(0.0001).minimize(cross_entropy)

    这是我一直在阅读的指南：https://www.tensorflow.org/versions/r0.11/tutorials/deep_cnn/index.html#convolutional-neural-networks

    我曾尝试改变从1e-1到1e-8的学习速度，但没有运气。 任何帮助是极大的赞赏。 提前致谢。

    使用tf.nn.sparse_softmax_cross_entropy_with_logits而不是tf.nn.softmax_cross_entropy_with_logits 。

    你可以尝试在你的数据集上做更多的事情：

  • 规范你的形象
  • 洗牌您的训练数据集以减少数据的独立同分布（iid）
  • 尝试使用灰度图像来查看模型的一些基线
    • 链接地址: http://www.djcxy.com/p/32043.html

    上一篇: ConvNet not improving (Tensorflow)

    下一篇: Captcha recognizing with convnet, how to define loss function