Tensorflow模型恢复（恢复训练似乎从头开始）

问题描述：

保存我的模型后，我有恢复训练的问题。问题是我的损失减少例如从6到3。此时我保存模型。当我恢复它并继续训练时，损失从6重新开始。恢复似乎不起作用。我不明白，因为打印重量，似乎他们正确加载。我使用ADAM优化器。提前致谢。这里：Tensorflow模型恢复（恢复训练似乎从头开始）

batch_size = self.batch_size 
    num_classes = self.num_classes 

    n_hidden = 50 #700 
    n_layers = 1 #3 
    truncated_backprop = self.seq_len 
    dropout = 0.3 
    learning_rate = 0.001 
    epochs = 200 

    with tf.name_scope('input'): 
     x = tf.placeholder(tf.float32, [batch_size, truncated_backprop], name='x') 
     y = tf.placeholder(tf.int32, [batch_size, truncated_backprop], name='y') 

    with tf.name_scope('weights'): 
     W = tf.Variable(np.random.rand(n_hidden, num_classes), dtype=tf.float32) 
     b = tf.Variable(np.random.rand(1, num_classes), dtype=tf.float32) 

    inputs_series = tf.split(x, truncated_backprop, 1) 
    labels_series = tf.unstack(y, axis=1) 

    with tf.name_scope('LSTM'): 
     cell = tf.contrib.rnn.BasicLSTMCell(n_hidden, state_is_tuple=True) 
     cell = tf.contrib.rnn.DropoutWrapper(cell, output_keep_prob=dropout) 
     cell = tf.contrib.rnn.MultiRNNCell([cell] * n_layers) 

    states_series, current_state = tf.contrib.rnn.static_rnn(cell, inputs_series, \ 
     dtype=tf.float32) 

    logits_series = [tf.matmul(state, W) + b for state in states_series] 
    prediction_series = [tf.nn.softmax(logits) for logits in logits_series] 

    losses = [tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=labels) \ 
     for logits, labels, in zip(logits_series, labels_series)] 
    total_loss = tf.reduce_mean(losses) 

    train_step = tf.train.AdamOptimizer(learning_rate).minimize(total_loss) 

    tf.summary.scalar('total_loss', total_loss) 
    summary_op = tf.summary.merge_all() 

    loss_list = [] 
    writer = tf.summary.FileWriter('tf_logs', graph=tf.get_default_graph()) 

    all_saver = tf.train.Saver() 

    with tf.Session() as sess: 
     #sess.run(tf.global_variables_initializer()) 
     tf.reset_default_graph() 
     saver = tf.train.import_meta_graph('./models/tf_models/rnn_model.meta') 
     saver.restore(sess, './models/tf_models/rnn_model') 

     for epoch_idx in range(epochs): 
      xx, yy = next(self.get_batch) 
      batch_count = len(self.D.chars) // batch_size // truncated_backprop 

      for batch_idx in range(batch_count): 
       batchX, batchY = next(self.get_batch) 

       summ, _total_loss, _train_step, _current_state, _prediction_series = sess.run(\ 
        [summary_op, total_loss, train_step, current_state, prediction_series], 
        feed_dict = { 
         x : batchX, 
         y : batchY 
        }) 

       loss_list.append(_total_loss) 
       writer.add_summary(summ, epoch_idx * batch_count + batch_idx) 
       if batch_idx % 5 == 0: 
        print('Step', batch_idx, 'Batch_loss', _total_loss) 

       if batch_idx % 50 == 0: 
        all_saver.save(sess, 'models/tf_models/rnn_model') 

      if epoch_idx % 5 == 0: 
       print('Epoch', epoch_idx, 'Last_loss', loss_list[-1])

那么，权重是否得到适当的恢复，但数据呢？它是一样的吗？ –

@DanevskyiDmytro我的数据分批进来。批次的检索顺序是随机的，但对于所有数据集（整个时期），损失接近3。所以我希望当我恢复损失将从任何批次的3附近重新启动？ – JimZer

你可以限制你的数据集到几个批次，并对它们进行训练和测试吗？ –

答

我的问题是标签中的代码错误，它们在两次运行之间发生了变化。所以它现在有效。谢谢你的帮助

答

我有同样的问题，在我的情况下，该模型被正确地恢复，但失去一次又一次地开始真的很高，问题是，我的批处理retreival是不是随机的。我有三个类，A，B和C.我的数据是以这种方式喂养A，然后是B，然后是C.我不知道这是否是你的问题，但你必须确保你给你模型的每一批都有您的所有课程，所以在您的情况下，该批次必须有batch_size/num_classes每个课程的输入。我改变了它，一切工作完美:)

看看你是否正确喂养你的模型。

谢谢你的提示，但是我的批次在每个时代以随机顺序加载...... – JimZer

Tensorflow模型恢复（恢复训练似乎从头开始）

相关推荐