TensorFlow:简单循环神经网络

我用TensorFlow构建了一些神经网络,就像基本的MLP和卷积神经网络一样。 现在我想转向循环神经网络。 但是,我在自然语言处理方面没有经验。 因此,针对RNN的TensorFlow NLP教程对我来说不容易阅读(并且也不是很有趣)。

基本上我想从简单的事情开始,而不是LSTM。

在TensorFlow中,如何构建一个简单的循环神经网络,如Elman网络?

我只能找到TensorFlow的GRU或LSTM RNN实例,主要是针对NLP。 有谁知道一些简单的经常性神经网络教程或TensorFlow的例子吗?

该图显示了一个基本的Elman网络,通常简称为SRN(简单循环网络):


一种选择是使用位于tensorflow / python / ops / rnn_cell.py中的内置RNNCell。

如果你不想这样做,你可以制作自己的RNN。 RNN将通过时间反向传播进行训练。 尝试展开网络固定数量的步骤,例如考虑长度为10的输入序列。 然后你可以在Python中编写一个循环来为网络的每一步执行所有的矩阵乘法。 每次您可以从上一步获取输出并将其与该步骤的输入连接起来。 它不会有太多的代码行来获得这个工作。


另一种选择是利用Tensorflow的扫描功能来实现重现。 我的结果(这是一个简单的递归神经网络/埃尔曼网络)可以在这里找到:https://www.data-blogger.com/2017/05/17/elman-rnn-implementation-in-tensorflow/

链接地址: http://www.djcxy.com/p/32075.html

上一篇: TensorFlow: simple recurrent neural network

下一篇: Feedforward Neural Network