
循环神经网络是一类以序列数据为输入,在序列的演进方向进行递归且所有节按链式连接的递归神经网络。
对循环神经网络的研究始于二十世纪80-90年代,并在二十一世纪初发展为重要的深度学习算法,其中双向循环神经网络和长短期记忆网络是常见的的循环神经网络。
循环神经网络具有记忆性、参数共享并且图灵完备,因此能以很高的效率对序列的非线性特征进行学习。
循环神经网络在自然语言处理,例如语音识别、语言建模、机器翻译等领域有重要应用,也被用于各类时间序列预报或与卷积神经网络相结合处理计算机视觉问题。
无论是卷积神经网络,还是人工神经网络,他们的前提假设都是:元素之间是相互独立的,输入与输出也是独立的,比如猫和狗。
但现实世界中,很多元素都是相互连接的,比如股票随时间的变化,一个人说了:我喜欢旅游,其中最喜欢的地方是云南,以后有机会一定要去.这里填空,人应该都知道是填“云南“。因为我们是根据上下文的内容推断出来的,但机会要做到这一步就相当得难了。因此,就有了现在的循环神经网络,他的本质是:像人一样拥有记忆的能力。因此,他的输出就依赖于当前的输入和记忆。