1、先读文献摘要

摘要部分是对paper内容高度抽象浓缩,既可以帮助对要讨论的内容的建立把握、认识,也能帮助从众多论文中筛选优质内容节省时间。对于不是自己关注研究领域,仅读摘要部分也不失为一种开阔视野的方法。

2、明确所在研究领域的大问题

站在更高的视角上,明确所在研究领域的大问题,而不是着急地去考究这一篇论文在阐述什么。

ReadMore »



什么是梯度爆炸

在神经网络(RNN)中,误差梯度的作用是用来以合适的方向和合适大小更新网络结构权重值。

在神经网络训练过程中,误差梯度值是不断累积的,从一个小值可能会变化到一个异常大的值,这种误差梯度巨大浮动反过来会导致权重向量的剧烈变化,最终训练的网络结构不够稳定。在极端条件下,由于权重向量更新很大,导致程序内存溢出,输出结果是NAN。

ReadMore »



ReadMore »