你需要了解的梯度爆炸
什么是梯度爆炸
在神经网络(RNN)中，误差梯度的作用是用来以合适的方向和合适大小更新网络结构权重值。
在神经网络训练过程中，误差梯度值是不断累积的，从一个小值可能会变化到一个异常大的值，这种误差梯度巨大浮动反过来会导致权重向量的剧烈变化，最终训练的网络结构不够稳定。在极端条件下，由于权重向量更新很大，导致程序内存溢出，输出结果是NAN。
A Neural Attention Model for Sentence Summarization
- 思想
- 论文利用local attention mechanism基于input sentence建模生成摘要的每一个词。
- 该摘要类型: Abstractive 而非 extractive。
- 模型score函数