A Neural Attention Model for Sentence Summarization

• 思想
  • 论文利用local attention mechanism基于input sentence建模生成摘要的每一个词。
• 该摘要类型: Abstractive 而非 extractive。
• 模型score函数 $s(x, y) \approx \sum_{i=0}^{N-1}g(y_{i+1}, x, y_c)$

N是Output length，论文假定是固定的，且预先设定的。 $y_c$是大小的$C$的词窗口，计算如下:

$$y_c = [y_{i-C+1}, ...y_{i}]$$

g函数常用conditional log probability，因此$s(x,y)$可用以下表示:

$$s(X, Y) = log(Y|X; \theta) \approx \sum_{i=0}^{N-1}log(Y_{i+1}, X, y_c)$$

• 语言模型

$log(Y|X; \theta)$是条件语言模型，核心任务是计算下一个词的概率分布。

• NNLM

经典NNLM模型如下图

Beigio提出的经典神经网络语言模型如下:

$$p(y_{i+1}|y_c,X;\theta) \quad \infty \quad exp(Vh + W_{enc(X,y_c)})$$ $$\hat y_c = [Ey_{i-C+1},....Ey_{i}]$$ $$h = tanh(U \hat y_c)$$

$E$是词嵌套矩阵

$U,V,W$是权重矩阵

$h$是隐藏层网络

$enc$是上下文编码器，对input和当前context的表征。

• 论文讨论的重点是Encoder使用上，分别介绍了三种Encoder网络结构:
  • Bag of Words Encoder
  • Convolutional Encoder
  • Attention Encoder

本文提出的基于Attention mechanism的Encoder网络结构如下图

• Attention Encoder

$$enc(X,y_c) = p^{T}x^{-}$$ $$p \quad \infty \quad exp(\hat x P \hat y_c')$$ $$\hat x = [Fx_1,...,Fx_M]$$ $$y_c' = [G_{y_{i-C+1}},...,G_{y_i}]$$ $$x^{-}_{i} = \sum_{q=i-Q}^{i+Q} \hat x_i / Q$$

$P$是input embedding matrix与context matrix间映射形成的新的权重矩阵

$F$是word embedding矩阵

$G$是$context \quad embedding$

该算法取得了不错准确率效果，生成的摘要句子语法有待进一步改善。