A Hierarchical Neural Autoencoder for Paragraphs and Documents

less than 1 minute read

论文基本信息

  1. 论文名:A Hierarchical Neural Autoencoder for Paragraphs and Documents

  2. 论文链接:https://arxiv.org/pdf/1506.01057.pdf

  3. 论文源码:


A Hierarchical Neural Autoencoder for Paragraphs and Documents

模型结构

  1. Standard Sequence to Sequence Model

    img

  2. Hierarchical Sequence to Sequence Model

    img

  3. Hierarchical Sequence to Sequence Model with Attention

    img

    • 计算过程

    img

    img

    img

    img

Evaluation

img

  • 把每个句子(输出和输入)都表示成一个特征向量,并按顺序标注index
  • 通过计算sentence-to-sentence的F1 score,将输出的句子对应到输入的句子上,即输入的第i个句子对应的是输出的第i个句子
  • (j − i)可以理解为由j和i索引的两个输出句子之间的索引距离,(j - i)表示对应的输入句子之间的距离
  • 如果没有输入句子与输出句子相对应,则会随机找一个输入句子与其匹配计算
  • 不足之处:只考虑了语意(句子之间的相关性),几乎没有考虑语法

实验结果

img

Comments