1

Improving Low-Resource Named Entity Recognition using Joint Sentence and Token Labeling阅读笔记

1. Summary

本文针对low-resource NER任务——小语种电商NER任务,提出了一种使用句子标签(易获得)与token-level NER的联合训练方法,该方法表明联合句子标签可有效提升low-resource NER的识别性能。本文的亮点主要是提出了利用sentence label的联合训练模型,并对attention机制进行了探究实验,发现使用self-learned的放缩因子效果更好。

2. Content

2.1 联合训练模型如下图所示:

image.png
其中,句子分类任务与NER任务除输出层均是共享层,word embedding设置trainable为False(加入Projection层达成同样效果),最后的隐层输出使用残差连接,联合模型需要优化的loss函数如下:
image.png
最后隐层输出计算公式如下,$\Eta' \in \mathbb{R}^{T * d_h}$:
image.png
模型训练过程首先是用大量数据训练句子分类任务的layers,然后再加载Projection层和BLSTM层的权重初始化,然后再对NER任务和句子分类任务进行联合训练。

2.2 Attention探究

对attention层的放缩机制进行探究,发现将放缩因子加入训练会获得更好的性能,attention公式修改如下:
image.png
其中$\bm{\delta}$是一个向量,通过训练获得动态的自适应。文中还探讨了soft、scaled、unscaled模式的attention。

2.3 实验结果

image.png


Mecthew
0 声望0 粉丝

NLP小萌新


引用和评论

0 条评论