Improving Low-Resource Named Entity Recognition笔记

Improving Low-Resource Named Entity Recognition using Joint Sentence and Token Labeling阅读笔记

1. Summary

本文针对low-resource NER任务——小语种电商NER任务,提出了一种使用句子标签(易获得)与token-level NER的联合训练方法,该方法表明联合句子标签可有效提升low-resource NER的识别性能。本文的亮点主要是提出了利用sentence label的联合训练模型,并对attention机制进行了探究实验,发现使用self-learned的放缩因子效果更好。

2. Content

2.1 联合训练模型如下图所示:

image.png
其中,句子分类任务与NER任务除输出层均是共享层,word embedding设置trainable为False(加入Projection层达成同样效果),最后的隐层输出使用残差连接,联合模型需要优化的loss函数如下:
image.png
最后隐层输出计算公式如下,$\Eta' \in \mathbb{R}^{T * d_h}$:
image.png
模型训练过程首先是用大量数据训练句子分类任务的layers,然后再加载Projection层和BLSTM层的权重初始化,然后再对NER任务和句子分类任务进行联合训练。

2.2 Attention探究

对attention层的放缩机制进行探究,发现将放缩因子加入训练会获得更好的性能,attention公式修改如下:
image.png
其中$\bm{\delta}$是一个向量,通过训练获得动态的自适应。文中还探讨了soft、scaled、unscaled模式的attention。

2.3 实验结果

image.png

NLP小萌新

0 声望
0 粉丝
0 条评论
推荐阅读
A Frustratingly Easy Approach论文简记
本文是陈丹琦博士关于实体识别与关系抽取的一篇论文,文本使用了一种pipeline的方式而非joint learning的方式超越了之前的一众模型,在数据集ACE04/05、SciERC达到SOTA。其中:

Mecthew阅读 1.9k

排除 spaCy 的部分组件(qbit)
Industrial-strength Natural Language Processing (NLP) in Python工业级 NLP

qbit阅读 572

【如何提高IT运维效率】深度解读京东云基于NLP的运维日志异常检测AIOps落地实践
日志在IT行业中被广泛使用,日志的异常检测对于识别系统的运行状态至关重要。解决这一问题的传统方法需要复杂的基于规则的有监督方法和大量的人工时间成本。我们提出了一种基于自然语言处理技术运维日志异常检测...

京东云开发者阅读 410

封面图
我在京东做研发丨当ChatGPT“遇上”垂直搜索:看金融搜索问答NLP应用
新版Bing搜索引擎率先拥抱ChatGPT并火速上线ChatGPT带来的浪潮为垂直搜索又会带来什么新机遇?京东搜索问答技术专家详细分享ChatGPT与搜索引擎的异同NLP在垂直领域搜索问答的落地实践“ChatBot+搜索引擎”融合模式...

京东云开发者阅读 324

封面图
10w+训练标签?成本太高!PaddleNLP情感分析赋能消费“回暖”
随着餐饮行业进入线上线下、堂食外卖并重的“双主场”时代,面对铺天盖地的用户评论数据,如何用数字化手段优化经营成为餐饮企业降本增效的关键。今天带来的分享案例是黑蚁资本如何借助PaddleNLP情感分析技术开发了...

飞桨PaddlePaddle阅读 263

封面图
通用信息抽取技术UIE产业案例解析,Prompt范式落地经验分享!
想了解用户的评价究竟是“真心夸赞”还是“阴阳怪气”? 想快速从多角色多事件的繁杂信息中剥茧抽丝提取核心内容? 想通过聚合相似事件准确地归纳出特征标签? …… 想了解UIE技术在产业中的实战落地经验?通用信息抽取...

飞桨PaddlePaddle阅读 165

【NLP 系列】Bert 词向量的空间分布
我们知道Bert 预训练模型针对分词、ner、文本分类等下游任务取得了很好的效果,但在语义相似度任务上,表现相较于 Word2Vec、Glove 等并没有明显的提升。有学者研究发现,这是因为 Bert 词向量存在各向异性(不同...

京东云开发者阅读 116

封面图

NLP小萌新

0 声望
0 粉丝
宣传栏