一个关于ollie的论文解读,论文目的在于知识图谱三元组提取

2019-07-03
阅读 4 分钟
3.7k
前言:模型作用为提取三元组,基于英文,目前尝试改为中文。论文题目名称叫《Open Language Learning for Information Extraction》,代码地址:[链接]

关于本体自动构建goldminner的bug心得

2019-05-14
阅读 2 分钟
1.4k
一.项目地址[链接]该项目的fork量只有2,能不用的尽量别用,太费劲了。二.marven踩坑1.Could not resolve dependencies for project de.uni-mannheim.informatik.dws.goldminer:1.1-Snpshot,failure to find net.sourceforge.owlapi:owlapi:jar:3.2.4 in [链接] was cached in the local repository,resolution will not...

attention is all you need 的预测过程

2019-01-24
阅读 1 分钟
2.9k
好,闲话少说。关于self-attention的训练阶段[链接],这篇文章写的已经很清楚,而且确实验证有效。那么今天扯一下该模型的预测是怎么做的。一.预测流程及输入内容1.我们的encode的input是输入测试集编码(也就是和训练阶段输入一样),但decode的input是0向量(维度和训练时的输入相同)。2.在预测时,encode的output会...

深度学习self-attention流程详解(qkv)

2019-01-15
阅读 3 分钟
18.2k
一.从InputEmbedding和PositionalEnocding说起 1.将原文的所有单词汇总统计频率,删除低频词汇(比如出现次数小于20次的统一定义为’<UNK>’);此时总共选出了假设10000个单词,则用数字编号为0~9999,一一对应,定义该对应表为word2num;然后用xaviers方法生成随机矩阵Matrix :10000行N列(10000行是确定的,对应...