利用 RNN 训练 Seq2Seq 已经成为过去,CNN 才是未来?

当前 seq2seq (序列到序列)学习惯用的方法是,借助 RNN(循环神经网络)将输入序列转变为变长输出序列(variable length output sequence),而 FAIR (Facebook AI Research)则提出了一种完全基于 CNN (卷积神经网络)的架构。相比循环模型,其训练过程中所有元素的计算都可以完全并行化,GPU 硬件的性能可以得到更好的利用;而且,由于非线性的数量是固定的并且不受输入长度支配,优化起来也更加容易。

阅读 2.1k
0 条评论