Deep CORAL: Correlation Alignment for Deep Domain Adaptation

（还在写）

Introduction

• 作者引进了一个叫做CORAL的方法，通过对source domain和target domain进行线性变换来将他们各自的的二阶统计量对齐。

• 但是作者认为CORAL实际上需要先对图像进行特征提取，再进行线性转换，再训练一个SVM分类器，比较麻烦。

• 作者对CORAL方法进行了拓展，通过在source domain和target domain之间建立一个最小化source domain和target domain数据之间相关性的损失函数来将它并入deep networks。

• 作者将CORAL方法改进做非线性变换，并且直接作用于source domain和target domain。

Deep CORAL

• 假设：target domain上没有标记的数据。

• 第一个目标是：平衡一个大的具有很好泛化的数据域(a large generic domain，比如ImageNet)和source domain之间的deep feature(深度网络学到的特征)。可以通过将神经网络的参数用那个large generic domain预训练过的网络的参数初始化并微调来达到目的。

• 第二个目标是：最小化source domain和target domain的deep feature的二阶统计量的差别。

• 网络架构：
  

在fc8这一层当中，作者引入了CORAL loss这一损失函数。（AlexNet架构）

CORAL loss

$D_s={x_i}$