Domain Adaptation 简介
领域自适应 即 Domain Adaptation是迁移学习中很重要的一部分内容,目的是把分布不同的源域和目标域的数据,映射到一个特征空间中,使其在该空间中的距离尽可能近。于是在特征空间中对source domain训练的目标函数,就可以迁移到target domain上,提高target domain上的准确率。
简介
GAN (Generate Adversarial Network) 是基于对抗的生成网络,主要目标是生成与训练集分布一致的数据。在迁移学习领域,对抗也是一种常用的方式。如 Ganin [1] 的论文,使用的网络由三部分组成:特征映射网络 $G_f(x;\theta_f)$,标签分类网络 $G_y(z;\theta_y)$ 和域判别网络 $G_d(z;\theta_d)$。
其中,source domain 的数据是有标签的,target domain 的数据是无标签的。$G_f$ 将 source 和 target domain 的数据都映射到一个特征空间 $Z$ 上,$G_y$ 预测标签 $y$,$G_d$ 预测数据来自于 target 还是 source domain。所以流入 $G_y$ 的是带标签的 source 数据,流入 $G_d$ 的是不带标签的 source 和 target 的数据。
$G_f$:将数据映射到 feature space,使 $G_y$ 能分辨出 source domain 数据的 label,$G_d$ 分辨不出数据来自 source domain 还是 target domain。
$G_y$:对 feature space 的 source domain 数据进行分类,尽可能分出正确的 label。
$G_d$:对 feature space 的数据进行领域分类,尽量分辨出数据来自于哪一个 domain。
最终,期望 $G_f$ 和 $G_d$ 博弈的结果是 source 和 target domain 的数据在 feature space 上分布已经很一致,$G_d$ 无法区分。于是,可以直接使用 $G_y$。