Domain Adaptation 简介

领域自适应Domain Adaptation是迁移学习中很重要的一部分内容,目的是把分布不同的源域和目标域的数据,映射到一个特征空间中,使其在该空间中的距离尽可能近。于是在特征空间中对source domain训练的目标函数,就可以迁移到target domain上,提高target domain上的准确率。


简介

GAN (Generate Adversarial Network) 是基于对抗的生成网络,主要目标是生成与训练集分布一致的数据。在迁移学习领域,对抗也是一种常用的方式。如 Ganin [1] 的论文,使用的网络由三部分组成:特征映射网络 $G_f(x;\theta_f)$,标签分类网络 $G_y(z;\theta_y)$ 和域判别网络 $G_d(z;\theta_d)$。

其中,source domain 的数据是有标签的,target domain 的数据是无标签的。$G_f$ 将 source 和 target domain 的数据都映射到一个特征空间 $Z$ 上,$G_y$ 预测标签 $y$,$G_d$ 预测数据来自于 target 还是 source domain。所以流入 $G_y$ 的是带标签的 source 数据,流入 $G_d$ 的是不带标签的 source 和 target 的数据。

$G_f$:将数据映射到 feature space,使 $G_y$ 能分辨出 source domain 数据的 label,$G_d$ 分辨不出数据来自 source domain 还是 target domain。

$G_y$:对 feature space 的 source domain 数据进行分类,尽可能分出正确的 label。

$G_d$:对 feature space 的数据进行领域分类,尽量分辨出数据来自于哪一个 domain。

最终,期望 $G_f$ 和 $G_d$ 博弈的结果是 source 和 target domain 的数据在 feature space 上分布已经很一致,$G_d$ 无法区分。于是,可以直接使用 $G_y$。

Reference

- [1] [Ganin Y, Lempitsky V. Unsupervised domain adaptation by backpropagation[C]//International conference on machine learning. PMLR, 2015: 1180-1189.](http://proceedings.mlr.press/v37/ganin15.html)

Domain Adaptation 简介
https://pandintelli.github.io/2022/02/17/BriefIntroductionOfDomainAdaptation/
作者
Pand
发布于
2022年2月17日
许可协议