关于“Deep Adversarial Metric Learning”

论文阅读笔记

1. 论文题目：Deep Adversarial Metric Learning
2. 论文创新点：DAML利用大量 易辨识的负例（ easy negatives）生成 难辨识的负例（hard negatives）；现存的度量学习（metric learning）方法仅利用数量少的hard negatives而忽略数量多的easy negatives。如下图所示，
3. 具体内容：
     DAML的网络结构如下：
      DAML的目的是通过优化设计好的目标函数 $θ ^a _f = \mathop {\arg\min} \limits_{θ_f} \mathrm{J} _m(θ_f ; x_i , x ^+ _i , \tilde{x} ^− _i , f)$来获得参数$θ_f$，这里$\tilde{x}^− _i$表示产生的负例（negative sample），$\tilde{x} ^− _i = G(θ_g; x ^− _i , x_i , x ^+ _i )$。
   
      生成器（generator）的目标函数为：
   $\mathop {\min} \limits_{θ_g} \mathrm{J}_{gen} = \mathrm{J}_{hard} + λ_1\mathrm{J}_{reg} + λ_2\mathrm{J}_{adv} = \sum \limits ^{N} _{i=1} (||\tilde{x} ^− _i − x_i ||^2 _2 + λ_1||\tilde{x} ^− _i − x ^- _i ||^2 _2 + λ_2[D(\tilde{x} ^− _i, x_i) ^2 − D(x ^+ _i , x_i) ^2 − α]_+)$。
   
     对抗性度量学习（Deep Adversarial Metric Learning）的框架可以应用于有监督度量学习的各种目标函数，即用以下目标函数同时训练 难辨识的负例生成器（hard negative generator）和距离度量：
   $\mathop {\min} \limits_{θg,θf} \mathrm{J} = \mathrm{J}_{gen} + λ\mathrm{J}_m$
      DAML (cont)：对于contrastive embeddings，$\mathrm{J}_m = \sum \limits ^{N_i} _{i=1} D(x ^+ _i , x_i) ^2 + \sum \limits ^{N_j} _{j=1} [α − D(\tilde{x} ^− _j , x_j ) ^2 ] _+$
   
      DAML (tri)：对于triplet embeddings，
   $\mathrm{J}_m = \sum \limits ^{N} _{i=1} [D(x ^+ _i , x_i) ^2 − D(\tilde{x} ^− _i , x_i ) ^2 + α] _+$
      DAML (lifted)：对于lifted structure，
   $\mathrm{J}_m = \dfrac{1}{2N_i} \sum \limits ^{N_i} _{i=1} \mathop{\max}(0, \mathrm{J}_{i^+, i})$
   $\mathrm{J}_{i^+, i}= \mathop{\max}( \mathop{\max} α − \tilde{D}(x ^+ _i ),\ \mathop{\max} α − \tilde{D}(x_i)) + D(x ^+ _i , x_i)$
           这里$\tilde{D}(X)$表示负例对（negative pairs）到X的距离。
   
      DAML (N-pair)：对于 N-pair loss，
   $\mathrm{J}_m = \dfrac{1}{C} \sum \limits ^{C} _{c=1} \mathop{\log}(1 + \sum \limits _{c' \ne c} \mathop{\exp}(D(x_c, \tilde{x} ^+ _{c'}) − D(x_c, x ^+ _c )))$这里$D(x_i , x_j ) = f ^T_i f_j$是在N-pair loss度量相似性。

来源：CSDN

作者：Allen_David

链接：https://blog.csdn.net/gzw110605110/article/details/84845342