Efficient parametrization of multi-domain deep neural networks阅读笔记

常见的迁移学习任务

    1、multi-task model

        同时适用于多个task

    2、multi-domain model

        同时适用于多个domain

    3、extensible model

        模型可随时间进化，通过之前学习的知识来迁移到新的任务和domain上

创新

    定义网络为；w是universal vector，固定且不同domain之间共享；α是parameter vector，为domain specific参数。其中，α要远小于w。

结论

    1、parallel adapter 优于 series adapter

    2、early + late layers都需要adapted

    3、dropout对bigger pretrained network有较大提升

 

来源：https://blog.csdn.net/sinat_30618203/article/details/99336511