最新元学习综述:《A Survey of Deep Meta-Learning》

孤街浪徒 提交于 2020-12-23 10:45:07

本篇文章针对最新元学习综述《A Survey of Deep Meta-Learning》中的模型进行简单汇总 ,并提炼出三种元学习方法:基于度量的元学习、基于模型的元学习、基于优化的元学习的优缺点,以及元学习发展至今仍存在的问题,论文链接如下。

A Survey of Deep Meta-Learningarxiv.org

同时欢迎点赞+关注小样本学习方法专栏,不定期更新小样本学习最新资料以及个人理解。欢迎各种形式交流讨论小样本领域相关内容。

小样本学习方法(FSL)www.zhihu.com图标

一:元学习方法优缺点及待解决问题

1:基于度量的元学习

  • 训练模型不需要针对测试任务进行调整;
  • 当测试与训练任务距离远时,效果不好;
  • 任务变得更大时,逐对比较导致计算上成本昂贵;

2:基于模型的元学习:

  • 由于其系统内部动力学的灵活性,相比大多数基于度量的元学习有更广泛适用性;
  • 在很多监督任务上表现不如度量学习;
  • 当数据量增大时,效果变差;
  • 任务间距离大时,效果不如基于优化的元学习方法;

3:基于优化的元学习:

  • 与基于模型的元学习相比,它们可以在任务分布更广泛的情况获得较优性能;
  • 基于优化的技术需为每个任务优化base learner,导致计算成本昂贵;

4:元学习方法待解决问题:

  • 在训练上过拟合,泛化在新任务上的表现不好;
  • cross domain跨域问题;
  • 训练速度和计算成本;
  • ......

二:各元学习模型及论文题目汇总

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!