Transfer Learning
本文中的source data 和target data分别是有大量的非当前任务数据集和少量的当前任务数据集。  2 examples:  Both Labeled 1. Model Fine Tuning  当target data的量很少的时候,称为one-shot learning。 Fine Tuning: 将在source data中训练好的model作为target data的初始model继续训练。 Overtraining: 当target data的数量实在太少,在source 的 model一直训练就会出现overfitting.两种方法解决: Conservative Training:  做一些constraint:限制两个网络对于同一个输入的输出尽量接近,或者两个网络的参数尽量接近。 Layer Transfer:  只训练source data网络其中的几层,其他层固定(直接copy)。那到底哪些layer需要训练,哪些可以固定? 不同的任务有对应不同的layer选择: 对于语音,因为每个人发音的生理结构不太一样,但每个词是一样的,因此需要训练前面几层,而后面几层直接copy。 对于图像,一些基本的轮廓是可以共享的,但最后图像的分类是不一样的,所以训练后面几层,而前面几层直接copy。  2. Multitask Learning