深度学习模型-自动编码器(AE),就是一个神经网络的映射函数,f(x)——>y,把输入的一个原始信号,如图像、声音转换为特征。
大纲:
自动编码器的基本思想
网络结构
损失函数与训练算法
实际使用
去燥自动编码器
稀疏编码
收缩自动编码器
多层编码器
本集总结
自动编码器的基本思想:
人工神经网络实现的是一个向量X映射为另一个向量Y(Rn——>Rm,m<<n),通过多层复合函数来实现,Y一般设置为样本标签向量label。AE把Y设置为从原始数据X提取出的特征向量,如X是一个高维的图像或声音。而Y是自动训练出来的,不需要人工指定,因此需考虑怎么设置训练目标函数。
直接用一个单层或者多层神经网络对输入数据进行映射,得到输出向量,作为从输入数据提取出的特征。核心问题:怎么设置训练目标?解决思想:编码器+解码器框架。
网络结构:
编码器-将输入数据映射为特征向量,解码器-将特征向量映射回输入向量重构。
类似于PCA,不过PCA直接计算目标函数L,不用训练。
损失函数与训练算法:
损失函数定义为重构误差,类似PCA的做法。损失函数:,h是编码器的映射函数,g是解码器的映射函数。xi编码之后再解码和原始数据xi尽可能的接近。xunlianhao
训练算法和普通的神经网络相同,用BP算法训练,梯度下降法SGD、GD