首页 > TensorFlow 阅读:2,508

什么是自编码器,自编码器及其应用详解

自动编码机(简称自编码器)是前馈非循环神经网络,是一种无监督机器学习方法,具有非常好的提取数据特征表示的能力,它是深层置信网络的重要组成部分,在图像重构、聚类、机器翻译等方面有着广泛的应用。

自动编码机也被称为 diabolo 网络或 autoassociator,最初是在 20 世纪 80 年代由 Hinton 和 PDP 小组提出的。同多层感知机一样,自动编码机也使用 BP 算法进行学习,但最大的不同在于,自动编码机的目标是重构一样的输入。

可以将自动编码机看作由两个级联网络组成,第一个网络是一个编码器,负责接收输入 x,并将输入通过函数 h 变换为信号 y:


 
第二个网络将编码的信号 y 作为其输入,通过函数f得到重构的信号 r:


 
定义误差 e 为原始输入 x 与重构信号 r 之差,e=x–r,网络训练的目标是减少均方误差(MSE),同 MLP 一样,误差被反向传播回隐藏层。

下图中显示了自动编码机的结构,用颜色区分编码器和解码器。


自动编码机可以进行权值共享,即解码器和编码器的权值彼此互为转置,这样可以加快网络学习的速度,因为训练参数的数量减少了,但同时降低了网络的灵活程度。

自动编码机与 RBM 非常类似,本质区别在于,自动编码机中神经元的状态是确定性的,而 RBM 中神经元的状态是概率性的。

根据隐藏层的大小,自动编码机分为欠完备自动编码机(隐藏层神经元数量小于输入层神经元数量)和过完备自动编码机(隐藏层神经元数量大于输入层神经元数量)。而根据对损失函数的约束条件,又可以分为:稀疏自动编码机、去噪自动编码机和卷积自动编码机,后续我们将学习这些自动编码机的不同版本,并使用 TensorFlow 来实现它们。

自动编码机的一个非常好的应用是降维,而且自动编码机能产生比 PCA 更好的结果。自动编码机也可用于特征提取、文档检索、分类和异常检测。