首页 > TensorFlow 阅读:8,979

迁移学习及实操(使用预训练的VGG16网络)详解

本节讨论迁移学习,它是一个非常强大的深度学习技术,在不同领域有很多应用。动机很简单,可以打个比方来解释。假设你想学习一种新的语言,比如西班牙语,那么从你已经掌握的另一种语言(比如英语)学起,可能是有用的。

按照这种思路,计算机视觉研究人员通常使用预训练 CNN 来生成新任务的表示,其中数据集可能不够大,无法从头开始训练整个 CNN。另一个常见的策略是采用在 ImageNet 上预训练好的网络,然后通过微调整个网络来适应新任务。

这里提出的例子受启于 Francois Chollet 写的关于 Keras 的一个非常有名的博客(https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html)。

这个想法是使用在像 ImageNet 这样的大型数据集上预先训练的 VGG16 网络。注意,训练的计算量可能相当大,因此使用已经预训练的网络是有意义的:

一个 VGG16 网络
图 1 一个 VGG16 网络

那么,如何使用 VGG16 呢?Keras 使其变得容易,因为有一个标准的 VGG16 模型可以作为一个库来使用,预先计算好的权重会自动下载。请注意,这里省略了最后一层,并将其替换为自定义层,该层将在预定义的 VGG16 的顶部进行微调。

例如,下面你将学习如何分类 Kaggle 提供的狗和猫的图片:
  1. 从 Kaggle(https://www.kaggle.com/c/dogs-vs-cats/data)下载狗和猫的数据,并创建一个包含两个子目录(train 和 validation)的数据目录,每个子目录有两个额外的子目录,分别是 dogs 和 cats。
  2. 导入稍后将用于计算的 Keras 模块,并保存一些有用的常量:


     
  3. 加载 ImageNet 上预训练的 VGG16 网络,省略最后一层,因为这里将在预建的 VGG16 网络的顶部添加自定义分类网络,并替换原来 VGG16 的分类层:


     
    上述代码的输出如下:


     
  4. 冻结预训练的 VGG16 网络的一定数量的较低层。在这里决定冻结最前面的 15 层:


     
  5. 为了分类,添加一组自定义的顶层:


     
  6. 自定义网络应该单独进行预训练,为了简单起见,这里省略了这部分,将此任务交给读者:


     
  7. 创建一个新的网络,这是预训练的 VGG16 网络和预训练的定制网络的组合体:


     
  8. 重新训练组合的新模型,仍然保持 VGG16 的 15 个最低层处于冻结状态。在这个特定的例子中,也使用 Image Augumentator 来增强训练集:


     
  9. 在组合网络上评估结果:

解读分析

一个标准的 VGG16 网络已经在整个 ImageNet 上进行了预训练,并且使用了预先计算好的从网上下载的权值。这个网络和一个已经被单独训练的定制网络并置在一起。然后,并置的网络作为一个整体被重新训练,同时保持 VGG16 的 15 个低层的参数不变。

这个组合非常有效。它可以节省大量的计算能力,重新利用已经工作的 VGG16 网络进行迁移学习,该网络已经在 ImageNet 上完成了学习,可以将此学习应用到新的特定领域,通过微调去完成分类任务。

根据具体的分类任务,有几条经验法则需要考虑:
  • 如果新的数据集很小,并且与ImageNet数据集相似,那么可以冻结所有的VGG16网络并仅重新训练定制网络。这样,也可以最小化组合网络过度拟合的风险。

    可运行代码 base_model.layers:layer.trainable=False 冻结所有低层参数。

  • 如果新数据集很大并且与ImageNet数据集相似,那么可以重新训练整个并置网络。仍然保持预先计算的权重作为训练起点,并通过几次迭代进行微调:

    可运行代码 model.layers:layer.trainable=True 取消冻结所有低层的参数。

  • 如果新数据集与ImageNet数据集有很大的不同,实际上仍然可以使用预训练模型的权值进行初始化。在这种情况下,将有足够的数据和信心通过整个网络进行微调。更多信息请访问http://cs231n.github.io/transfer-learning/