Caffe 中的正则化损失(重量衰减)

求解器文件中,我们可以使用 weight_decayregularization_type 选项设置全局正则化损失。

在许多情况下,我们需要不同层的不同重量衰减率。这可以通过为网络定义文件中的每一层设置 decay_mult 选项来完成,其中 decay_mult 是全局权重衰减率的乘数,因此应用于一层的实际权重衰减率为 decay_mult*weight_decay

例如,以下定义了卷积层,无论解算器文件中的选项如何都没有权重衰减。

layer {
  name: "Convolution1"
  type: "Convolution"
  bottom: "data"
  top: "Convolution1"
  param {
    decay_mult: 0
  }
  convolution_param {
    num_output: 32
    pad: 0
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
  }
}

有关更多信息,请参阅此主题