Caffe 中的正則化損失（重量衰減）

在求解器檔案中，我們可以使用 weight_decay 和 regularization_type 選項設定全域性正則化損失。

在許多情況下，我們需要不同層的不同重量衰減率。這可以通過為網路定義檔案中的每一層設定 decay_mult 選項來完成，其中 decay_mult 是全域性權重衰減率的乘數，因此應用於一層的實際權重衰減率為 decay_mult*weight_decay。

例如，以下定義了卷積層，無論解算器檔案中的選項如何都沒有權重衰減。

layer {
  name: "Convolution1"
  type: "Convolution"
  bottom: "data"
  top: "Convolution1"
  param {
    decay_mult: 0
  }
  convolution_param {
    num_output: 32
    pad: 0
    kernel_size: 3
    stride: 1
    weight_filler {
      type: "xavier"
    }
  }
}

有關更多資訊，請參閱此主題 。