(本文是根据 neuralnetworksanddeeplearning 这本书的第三章Improving the way neural networks learn整理而成的读书笔记,根据个人口味做了删减)
上一章中,我们领略了神经网络中最重要的算法:后向传播算法(BP)。它使得神经网络的训练成为可能,是其他高级算法的基础。今天,我们要继续学习其他方法,这些方法使得网络的训练结果更好。
这些方法包括:
- 更好的损失函数:交叉熵(cross-entropy)函数
- 四种正规化方法:L1、L2、dropout以及数据集的人工增广
- 一种更好的初始化权值的方法
- 一系列选择 hyper-parameters 的启发策略
- 其他一些小技巧