解决过拟合的小技巧

jabecker

深度学习中过拟合问题很普遍，深层神经网络，cnn，rnn（LSTM）
推荐一些可以解决过拟合问题的小技巧，自己也在用，顺便记录。

解决过拟合问题

• 添加更多的数据。这是首选，但数据量总不尽人意
• 使用归一化层，（e.g. 批归一化，层归一化）
• 考虑数据增强
• 增加正则化（e.g. dropout，L2）
• 分析一下高错误率的原因，考虑一下是不是自己代码有问题
• 选择一个比较复杂的模型，比如那些达到stata-of-the-art 的模型
• 调参，虽然刚开始就在调，但建议还是做了之前的几个步骤再开始大规模地调参数，再说现在tensorflow，pytorch……之类的框架中的默认参数已经很好了
• 提前停止（不好用）
• 减少特征（不好用）
• 减少模型的参数量，缩小模型尺寸(不好用）

参考了伯克利CS194

sam喵喵

贴出实验代码和数据图形说明效果更好，说不定能收获更多人热心

ASHX

默认参数可以将就用用，下降的够快了

jacker

出个示例图吧, 这就很抽象了。