书中脉络大概为:
1 神经元
2 感知机 :两层神经元
3 多层前馈神经网络
训练误差为:
4 误差逆传播算法
即最小化训练集D上的累积误差
而标准BP算法每次仅针对一个训练样例更新连接权和阈值,基于单个的Ek推导而得.
5 过拟合与欠拟合的解决方法
过拟合:
- 利用验证集达到早停
- 正则化,减少模型的复杂程度
6 如何跳出局部极小
- 多组不同参数值初始化
- 模拟退火,即允许一定概率使得误差变大
- 随机梯度下降,使得在极小值时仍能有梯度变化
- 遗传算法
来源：Hugo Zhong
声明：本站部分文章及图片转载于互联网，内容版权归原作者所有，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！