(资料图片仅供参考)
神经网络的训练
在构建了这个模型之后,就可以基于损失函数对参数进行优化了,采用的方法就是梯度下降法。但是我们注意到当神经网络叠的层次比较多的时候,参数的数目是爆炸性增长的,比如现在的语音识别网络简单一点的也有七八层,每一层有上千个神经元,参数量就达到上百万个。如果直接采用梯度下降法,每迭代一步都对所有参数进行微分计算,计算量将时巨大的!为了使梯度下降法更有效率,一种叫做后向传播(backpropagation)的算法被提出。后向传播本质上也是一
(资料图片仅供参考)
在构建了这个模型之后,就可以基于损失函数对参数进行优化了,采用的方法就是梯度下降法。但是我们注意到当神经网络叠的层次比较多的时候,参数的数目是爆炸性增长的,比如现在的语音识别网络简单一点的也有七八层,每一层有上千个神经元,参数量就达到上百万个。如果直接采用梯度下降法,每迭代一步都对所有参数进行微分计算,计算量将时巨大的!为了使梯度下降法更有效率,一种叫做后向传播(backpropagation)的算法被提出。后向传播本质上也是一