当确定了神经网络的模型结构和损失函数之后，模型的训练可以规约为对损失函数进行优化求解的问题。机器学习的模型、策略和算法三要素对于深度学习同样适用。神经网络的训练求解方法从早期的梯度下降、批梯度下降、随机梯度下降到Momentum、RMSProp和Adam等，大体上都脱离不了梯度下降的框架。 RszdDZpMlt4x7cZqUTWDc1hCx7o0tMthq3YR+b2Qq2z/pYwKueciqkZS49gIEbwM
