神经网络训练建议

在本章中,我们将了解可以使用 TensorFlow 框架实现的神经网络训练的各个方面。

以下是可以评估的十项建议 −


反向传播

反向传播是一种计算偏导数的简单方法,其中包括最适合神经网络的合成的基本形式。

反向传播

随机梯度下降

在随机梯度下降中,batch 是示例的总数,用户在单次迭代中使用它来计算梯度。 到目前为止,假设批次已经是整个数据集。 最好的例子是在谷歌规模上工作; 数据集通常包含数十亿甚至数千亿的示例。

随机梯度下降

学习率衰减

学习率衰减

适应学习率是梯度下降优化最重要的特征之一。 这对 TensorFlow 的实现至关重要。


退出

具有大量参数的深度神经网络形成了强大的机器学习系统。 然而,过度拟合在此类网络中是一个严重的问题。

Dropout

最大池化

最大池化是一个基于样本的离散化过程。 目标是对输入表示进行下采样,从而通过所需的假设降低维度。

最大池化

长短期记忆 (LSTM)

LSTM 控制在指定神经元内应采用哪些输入的决定。 它包括对决定应该计算什么以及应该生成什么输出的控制。

长短期记忆