Datawhale X 李宏毅苹果书 AI夏令营 Task2笔记
Task2.1:《深度学习详解》- 3.3&4&5 自适应学习率的概念和方法,包括AdaGrad、RMSProp和Adam等优化器。 - **训练网络时的梯度和损失变化**:训练网络时损失可能不再下降,但梯度范数不...
Datawhale X 李宏毅苹果书 AI夏令营 Task3 批量归一化、卷积神经网络、自注意力机制原理 笔记
神经网络训练不起来怎么办(5):批次标准化(Batch Normalization)简介_哔哩哔哩_bilibili Task3:《深度学习详解》- 3.7 批量归一化 - **产生不好训练的误差表面的原因**:输入特征不...