1. 全连接层 前文中我们讨论的几乎都是全连接层，也就是在层间，每个神经元都与前一层的所有神经元相连接，如图： 也就是每层的每个feature，都与前一层所有features相关联，是前一层所有featur...

当神经网络的层数增加，结构变复杂后，如果只用纯python（再加Numpy）来实现，代码将变得异常复杂，且难以阅读和调试。此时，就需要引入一些著名的深度学习框架了，比如PyTorch, TensorFlow等。...

由反向传播原理可知，梯度的计算遵循链式法则。由于网络层数不断加深，梯度的连乘效应可能会导致梯度呈指数形式衰减，又或以指数形式增加。 前者叫做梯度消失，梯度消失导致网络中的早期层几乎...