“深度神经网络”（Deep Neural Network, DNN）是指那些包含大量层次的神经网络。然而，将一个神经网络定义为“深度”的确切层数没有固定的标准。不过，随着计算能力的提升和数据量的增加，现代的深度学习模型通常包含更多的层。
- 传统的神经网络：早期的神经网络，如多层感知器（MLP），通常只包含一个或几个隐藏层。
- 深度学习的崛起：当我们开始考虑使用多于三个或四个隐藏层的网络时，这些模型通常被视为“深层”模型。例如，AlexNet，一个2012年赢得ImageNet挑战赛的卷积神经网络，有8层，并被当时视为非常深的网络。
- 当前的深度模型：随着技术的进步，一些现代的神经网络，如ResNet、BERT等，可以包含上百甚至上千的层。
要点是，将什么算作“深度”是相对的，并且随着时间的推移和技术的发展而变化。在深度学习的早期，拥有数个隐藏层的模型可能被视为深度模型。而现在，我们可能会期望一个深度模型至少拥有几十个层。不过，真正的焦点应该放在模型是否能够解决特定的问题，以及所使用的结构是否合适，而不是模型的层数。