选自Medium

作者： Andrej Karpathy

机器之心编译

参与：吴攀、李亚洲、杜夏德

当我们在斯坦福提供 CS231n（深度学习课程）时，我们有意设计编程任务来将涉及最底层的反向传播的明确的计算包括进来。这些学生必须在原始的 numpy 的每一层中实现前向和反向传播。然而，一些学生在黑板上留下这些抱怨。

现阶段最好的神经网络结构中，规范化（normalization）是一项重要技术。尽管规范化有利于网络训练的原因仍不清楚，但它已经被广泛的应用于提高模型的泛化能力、稳定训练过程、以及加速模型收敛，同时规范化也使得使用更高的学习率训练模型成为了可能。

选自Topbots

作者：Mariya Yao

参与：马亚雄、吴攀

深度学习领域近来已经发展出大量的新架构，而如何选择使用这些新架构提升卷积神经网络的性能就显得越发重要了。机器之心之前报道过提交 ICLR 2017 的论文：解析深度卷积神经网络的14种设计模式也正是关注于此。而本文在描述14种设计模式之余更加注重于阐述构建和训练卷积网络的小技巧。

神经网络（NN）几乎可以在每个领域帮助我们用创造性的方式解决问题。本文将介绍神经网络的相关知识。读后你将对神经网络有个大概了解，它是如何工作的？如何创建神经网络？

本文涉及以下内容：

作者：SAGAR SHARMA编译：ronghuaiyang

导读

激活函数是神经网络中必不可少的组成部分，这篇文章给大家介绍了各种各样的激活函数，一起来看看吧。