丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI

ProGAN（Progressive Growing of GANs）是一种创新的生成对抗网络（GAN）训练方法，由SM Zhang和L. Zhang在2018年提出。ProGAN的核心思想是通过逐渐增加生成器和判别器的分辨率来训练GAN，从而在高分辨率图像上实现高质量的生成效果。这种方法避免了在训练初期直接在高分辨率图像上训练GAN时遇到的梯度问题和训练不稳定问题。

论文的工作属于深度学习在工业界的应用，借鉴计算机视觉的解决方法，针对机器故障检测的场景提出自适应的APReLU，对故障检测的准确率有很大的提升。论文整体思想应该也可以应用于计算机视觉，代码也开源了，大家可以尝试下
?
来源：晓飞的算法工程笔记 公众号

雷锋网按：本文原作者天雨粟，原文载于作者的知乎专栏——机器不学习，雷锋网经授权发布。

前言

GAN 从 2014 年诞生以来发展的是相当火热，比较著名的 GAN 的应用有 Pix2Pix、CycleGAN 等。本篇文章主要是让初学者通过代码了解 GAN 的结构和运作机制，对理论细节不做过多介绍。我们还是采用 MNIST 手写数据集（不得不说这个数据集对于新手来说非常好用）来作为我们的训练数据，我们将构建一个简单的 GAN 来进行手写数字图像的生成。

线性整流函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。整流线性单元，激活部分神经元，增加稀疏性，当x小于0时，输出值为0，当x大于0时，输出值为x.

以《绝地求生》、《TERA》等名作文明业界的KRAFTON日前宣布，成立新独立工作室ReLU Games，预定7月1日启动，这是该公司的第11个独立游戏工作室，首部新作解谜游戏《FOONDA: AI Puzzle》制作中，预定今年第四季度发布。

·ReLU Games工作室将着重以“深度学习”为主轴参与游戏制作，工作室总裁表示，深度学习技术将会给玩家的日常生活或游戏制作带来巨大的变化，ReLU Games会积极尝试融合深度学习机能与游戏中，带泪玩家更加有趣的体验。

如果您花了一些时间来实施深度学习模型，那么您很可能已经意识到任何给定的深度学习实验集之间的一些共同点。 这些主题之一是激活功能！ 根据您要解决的问题，您将需要为神经网络的架构选择最合适的激活函数。 在本文末尾，您应该能够执行以下操作：

· 解释什么是外行术语激活函数，并描述它们在人工神经网络中的作用。

1.特征提取

在我们深入了解卷积的细节之前，让我们先讨论一下网络中这些层的用途。我们将看到如何使用这三种操作（卷积、ReLU和最大池化）来实现特征提取过程。

ReLU函数，全称为Rectified Linear Unit，中文名称是线性整流函数，是一种人工神经网络中常用的激活函数，通常指代数学中的斜坡函数，即

f(x)=max(0,x)