论文：CapsGAN: Using Dynamic Routing for Generative Adversarial Networks-CapsGAN:使用动态路由生成对抗网络
代码：https://github.com/raeidsaqur/CapsGAN
Abstract
在本文中，我们提出了一种新的技术，以产生图像在三维领域的高度几何变换。最近几年，GANs (Goodfellow等人)和Capsule networks (Sabour,Hinton等人)这两种流行的并行方法迅速成为了机器学习的时代思潮，我们将它们结合在一起，呈现出CapsGAN。我们证明CapsGAN在使用旋转MNIST生成具有高几何变换的图像方面优于或等于传统的基于CNN的GANs。在这个过程中，我们还展示了在GANs领域中使用胶囊架构的有效性。此外，我们通过使用瓦瑟斯坦距离(梯度裁剪、惩罚)和光谱归一化进行实验，解决了训练GANs中的难题——性能控制和训练稳定性。本文的实验结果将推动胶囊和GANs在仍令人兴奋和新生的三维图像生成领域的应用，并有望实现视频(帧)生成。
CapsGAN
本节详细介绍了用于旋转MNIST数据集的基线DCGAN和拟议的CapsGAN的架构和算法。
Architecture
对于基线，使用了DCGAN体系结构。如图1所示。
图1
对于CapsGAN，该模型遵循一个普通的GAN框架，同时训练生成器和判别器网络。鉴别器被表示为一个使用动态路由的胶囊网络，它的实现是原论文中特色的一个小变体。关键的区别是最后一层是一个16维的胶囊，而原架构的特点是10×16维的胶囊。之所以这样做，是因为判别器的输出应该代表输入图像是来自真实分布还是生成分布采样的概率。因此，这种二进制信息需要一个16维向量胶囊，其长度与输入图像从真实数据分布中采样的概率相关。动态路由过程发生在主胶囊层和输出数字胶囊之间。高层次的说明如下图2所示。
图2
生成器涉及一个二维转置卷积网络，如图 1 所示。生成器网络的设计灵感来源于DCGAN框架。它包含5个卷积转置层，负责对128维向量进行上采样，每个元素从平均数为0、标准差为1的正态分布中独立采样。在每个解卷积层之间还应用了批量归一化。这样做是为了使生成网络正规化，进而提高训练的稳定性。除最后一层外，所有层之间都采用整流后的线性单元作为非线性。在批量归一化之前，将非线性应用到输出中。然后将'tanh'非线性函数应用于上采样图像的最终输出。
我们为鉴别器提议的架构更改如下图5所示。
图5
网友评论