Deep Snow: Synthesizing Remote Sensing Imagery with Generative Adversarial Nets

Christopher X. Ren, Amanda Ziemann, James Theiler, Alice M.S. Durieux

概要

本作中，我们演示了生成式对抗网络这种模型可以用于生成真实的普遍的RGB模式的遥感图像的各种形态，即使在没有配对的训练数据集里。我们对真实图像与生成图像之间做距离度量的各种量化指标做了一些研究，它们可以提供区分两种不同图像的标准。此外，我们还深信，GANs将一些东西引入生成图像后，虽然生成图像和真实图像看起来十分相似，但在深度交叉的特征空间中有很大的差异。

深度学习，机器学习，生成式对抗网络

引言

把来自一个域的图片与另一个域里与它对应的另一张图片相匹配的任务被称为图像翻译。这类任务有点像自然语言处理里的翻译任务：就像不同语言可以用不同的方式表达同一个意思一样，一个给定的图像也有可能在不同域里有不同的表示方式。本作中，我们试图生成跨季节的RGB的彩色遥感图像，我们尤其关注合成有雪覆盖的那种图像，为此，我们用到了GANs模型，近段时间来这种模型挺流行的。本项工作的主要目的是探索GANs究竟能不能用来合成经得起多种不同的检测方法的高质量遥感图像。

在遥感图像处理领域应用GANs的热潮已经到来。特别是在图像翻译领域，由于遥感图像具有天生具有多模态的特性（，所以其他方法未必能得出很好的结果）。迄今为止，大部分的此类工作都是把各种图像往多光谱上靠，因为多光谱图像的解释性相对来说还挺好，这些翻译任务很少用到传统的物理方法，而是采用机器学习的模型，因此，转换后的图像大多都带有一些合成信号*。这些研究里比较常见的是SAR图像翻译，因为SAR图像能透云。已经有人做过不配对的图像翻译结构，也搞过用翻译来“去雪”的任务，但Mohajerani等人真正想做的其实是保留云层信息来搞云分割，而且，只能在30米分辨率这种level上起作用。我们展示了这样一个事实，一个没怎么修改过的基于GANs的结构就能从Sentinel-2卫星收集的10米分辨率的数据里生成高质量的图像。尽管前人已经证明了这种结构在异常检测方面的可用性，但我们展示了量化的度量标准，能够说明生成图像的质量，还能评估数据转换的可行性。