摘要

由纹理表面形成或出现在纹理表面上的具有意义的结构是无处不在的。在可能是规则的，接近规则的或不规则的纹理图案复杂的情况下提取它们是非常具有挑战性的，但是具有很大的实际意义。我们提出了新的固有变化和相对总变化度量，它们捕获了这两种类型的视觉形式的本质差异，并开发了一种有效的优化系统来提取主要结构。新的变化量度在数百万个样本补丁中得到了验证。我们的方法找到了许多新的应用程序来处理、渲染和重用传统上难以正确编辑的大量“带有纹理的结构”图像和绘图。

简介

许多自然场景和人为创作的艺术品都包含纹理。例如，在砖墙，铁路棚车和地铁上通常可以看到涂鸦和绘画。地毯，毛衣和其他精美的工艺品包含各种几何图案。在人类历史上，马赛克一直是一种艺术形式，可以代表人和动物的详细场景，并使用石头，玻璃，陶瓷和其他材料来模仿绘画。在Google图片中搜索时，可以迅速找到数百万个这样的图片和绘图。

图1

图1显示了来自不同来源的一些示例。它们具有相似的含义，即语义有意义的结构与纹理元素混合或由纹理元素形成。我们称它们为“结构+纹理”图像。尤其有趣的是，人类视觉系统完全有能力理解这些图片而无需去除纹理。在心理学中[Arnheim 1956]，还发现“整体结构特征是人类感知的主要数据，而不是个人的细节”。

Arnheim R. Art and visual perception: A psychology of the creative eye[M]. Univ of California Press, 1965.

与这个几乎毫不费力的过程相反，用计算机提取结构更具挑战性。我们使用的所有照片编辑软件都需要繁琐的手动操作。一些方法[Meyer 2001; Yin等人2005; Aujol等人2006]在优化中采用了总变化量图像规则化器。但是，该框架无法令人满意地将纹理与主要结构区分开，因为它们在优化过程中都可能受到类似的惩罚。最新的边缘保留图像编辑工具[Farbman等人2008年； Subr等人2009; Farbman等人2010; Kass and Solomon 2010；Paris等人2011;徐等人2011]并非旨在解决相同的问题，因此不是最佳解决方案。将会提供更多的分析和比较。

本文提出了一种基于新颖的局部变化测量方法的简单而有效的方法来完成纹理去除。作者发现，关于新的相对总变化量（将在本文后面详细介绍），纹理和主要结构表现出完全不同的特性，从而使它们出奇地可分解。有了这一发现，我们提出了一个优化框架，其中有意义的内容和纹理边缘受到不同的惩罚。还提出了一种鲁棒的数值求解器，以将原始的高度非凸优化问题分解为多个线性系统，为此，它们存在快速且鲁棒的解决方案。注意，我们不假定纹理图案具有特定的规律性或对称性，而是允许高度的随机性。因此，可以在统一框架中处理非均匀且各向异性的纹理。

文本方法使大量现有的“结构+纹理”图像可在编辑和渲染中重复使用。我们提出了几种应用，包括结构边缘检测，矢量化，无缝克隆和仅结构图像合成等。此系统还有利于一般的接缝雕刻，使结果不易出错，无处不在的纹理。

局限性
由于我们的方法既不假定纹理的具体类型，也不假定潜在的主要结构排列，因此无法区分在比例上相似或与新变化量度接近的纹理和结构。当不涉及用户交互时，该方法对于不是很复杂的照明以及图像没有强烈的透视失真的效果最佳。虽然这对于纸张聚焦的图像（例如光线充足的绘画，绘图和马赛克）而言不是问题，但对于自然图像而言，这可能会带来更多问题，并可能导致细节过于平滑。

背景

纹理通常是指外观和局部统计相似的表面图案[Wei等人2009]。纹理合成[Efros and Leung 1999; Wei and Levoy 2000； Efros and Freeman 2001； Kwatra等人2003年]可以通过一些小例子生成一个大型无缝纹理贴图。对于接近规则的纹理，使用空间关系来检测和分析规则性[Liu等人2003; 刘等人2004; 海斯等人 2006]，使图像纹理分离在围栏[刘等人2008]。这些方法依靠纹理的对称性和规则性，并且需要先验的图案知识。图像类比[Hertzmann等2001]需要示例，并且当细节复杂且不规则时，可能难以去除纹理。

不需要大量纹理信息的代表性结构纹理分解方法是那些强制使用总变化量（TV）规则化程序以保留大规模边缘的方法[Rudin等1992年；迈尔（Meyer）2001； Yin等2005; Aujol等 2006]。 Aujol等[2006]研究了四种TV模型，并得出结论，TVL2 [Rudin等1992]最适用于未知纹理图案。 TV-L2模型仅使用二次惩罚来增强输入和输出之间的结构相似性。

作者对此进行了广泛的实验，发现总变化量规则化器区分强结构边缘和纹理的能力有限。本文包含一些示例。

在图像平滑和编辑中，[Farbman等人2008]使用加权最小二乘（WLS）和[徐等人2011]提出了L0梯度最小化。这些方法在正则化和详细的优化步骤方面不同于TV-L2结构纹理分解。但是它们仍然取决于梯度大小，因此不太适合纹理分离。局部平滑，例如双边过滤[Durand and Dorsey 2002;巴黎和杜兰德，2006年； Fattal等人2007年]和基于局部直方图的滤波[Kass and Solomon 2010]可以在保留结构边缘的同时抑制细节。这些方法也不是设计用来处理纹理的，它们的直接使用不能实现令人满意的纹理去除。在[Subr等人2009]中，通过极值提取和外推将振动从结构层中分离出来。该方法在平滑高对比度细节方面的能力与以前的滤波方法不同。但是，在实践中，纹理和有意义的结构的混合将在极值定位和拟合中引起问题。这些方法的结果比较和讨论在第4节中提供。