介绍
本代码是对Region filling and object removal by exemplar-based image inpainting的MATLAB实现，用来对图像进行区域填充、物体移除。
😛😜😝代码托管在github上：exemplar-based-image-inpainting
算法
如图1所示，为算法伪代码。
图1 算法伪代码
区域划分
实现这个算法，首先需要进行图像区域的划分。如图2所示，为目标区域，是需要进行填充的区域，
为源区域，作为填充数据的来源。
的边界为
。如果从像素值来看的话，可以将目标区域的像素值设置为
0，但是0在图像中为黑色的意思，所以最好可以有一个辅助数组来标志缺失区域。
图2 区域划分与边界
计算边界区域
使用下面的代码可以方便地计算出边界点的位置。map是一个二值数组，只有0、1，其中1表示缺失像素值所在位置。计算出来的结果result中，1所在的位置就是边界点所在的位置。
result = imdilate(map, se) - map;
优先级的计算公式
边界上有很多像素点，以这些点为中心可以得到很多patch（比如9×9的patch），对于这些patch，都需要计算一下他们的优先级是多少，以便从中选出一个优先级最大的块作为首要修复的对象。
-
对于一个patch，块的优先级计算公式：
其中，代表这个待修复块的中心点，
表示块的置信度，
为data term。
-
置信度的计算公式是：
其中，为整张图像，
为
为待填充的块，
为块的面积。
为块中的像素点的置信度，在初始化的时候，已存在的像素点的置信度为
1，缺失的像素点的置信度为0，在修复过程中，修复出来的像素点的置信度被更新为块的置信度 -
data term的计算公式为：
公式3，这里是等照度向量与法向量的点乘再求模长，
为归一化因子。
在计算等照度向量的时候需要先计算image gradient，等照度线向量为gradient逆时针旋转90°，gradient代表了像素值变化最快的方向，而等照度线向量与gradient垂直，代表了变化最慢的方向。 -
image gradient
暴力搜索
计算出每一个patch的优先级之后，从中选出一个优先级最高的patch作为待修复对象，如。再使用暴力法，从源区域中选出一个与之最相近的块
，将
中对应的像素拷到
中（这里只需要修复
中缺失的像素点）。使用暴力法的时候，衡量两个块之间的距离时，使用
SSD（差的平方和）作为距离，由于本身就缺失了部分像素值，所以计算的就是
非缺失像素和其他patch对应位置像素值的
SSD。
注意，在修复过程的迭代中，缺失区域逐渐变小，但是提供像素来源的目标区域固定不变。因为目标区域中，修复出来的像素值可信度比较低，不予以采用。
效果
原图
缺失信息
修复之后
参考文献
Criminisi A, Pérez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on image processing, 2004, 13(9): 1200-1212.Criminisi A, Perez P, Toyama K. Object removal by exemplar-based inpainting[C]//Computer Vision and Pattern Recognition, 2003. Proceedings. 2003 IEEE Computer Society Conference on. IEEE, 2003, 2: II-II.https://github.com/IouJenLiu/Region-Filling-and-Object-Removal
网友评论