1.商汤TSD。

试验表明分类任务更关注语义丰富区域，回归任务更关于目标边缘区域。对分类任务和回归任务共享同一个Proposal和特征提取器就会出现一些内在的矛盾影响检测器的训练。

image.png

2.anchor标签分配方法

Fast R-CNN类目标检测方法，通过计算anchor与GT之间的IoU，把IoU > fg_thres(0.7)作为正样本，IoU < bg_thres(0.3)作为负样本，IoU在bg_thres ~ fg_thres(0.3 ～ 0.7)之间的认为是ignore样本，这种标签分配方法可能有如下缺点
1）如果IOU低于0.3的目标框回归的较好，仍将其看作负样本，可能降低模型性能
2）样本均为正的目标框，IOU高与低均被划分为正，未体现二者优劣。
3）anchor是按照机制预设定的，可能导致GT无法与anchor准确对应起来，导致GT被分配的anchor不均衡。
一些解决方方法。
1>TopK.
对于每个GT，我们都找到与它的iou的topk的anchor把他们当成正样本，这样的好处是对小目标，能够分配更多的anchor，提升其检测效果
2>Learning from Noisy Anchor.
根据回归出来的结果来动态的决定我的anchor的质量好坏.将回归后和GT的IoU以及分类的score相乘，作为评价anchor质量的评判标准，首先作者把它作为cls的label放到了focal loss里面，也就是不再用0/1作label，而是使用这个cleanliness作为label，同时它还参与到regression的部分，作为权重加权回归，也就是好的anchor我们就多回归，noisy的anchor我们就少回归
3>HAMBox
HAMBox发现，最终回归出来的IoU大于0.5的检测框里，有很大的比例来自于这些刚开始的anchor与GT的IoU低于0.35的anchor。即问题一。动态的把那些本身和GT重叠度不高但是最后回归的好的anchor设为正样本
4>ATSS
把每个GT周围的anchor与它的IoU统计一下，其实是可以形成一个分布的，那么我通过取这个分布上的某个分位数来决定每个GT的IoU Thres
anchor标签匹配的思路可归类为一下两个思路。
1>>动态的根据回归后的结果决定anchor的好坏
2>>每个GT出发assign label，而不是从anchor出发

3.小目标检测 Stitcher: Feedback-driven Data Provider for Object Detection

核心思想是将4幅正常图像拼接resize后拼接为一幅新的训练图像。
当小目标对Loss的贡献比例小于一定阈值，即将拼接的图像加入下一次迭代的训练集。，提升小目标检测性能。

image.png

4.大尺寸目标检测You Only Look Twice

卫星图像分辨率极大如16000*16000，其的检测难点可概括为：
一，卫星图目标的「尺寸，方向多样」。卫星图是从空中拍摄的，因此角度不固定，像船、汽车的方向都可能和常规目标检测算法中的差别较大。针对这一点的解决方案是对数据做「尺度变换，旋转等数据增强操作」。
二，「小目标的检测难度大」。针对这一点解决方案有下面三点。
1、修改网络结构，使得YOLOV2的stride变成16，而不是原始的32，使得feature map不要过小，提升小目标检测能力。

2、沿用YOLOV2中的passthrough layer，融合不同尺度的特征（和大小的特征）。

3、不同尺度的检测模型融合，即Ensemble，因此采用不同尺度的输入训练检测模型，然后再融合检测结果得到最终输出。

三，「卫星图像尺寸太大」。解决方案有将原始图像切块，然后分别输入模型进行检测以及将不同尺度的检测模型进行融合。

image.png
将卫星图像直接resize416416(左)及从图像裁剪416416（右）利用yolov2检测，效果可见，左图完全检测不出来，右图性能较差，说明直接使用目标检测方法对卫星图像性能较差。
YOLT采用了划窗方式裁剪指定尺寸416*416如的图像作为模型的输入，一张卫星图像会被裁剪出数百/千张指定尺寸的图像，这些图像被检测之后将检测结果合并经过NMS处理后就可以获得最终的检测结果了。
image.png
论文一个核心问题是卫星图像机场目标数据标注较少，论文解决思路为，
针对「机场目标」和「其它目标」分别训练了一个检测模型，测试图像时将不同检测模型、不同chip的检测结果合并在一起就得到最终一张卫星图像的输出。也即是说这篇文章的核心操作就是这个「不同尺度的模型融合」以及「针对机场单独训练一个模型」，这样确实是从数据出发能够很好的解决实际场景（卫星图像）中机场目标数据太少带来的问题。
接下来作者还对不同输入分辨率做了实验，下面的Figure10代表对原始分辨率（左上角的0.15m表示GSD是0.15m）进行不同程度的放大之后获得的低分辨率图像，这些图像都被用来训练模型。
image.png

5.注意力机制

软注意力是一个[0,1]间的连续分布问题，更加关注区域或者通道，软注意力是确定性注意力，学习完成后可以通过网络生成，并且是可微的，可以通过神经网络计算出梯度并且可以前向传播和后向反馈来学习得到注意力的权重。
1、空间域注意力（spatial transformer network）
空间区域注意力可以理解为让神经网络看图像的特定区域。通过注意力机制，将原始图片中的空间信息变换到另一个空间中并保留了关键信息。
spatial transformer其实就是注意力机制的实现，因为训练出的spatial transformer能够找出图片信息中需要被关注的区域，同时这个transformer又能够具有旋转、缩放变换的功能，这样图片局部的重要信息能够通过变换而被框盒提取出来。

image.png
image.png
image.png

2、通道注意力（Channel Attention，CA）
通道注意力可以理解为让神经网络在看什么，典型的代表是SENet。卷积网络的每一层都有好多卷积核，每个卷积核对应一个特征通道，相对于空间注意力机制，通道注意力在于分配各个卷积通道之间的资源，分配粒度上比前者大了一个级别。
Squeeze操作：将各通道的全局空间特征作为该通道的表示，使用全局平均池化生成各通道的统计量

Excitation操作：学习各通道的依赖程度，并根据依赖程度对不同的特征图进行调整，得到最后的输出，需要考察各通道的依赖程度。
SEBlock的目的在于然根网络选择性的增强信息量最大的特征，是的后期处理充分利用这些特征并抑制无用的特征。
将输入特征进行 Global avgpooling，得到1×1×Channel

然后bottleneck特征交互一下，先压缩channel数，再重构回channel数

最后接个sigmoid，生成channel间0~1的attention weights，最后scale乘回原输入特征

6.CV中的loss总结

1>Pixel-wise损失函数
这种损失函数计算预测图像和目标图像的像素间损失。损失函数，如MSE或L2损失、MAE或L1损失、交叉熵损失等.
这些损失函数分别对每个像素向量的类预测进行评估，然后对所有像素进行平均，因此它们断言图像中的每个像素都具有相同的学习能力.
用于图像分割时采用加权的像素级交叉熵损失来处理类间不平衡问题。
类不平衡是像素级分类任务中常见的问题。当图像数据中的各种类不平衡时，就会出现这种情况。由于像素方面的损失是所有像素损失的平均值，因此训练会被分布最多的类来主导。
2>Perceptual损失函数
Perceptual损失用于比较两张看起来相似但是逐像素差异较大的情况。比如相同的图像，但是某些像素点进行了修改。虽然图像非常相似，pixel-wise损失函数将输出一个大的误差值。而Perceptual损失函数比较图像之间的高级感知和语义差异。
将这些图像通过一个预先训练好的VGG网络传递，并提取VGG中前几个块的输出值，从而提取图像的底层特征信息。这些低级的特征张量可以通过简单的像素级损失来进行比较。
3>内容-风格损失函数
风格转换是将图像的语义内容转换成不同风格的过程。风格转换模型的目标是，给定一个内容图像(C)和一个风格图像(S)，生成包含C的内容和S的风格的输出图像。
CNNs在较高的层次上捕获内容的信息，而较低的层次更关注单个像素值(风格)。
内容损失使用一个或多个CNN顶层，计算原始内容图像(C)和预测输出(P) 的激活图

image.png

计算预测图像(P)和风格图像(S)的下一级特征图（浅层）的L2距离，可以计算出风格损失

image.png

4>GAN损失

1. Min-Max损失函数

   
   image.png
   

   这种生成器的损失函数会饱和。也就是说，如果它不能像判别器学习得那么快，判别器赢了，游戏就结束了，模型就不能得到有效的训练。

2. 不饱和的GAN损失
   该生成器不是最小化所生成图像的负判别器概率的对数，而是最大化所生成图像的判别器概率的对数。

   
   image.png

3. 最小均方GAN损失
   当生成的图像与真实图像非常不同时，这种损失函数特别有用，因为此时会导致梯度非常小或梯度消失，进而导致模型很少或没有更新。

   
   image.png