关于Duplicate 在二代测序中的定义：
Duplicate ，字面意思是重复，在二代测序中，特指测序得到的reads 是 “重复 ”的，这个重复的定义主要基于两方面，一个是reads比对到基因组的位置与碱基是否完全一致，二是比对到参考基因组的方向（二代双端测序，是FR reads，即read one 是 forward， read two 经桥式扩增后测序是 reverse）是否完全一致，满足这两点一致的时候，就被认为是duplicate。
关于Duplicate的产生：
PCR 扩增产生相同的片段（PCR duplicate）
仪器原理的原因，首先根据reads 比对位置，碱基相似度，方向等原因找出一样比对的duplicate reads，这其中就包括了PCR duplicate与Optical duplicate，然后duplicate group的reads会相互比较，看read pair 是不是在同一个测序tile，并且read在flowcell上的的x, y坐标小于一定的阈值（同一个测序tile的即是相距太近，读出碱基一样，会仪器产生的optical duplicate，picard的阈值，OPTICAL_DUPLICATE_PIXEL_DISTANCE默认为100）。Optical duplicate 产生的主要原因是同一个大的cluster的reads被误识别成不同的cluster 的时候，此时他们距离应该很近本来是一组数据，但是却产生了多组数据。Optical duplicate arises where the image analysis software mistakenly identifies two points on the flowcell as being centers of different clusters, when in fact they are both locations within a single large cluster.
关于Duplicate的去除：
首先，去除duplicate的原因，是因为在测序分析是，duplicate的reads是来源于同一条原始的read，相当于是同一个信息，假如某个位置有100条reads覆盖，90条是duplicate，其实这个位置就相当于90条reads的信息是一个有用信息，如果这个原始read因为测序的问题发生了一个突变，不考虑duplicate的话，就是90个突变，很容易被作为假阳性检出（90/100），而如果考虑是duplicate，这90个read仅被作为一个信息（1/10），就不太会被检出了。
其次，去除duplicate最常用的软件是Picard，实际测试(Picard Version: 1.111(1901))的现象为，重复 reads 较少的时候，不会被标记duplicate，但是较多的时候却会被标记，而且测试显示，多次duplicate时，至少会有两对不被标记，经测试推测：1：标记duplicate也是有duplicate次数的限制的，显示3条的时候都是不标记的，4次的时候就标记，推测限制就是4次；2：标记duplicate，至少会剩两对不标记，因为18次重复的数据与36次重复的数据，都是两对不标记。
测试细节：
图1： 3次重复时，flag不标记，推测有最低dup次数限制
图2：4次重复时，标记两行，推测最低限制就是4次
图3：18次重复时，与36次重复时，均剩两对不标记，推测至少剩两对不标记
18次重复：
36次重复：
20181226 补充更新：
之前一直认为Dup只会双端同时被标记，实际由于某些测试，发现也会存在单端read被标记成dup的情况（目前并没有把所有可能性拿出来看，看了一些reads对，推测是因为另一端比对不上时才会存在）。
以下两图，均为成对reads中，一条无法比对到基因(*号的是没有比对上的read)。
华大对dup的解释：
网友评论