Wen J, Zhang Z, Xu Y, et al. Cdimc-net: Cognitive deep incomplete multi-view clustering network[C]//Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence. 2021: 3230-3236.
摘要导读
近年来，不完整多视图聚类受到了越来越多的关注。针对这个任务，很多研究学者已经提出了不少方法。但作者认为现有的方法还存在以下两个问题：1）现有方法都是基于浅层模型的，很难学习到具有辨别性的共同特征，2）由于负样本被视为同样重要的样本，因此这些方法通常对噪声或异常值很敏感。在本文中，提出了一个认知深度不完整多视图聚类网络（CDIMC-Net）来解决这些问题。具体来说，它通过将特定视图的深度编码器和图嵌入策略合并到一个框架中，来捕获每个视图的高级特征和局部结构。此外，基于人类的认知：从易到难的进行学习，还引入一种 self-paced的策略来选择置信度高的样本来进行模型训练，以减少异常值的负面影响。
- 不同形式的特征学习编码器获取高级特征和局部特征
- 以基于认知的方式剔除边际样本的负面影响
https://github.com/DarrenZZhang/CDIMC-Net
模型浅析
模型结构：视图特定的深度编码器，self-paced的k-means聚类层，多图嵌入约束。该模型可以实现对任意不完整视图的聚类。
1）数据定义
给定包含个视图的不完整多视图数据集，每个视图的数据表示为
，缺失的样本标注为“NaN”。视图
的缺失标记矩阵为对角矩阵
，
代表即第
个样本是可见的，其余的
。
2）任务定义
IMC的目标是将个样本划分到
个不相交的类簇中。
3）模型结构
CDIMC-net通过两个阶段对不完整的多视图数据进行划分：预训练和微调，其中一个基于自动编码器的训练前阶段用于初始化网络参数，微调阶段的目的是获得聚类友好的表示，同时为所有输入样本生成聚类标记。
- 预训练网络
基于欠完备卷积自编码，针对不完全多视图情况，本文开发了一种图正则化不完全多视图自编码器，其中引入图嵌入技术来保持数据的局部结构，并引入加权融合层来消除缺失视图的负面影响。
1）View-specific encoders and decoders
编码器网络作为基本的自动编码器，从高维数据中捕获最显著的特征，解码器网络的目的是从编码的特征中恢复数据。模型中为每个视图都配备了对应的编码器和解码器结构，分别为和
2）Fusion layer
根据多视图数据的特点：所有视图都共享同一样本的公共语义信息，例如common表示或聚类标签。作者采用简单的权重加和的策略来构建关于样本的common表示：
可以看出，这里的样本表示考虑了视图的缺失性。
这个加权融合层位于编码器和解码器的中间，通过减少缺失视图的负面影响来解决学习视图不完全的问题。
3）Graph embedding
在子空间学习领域中，一个公认的manifold assumption是，如果两个数据点和
彼此接近，那么它们对应的低维表示在潜在子空间中也应该接近。为了考虑近邻样本之间的约束，模型考虑了如下的图嵌入约束：
其中表示
中应用的近邻图。该图是一个只包含0,1的方阵，
4）预训练的损失函数
预训练阶段的优化需要同时考虑图嵌入损失和自编码损失，总体的损失表示为：
表示视图
的重建，红框里是编码器和解码器的参数，
为正的超参数。
- 微调和聚类
作者认为通过优化预训练阶段的模型参数并不能保证得到的具有聚类友好性。并且传统的k-means算法在聚类的过程中忽略了边际样本和类簇中心样本的差异性。为了微调模型，我们应该更加关注靠近类簇中心的样本点。
1）因此，引入了一个self-paced kmeans作为聚类层。
其目标是
其中是k-means聚类中的簇中心矩阵，
是类簇分配矩阵，
是一个权重向量，用于指示当前样本是否参与训练 。正常来讲，参数
需要逐渐增加，以便选择更多的样本进行模型的训练。
self-paced kmeans和传统的kmeans的不同之处在于，类簇中心在self-paced的方法中是固定的。
在本文中，采用的是基于统计的自适应的方法来更新
其中是第
轮训练中的loss向量，对应于每个样本
的损失为
，即：融合后的样本表示
和其对应的类簇中心之间的
范数平方。
和
分别对应该向量的均值和标准差。
是最大的迭代次数。
通过引入权值向量和参数
2）微调阶段的损失函数
结合k-means的优化和图嵌入的损失，整体的损失如下：
最终的聚类结果由来得出。
该算法的过程如下：Y为缺失数据被0填补的X输入，W为其对应的缺失指示矩阵，N为所构建的近邻图表示。
总体而言，缺失视图的多视图聚类是很有趣的任务。但是对于类簇中心不变的self-paced kmeans很难接受，k-means的性能与其初始化有很大的关系。。。但是关于样本逐一选入的更新值得尝试。。
网友评论