Zhang G, Hu Z, Wen G, et al. Dynamic graph convolutional networks by semi-supervised contrastive learning[J]. Pattern Recognition, 2023, 139: 109486.
摘要导读
传统的图卷积网络（GCN）及其变体通常只通过数据集给出的拓扑结构传播节点信息。然而，给定的拓扑结构只能表示一定的关系，而忽略节点之间的一些相关特征信息，这可能使得图卷积网络无法充分利用数据信息。为了解决上述问题，本文提出了一种新的半监督对比学习动态图卷积网络（DGSCL）模型。首先，根据输入节点特征动态构造特征图，更好地利用节点之间潜在的相关特征信息。然后，为了保证高质量的特征图，设计了一种半监督对比学习方法来学习更具有区分性的节点嵌入，该方法可以用学习到的节点嵌入迭代地调整所构造的特征图。最后，将给定拓扑得到的节点嵌入与动态特征图通过两个共注意模块进行融合，为分类任务生成包含更多信息的嵌入表示。实验表明，在节点分类任务中，提出的模型可以取得较好的效果。
Graph is a data structure that represents the node information and the node relationship, which is ubiquitous in practice.
传统GCN
给定，通过两层的GCN可以得到表示输出
：
该论文的目标是全面挖掘节点之间的隐式特征信息，并通过图神经网络构建信息更丰富、更鲁棒的图节点嵌入。首先根据初始特征图的邻接矩阵构建图
。然后使用参数共享的两个GCN模块获取对应的节点映射
和
。为减少噪声影响，使用每轮学到的节点表示
去得到动态的特征图
，其中
是第
-th轮的动态图。
关于该论文中标签信息的对应主要是在对比学习的构造上：将作为锚点嵌入，
为正例嵌入。至于负例嵌入
，提出了一种特殊设计的打乱方法，通过利用标签信息对
进行打乱来产生
。由于该论文关注的是半监督节点分类，节点标签信息可能与拓扑和特征图相关，因此设计了两个共注意模块来融合学习到的节点嵌入
和
。最后，为融合后的节点分类任务生成信息更丰富的节点嵌入，融合后的嵌入可以通过反向传播进一步提高特征图的质量。
模型浅析
- 计算动态距离矩阵
使用cosine 相似度来计算两个向量之间角度。
和
是
-th迭代中新产生的节点嵌入。
- 节点嵌入的融合
给定图，可以得到对应的拓扑和动态特征图。将
作为共享权重的GCN的输入分别可以得到
和
。
- 半监督对比学习
这里主要的贡献是一种新的构造负例的方式，在这种方式中使用了关于样本标签的信息，因此称之为半监督对比。具体来说，在已知节点标签的情况下，负例的采样候选集中包含的样本有两类：一类是与当前样本标签不同的样本，另一类则是标签未已知的样本。
其中是
是节点的标签类别，
是无标签信息的嵌入向量。
由此，这里使用的triplet-margin-loss写成如下形式：
其中，是计算两个嵌入之间的距离的函数。这个损失函数的目标是使锚点嵌入和正例嵌入之间的距离最小化，同时确保锚点嵌入和负例嵌入之间的距离至少等于margin。
- 共注意力模块
考虑到给定的拓扑结构和动态特征图具有一些相似且互补的信息，本文设计了两个受自注意启发的共注意模块，自适应地学习和提取两个空间中的重要信息以相互补充：
其中，）以及（
），
分别是给定的拓扑空间和构建的特征图空间。
是对应的向量维度。
其融合表示为：
为了使充分相互作用并提取潜在的相关信息，这里也可以建立两个多头共同注意模块。以Emb1为例：
是head的数量。在此之后，接一个全连接层做节点分类器：
其对应的损失函数为交叉熵损失。
该文章主要的创新在于：
（1）在构造对比学习的负例时引入了半监督标签信息（和组里的工作有一定的类似，只是使用的方式不同）；
（2）多头共注意力模块的设计。这种方式类似于笔者之前所做的跨视图注意力机制。但是，别人对技术的模型化能力要比我们强很多。
网友评论