杜世强教授团队在中科院一区期刊《Expert Systems with Applications》上发表学术论文

近日，语言智能与文化计算2023级博士生张凯武在不完整多视图聚类领域上的最新研究成果《Deep Incomplete Multi-view Clustering via Attention-based Direct Contrastive Learning》被人工智能领域一区Top期刊Expert Systems with Applications（中科院1区Top期刊，JCR：Q1， 2023-2024最新影响因子：7.5）接收，该期刊是计算机科学和智能系统领域内最具影响力的顶级期刊之一，主要报道前沿新兴的计算机技术和专家智能系统技术。杜世强教授为通讯作者，博士生张凯武为论文第一作者，论文署名单位和通信作者单位均为香港六和合资料。

在实际场景中，由于机器故障或传感器问题等因素，来源于多个数据源的多视图数据可能会丢失某些视图信息，从而导致不完整多视图数据的出现。例如一条道路上的多个监控设备会由于部分摄像头故障而丢失视频信息。为了能够有效解决多视图数据不完整问题，不完整多视图聚类(Incomplete Multi-View Clustering，IMVC)适时而出。

虽然现有的IMVC通过使用对比学习和填充策略来解决缺失数据已经取得了重大进展，但这些方法为防止出现潜在特征只能在较低维度的子空间中有效的维度塌缩现象，均选择过度依赖额外的投影头来解决上述问题。另一方面，IMVC在同一特征空间中同时进行一致性学习和重构，严重误导了共同语义的捕获。因此IMVC面临两个主要挑战：(1)如何在不增加模型参数量的情况下有效防止维度塌缩；(2)如何避免视图私有信息的影响，有效利用不完整数据的一致性信息。

图1：整体框架图

针对上述问题，杜世强教授团队提出了一种新颖的基于注意力机制和直接对比学习的深度不完整多视图聚类方法。该方法首次在不依赖投影头的情况下，通过对比学习避免不完整多视图聚类中维度塌缩的影响。论文提出的方法如图1所示，具体地，该模型首先采用具有自注意力机制的编码器网络来学习每个输入向量的权重，从而更好地保留跨视图的信息，排除限于特定子集的信息。其次，通过利用编码器提取的特征子向量进行一致性学习，模型直接优化了潜在特征子空间，在不依赖投影头的情况下避免了维度塌缩。同时，允许重构损失和对比损失分别作用于学习到的特征向量及其子向量，灵活地解决了视图私有信息的不一致性与公共语义的一致性之间的冲突。最后，该方法采用了一种潜在特征表示的预测机制来实现数据的可恢复性。

图2：不完整数据恢复

为验证方法在实际应用中的有效性，论文在多个广泛使用的数据集上进行聚类、人体行为识别等任务。为证明该方法可以实现缺失视图的恢复，论文在实验部分增加了缺失视图恢复的可视化结果，进一步说明了此方法能够有效降低缺失视图对聚类效果的影响。图2和图3分别展示了不完整数据的恢复结果和聚类结果。

图3：聚类t-sne可视化结果

总体而言，该研究首次在不依赖投影头的情况下通过对比学习处理聚类中的维度塌缩现象。该框架利用结合自注意力机制的编码器网络对潜在特征及其子向量进行重构和一致性学习，以简化模型的方式防止维度塌缩，并确保潜在特征捕获更多有用的信息。该研究有望为处理不完整数据和防止聚类维度塌缩提供新的见解。

论文链接：

https://www.sciencedirect.com/science/article/abs/pii/S0957417424016129?via%3Dihub