图神经网络中的神经坍缩现象：同配性作为结构性驱动因素

本研究探索了图神经网络中的神经坍缩现象，发现图的同配性（homophily）是驱动神经网络特征向单纯形等角紧框架坍缩的关键结构因素。

• 原作者： Yaomister
• 来源平台： GitHub
• 原始标题： gnnnc
• 原始链接： https://github.com/Yaomister/gnnnc
• 相关论文： "When Graphs Collapse: Homophily as a Structural Driver of Neural Collapse in Graph-wise Classification"
• 发布时间： 2026年5月25日

---

神经坍缩（Neural Collapse）是深度学习理论中一个引人注目的现象，最早在深度分类网络中被发现。当网络在训练集上达到零训练误差并继续训练时，最后一层特征和分类器权重会收敛到一种高度对称的结构——称为"单纯形等角紧框架"（Simplex Equiangular Tight Frame, ETF）。

在这种状态下：

• 每个类别的特征向量会坍缩到其类别均值
• 不同类别的均值向量之间具有相同的角度
• 分类器权重与特征均值对齐

这一现象揭示了深度学习模型在过参数化和过拟合情况下的内在几何结构，对理解神经网络的泛化能力具有重要意义。

---

虽然神经坍缩在标准图像分类任务中已被广泛研究，但图神经网络（Graph Neural Networks, GNNs）带来了新的挑战：

1. 图结构的影响：GNN不仅处理节点特征，还利用图结构信息进行消息传递。这种结构化的学习方式是否会影响神经坍缩的发生？

2. 同配性的作用：真实世界的图通常表现出同配性（homophily）——即相似的节点更可能相连。这种结构特性如何与神经坍缩相互作用？

3. 图级分类的特殊性：与节点级任务不同，图级分类需要聚合整个图的信息。这种聚合过程是否会改变神经坍缩的模式？

本研究正是针对这些问题，探索了图神经网络中神经坍缩现象的特性和驱动因素。

---

研究的核心贡献是揭示了图的同配性是驱动GNN中神经坍缩的关键结构因素。具体而言：

同配性（Homophily）是指图中相似节点倾向于相互连接的特性。在社交网络中，这表现为"物以类聚，人以群分"；在引文网络中，这表现为相同领域的论文更可能相互引用。

同配性通常用同配性系数（homophily ratio）来度量：

h = (实际同类边数) / (随机情况下期望的同类边数)

当 h > 1 时，图表现出同配性；当 h < 1 时，图表现出异配性（heterophily）。

研究表明，在具有高同配性的图上训练的GNN更容易表现出神经坍缩现象。这是因为：

1. 消息传递的强化效应：在同配图上的消息传递会强化同类节点的特征相似性，加速特征向类别均值坍缩的过程。

2. 结构正则化：图的连接模式提供了一种隐式的正则化，引导网络学习更具判别性的特征表示。

3. 类别边界的清晰化：高同配性使得不同类别的节点在图上形成相对分离的社区，这有利于形成清晰的决策边界。

---

从公开的代码库可以推断，研究使用了多种GNN架构和图数据集进行验证：