近日,德睿智药与西湖大学团队的合作论文“Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching”,发表在国际顶级机器学习会议ICML 2023上。该论文基于对图模式结构的观察,提出了一种名为MatchExplainer的新型非参数子图匹配框架,用以解释图神经网络(GNNs)中子图模块的作用,通过比对目标图与实例结构并最小化节点距离来识别最关键的子结构。论文同时设计了一种新型的数据增强策略MatchDrop来缓解目前图采样策略中存在的误报采样问题。大量实验表明,MatchExplainer表现优于以往所有的参数化基线模型,有助于推动对图神经网络的可解释性研究的发展,并且MatchDrop策略也有利于增强广泛用于AI辅助药物研发领域GNNs的性能。
以下为研究背景、框架构建、实验结果与结论:
1.研究背景
对图神经网络的可解释性和特征选择研究,是揭开深度学习模型预测结果“黑盒子”的关键。增强图神经网络的可解释性,可以促进对模型预测背后底层机制的理解,从而有助于发现潜在的错误,帮助改进模型。对深度神经网络模型结果的良好解释,也是辅助药物化学家增强与模型交互、针对性优化分子结构的优秀工具。
现有对图神经网络可解释性的研究,大致可分为两种主流路线。一是被广泛采用的参数化解释,通过运行一个参数化模型来挖掘有信息量的子结构或生成显著性图;二是非参数化解释,这种方法不涉及任何额外的可训练模型,而是采用启发式的策略,例如基于梯度/特征的解释。
注意到不同的图组间通常会共享一些基本子图模式,而这有可能是图神经网络做出预测的关键所在。基于对图组共享模式结构的观察,研究团队提出了一种新型非参数子图匹配框架MatchExplainer。
2.框架构建
MatchExplainer先是通过最小化每对图形基于节点对应的距离,识别出最关键的联合子结构,然后将目标图形与参考集中的其他对应图形进行配对,寻找潜在的解释子图。研究人员还利用了互信息度量方法,从所有的候选解释子图中筛选出最佳子结构,并通过删除原始图中的解释子图、最大化预测差异来优化最终的候选解释。
图1. MatchExplainer示意图
此外,注意到目前的图采样或节点删除方法通常存在误报采样问题,研究人员设计了一种用于GNN训练的新型数据增强策略MatchDrop。类似于图像增强技术,MatchDrop固定并保留了MatchExplainer图中信息量最大的部分,只对其余信息量较低的子结构进行图增强操作,大大降低了错误采样的可能性。
图2. MatchDrop与既往图采样策略比较
3.实验结果
在后续的模型验证环节,研究人员使用了四个不同的GNN标准数据集进行实验,分别为分子图分类(MUTAG)、模图分类(BA-3Motif)、手写图分类(MNIST)和场景图分类(VG-5),并将MatchExplainer的解释结果与当前几种主要的基线解释器进行比较。
表1. MatchExplainer与其他基线解释器相比较
MatchExplainer在所有数据集上相较于以往最优均取得了显著改进,尤其是在ACC-AUC低于65%的MNIST数据集中,MatchExplainer实现了高达93.8%的测试准确率,相较其他解释器模型提升48.9%。
此外,除了BA-3Motif数据集,MatchExpainer在每个任务中都实现了接近100%的ACC-AUC。实验结果充分证明MatchExplainer的有效性,它可以快速准确地找到解释子图,表现优于以往所有最先进的参数化基线模型。
表2. 引入MatchDrop对测试准确率的影响
在验证MatchDrop效用的实验设计上,研究人员选择了GCN和GIN作为两种主干网络,并将MatchDrop与FPDrop、PGDrop、DropNode测试结果进行比较,后三者均为子图采样程序。数据显示,MatchDrop在三大数据集上均一致提升了测试准确率。
4.结论
MatchExplainer不需要事先定义复杂的参数化模型和训练,可以快速探索任何一对输入实例中信息量最大的联合子结构,相较参数化方法也取得了显著的优势。该研究进一步推动了非参数方法在解释深度学习模型结果的进展,也为未来的深度学习解释性研究开辟了新方向。
论文链接:https://openreview.net/forum?id=MocsSAUKlk