科研动态 | 从数据到知识：测绘科学与技术学院提出知识图谱引导的高光谱影像智能分类新框架

研究背景：深度学习虽强，仍有三大难题

高光谱影像因其丰富的光谱信息，在农业监测、城市规划和生态保护等领域有广泛应用。然而，现有深度学习方法普遍面临三个核心挑战：

标签缺乏语义信息：常用的one-hot标签无法表达类别的语义内涵；

类间关系缺失建模：类别之间的相似性无法在模型中体现；

训练样本依赖性强：深度学习在样本稀缺场景下表现不佳。

创新方法：首次在高光谱影像分类中引入知识图谱

为解决上述问题，本研究提出一种全新的知识图谱引导的高光谱影像分类框架，结合符号推理与连接主义学习的优势，将显式语义知识嵌入深度学习流程，打通遥感“先验知识”与“数据特征”的鸿沟。在提升分类精度的同时增强模型的可解释性。

图1：本文提出的知识图谱引导的高光谱影像分类框架。通过引入显式语义知识，引导深度模型学习更具语义判别力的表示。

• 构建专属知识图谱：围绕常见地物类型（如植被、人工地表、水体等），手动整理百科、文献、遥感图像以及CN-DBpedia等多源信息，构建包含619个实体、20种关系、1089个三元组的遥感知识图谱。

图2：遥感知识图谱可视化

• 嵌入式语义表示：采用经典的TransH知识图谱嵌入方法，将符号知识转化为连续的语义向量，用于表征地物类别。

• 两种集成策略：

  KGR（基于回归）：将语义向量作为监督目标，引导模型直接预测语义向量；

  KGC（基于分类）：模型输出与所有语义向量相似度计算后进行分类。

实验验证：全面提升，框架具有普适性

本研究在Pavia University、LongKou、HanChuan三个高光谱数据集上，测试了包括CNN、Transformer、RNN、FCN、GCN、Mamba等多种主流模型家族，结果表明：

• 引入KG后，主流模型家族在高光谱分类准确率、平均精度和Kappa系数上显著提升，首次证实了知识图谱（符号主义）对深度学习（联结主义）的提升具有普适性；
• 在训练样本极少的情形下，KG有效缓解模型过拟合，显著提升泛化能力；

• 在空间结构复杂或类别语义相似的区域，KG有助于提升分类边界清晰度与细粒度识别能力。

   

图3：HanChuan数据集的分类对比：(a) 伪彩图, (b) 标签图, (c) SSRN, (d) SSRN+KGR, (e) SSRN+KGC, (f) SPFormer, (g) SPFormer+KGR, (h) SPFormer+KGC, (i) LSTM2, (j) LSTM2+KGR, (k) LSTM2+KGC, (l) FContN, (m) FContN+KGR, (n) FContN+KGC, (o) SSGRN, (p) SSGRN+KGR, (q) SSGRN+KGC, (r) S2Mamba, (s) S2Mamba+KGR, (t) S2Mamba+KGC

鲁棒性分析：鲁棒性强，部署友好

• 对知识图谱质量的鲁棒性：具备一定抗噪能力，在轻度缺失或少量噪声的情况下，模型性能依然稳定，但对KG的准确性与完整性仍有依赖；
• 计算效率高：参数量增加< 3.5%，推理时间增加< 10%；
• 适配性强：支持多种知识图谱嵌入算法（TransH、TuckER、R-GCN）与多种深度模型。

发表信息

研究成果于2025年6月在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表。中山大学测绘科学与技术学院环境遥感团队博士研究生雷润民为第一作者，张翔教授为通讯作者，博士研究生周宇氚、王梓璇为合作作者。本研究受国家重点研发计划（2022YFB3903402）和广东省基础与应用基础研究基金自然科学基金面上项目（2024A1515012083）的支持。

原文信息：Lei, R. (雷润民), Zhou, Y. (周宇氚), Wang, Z. (王梓璇), & Zhang, X. (张翔) (2025). From Data to Knowledge: A Knowledge Graph-Guided Framework to Deep Learning for Hyperspectral Image Classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 18, 15001-15018.

原文链接：

https://doi.org/10.1109/JSTARS.2025.3578483