科研动态 | 中山大学遥感科学与技术学院空天遥感与数智环境团队在城市建筑物精细属性识别方面取得新进展
1.研究背景
细粒度建筑物属性的识别对于理解城市空间结构与发展动态具有重要意义。遥感影像具有空间连续、覆盖范围广的优势，街景图像则包含来自人视角的立面语义细节。融合这两类互补的跨视角数据，是提升建筑属性识别精度的有效途径。然而，现有方法在处理跨视角差异和空间对齐时仍面临显著挑战，同时全景街景图像存在明显的目标畸变，导致特征投影后在俯视空间中出现几何偏差。此外，虽然基于 BEV 的方法可以实现跨视角数据的精准映射，但这类方法通常高度依赖深度信息以及复杂的相机参数，不利于大范围的建筑物理解。为此，本文提出基于跨视角重投影的特征融合网络（CRFFNet），融合卫星影像、街景图像与谷歌地图数据，以综合利用建筑语义特征与底座几何信息。该方法有效缓解全景畸变与视角差异问题，在较低映射成本下实现了高精度的的建筑精细属性分割。
图1 跨视角建筑物精细功能属性分割任务示意图
2.研究内容
本研究深度挖掘跨视角数据之间的几何关系，设计了一个跨视角重投影特征融合网络CRFFNet。在特征提取阶段，该网络设计了三条不共享权重的特征提取支路。对于卫星视角数据（卫星图像及谷歌地图数据），为捕获细节特征，CRFFNet 引入了多尺度卷积注意力机制（Multi-Scale Convolutional Attention, MSCA）以替代传统的自注意力结构。对于街景图像，网络设计了基于偏移向量预测的可变形模块，有效解决了全景畸变问题，提取到更为准确的建筑立面特征。在特征融合阶段，本研究基于显式BEV设计了几何重投影模块（EGR）。该模块无需复杂参数（如相机内参与场景深度），能够将街景特征准确映射至卫星视角，进而实现低成本、高精度的特征融合。
图2 CRFFNet模型框架图
为充分评估CRFFNet在建筑精细属性识别任务中的表现，本研究构建了两个全新的跨视角数据集——Washington 与 Seattle，分别包含地理对齐的卫星影像、地图数据与全景街景图像。建筑物精细属性标注来自于各地政府的开源信息，建筑精细属性覆盖全面且分类清晰。此外，本文也在两个公开数据集（OmniCity 与 Brooklyn）上同样进行了广泛的对比实验，涵盖通用分割方法、遥感场景分割方法和跨视角方法三类代表性算法。
图3 跨视角建筑物精细功能属性分割数据集概况
3.研究结果
实验结果表明，所提出的 CRFFNet 模型在四个数据集上均展现出显著优势。与现有的通用与遥感场景分割方法相比，定量指标 mIoU 有显著的提升，体现了跨视角特征融合在细粒度建筑属性识别中的有效性。通过引入街景立面特征与地图建筑底座信息，CRFFNet 能同时捕获建筑的语义细节与几何结构，在复杂城市场景中实现了更稳定的建筑属性分类与底座分割。与现有的跨视角融合方法（GP-Fusion 与 ST-Fusion）相比，CRFFNet 的 mIoU 平均提升 2.29%–8.3%，这主要得益于其可变形特征提取模块和显式几何重投影模块的设计，有效缓解了全景畸变与视角差异问题。进一步的消融与系统评估结果表明，CRFFNet 在复杂城市场景中依然保持较强的鲁棒性与泛化能力。
图4 不同方法在跨视角数据集上的定量对比结果
图5 不同方法在OmniCity（（1）-（4））和Brooklyn（（5）-（8））数据集上的定性对比结果
总体而言，CRFFNet 通过可变形模块精确提取街景建筑物立面特征，并结合显式几何重投影模块，实现多源特征的有效融合，显著提升了建筑精细属性的整体分割进度，为城市建筑全面理解提供了创新性的跨视角特征融合解决方案。
4.发表信息
研究成果发表于 Information Fusion，论文题目为：CRFFNet: A cross-view reprojection based feature fusion network for fine-grained building segmentation using satellite-view and street-view data。我院22级硕士研究生于锦华与24级硕士研究生叶俊言为论文的共同第一作者，环境遥感团队李唯嘉副教授为论文的通讯作者。我院25级硕士研究生林翊参与了本论文的研究。本研究获得了广东省自然科学基金（项目编号：2025A1515010400）和国家自然科学基金（项目编号：42201358、62571560）的支持。
论文链接：
https://www.sciencedirect.com/science/article/pii/S1566253525008577#sec0014