GRSM2026
自监督跨传感器光谱影像融合：跨域多模态互惠学习框架
针对高光谱影像（HSI）与多光谱影像（MSI）在空间分辨率和光谱分辨率方面存在互补性，但不同传感器成像机制及信息分布差异易导致融合结果产生光谱失真、跨平台泛化能力不足等问题，提出一种基于跨域多模态互惠学习的自监督光谱影像融合框架（CMRL）。该方法从频率域、空间域与光谱域三个维度出发，构建跨域多模态交互与对比学习机制，充分挖掘高光谱与多光谱影像之间的互补信息及潜在一致性，增强不同模态特征的协同表征能力，降低传感器差异对光谱重建质量的影响。在此基础上，引入视觉Transformer（ViT）与视觉Mamba（ViM）架构，利用其全局上下文建模能力进一步捕获跨模态共享特征与关联关系，并分别构建独立式CMRL（CMRL-I）、基于ViT的CMRL（CMRL-T）及基于ViM的CMRL（CMRL-M）三种模型变体，实现多种特征建模架构下的自监督光谱融合。该方法通过跨域对比学习与全局特征建模相结合，在保留高光谱影像精细光谱信息的同时融合多光谱影像的高分辨率空间细节，为高保真高光谱影像重建、多传感器遥感数据融合及跨平台光谱影像智能处理提供了新的技术途径。