本文提出MsgFusion方法,通过双分支网络分别处理MR图像的频域特征和PET/SPECT/CT图像的色彩特征,结合医学语义信息指导图像融合。实验表明该方法在脑部疾病诊断中优于现有方法,并获得临床医生认可。
本文提出基于跨多轴注意力机制的轻量级跨Transformer架构MACTFusion,通过空间自适应融合模块和特殊特征提取模块,有效整合多模态医学图像的局部和全局特征,在降低计算成本的同时显著提升融合性能。