近日，中国科学院深圳先进技术研究院 劳特伯生物医学成像研究中心胡战利研究员团队与中山大学附属肿瘤医院樊卫主任团队以及上海联影医疗公司的“产研医合作成果”，以OIF-Net: An Optical Flow Registration-Based PET/MR Cross-Modal Interactive Fusion Network for Low-Count Brain PET Image Denoising为题发表在医学成像领域顶刊IEEE Transactions on Medical Imaging（IF=10.6）上。

　　PET/MR是PET和MRI有机结合形成的一体化大型功能代谢与分子影像诊断设备，同时具备PET和MRI的检查功能。为了降低PET辐射剂量、缩短扫描时间，研究团队引入磁共振解剖信息以辅助PET成像。考虑到PET和MR两种模态可能存在的位置配准问题，团队提出了利用光流网络将两者对齐，并且将光流网络嵌入到“端对端”网络模型中，无需额外标签进行监督学习（如图1）。  

　　由于PET/MR两种模态在纹理上存在显著性差异，直接通过卷积学习这两种模态之间的对齐映射关系非常困难。由此，团队首先使用传统的图像腐蚀和膨胀技术来计算PET和MR图像的主要轮廓，然后再基于这些轮廓信息来构建光流的偏移量。基于轮廓学习的方法不仅简单有效，而且使得水平和垂直方向偏移量的学习也更加精准。  

　　为了增强PET/MR图像特征提取和融合效果，团队还设计了一个“空间-通道”特征增强模块（SC-FEM），考虑了多模态之间的交互影响并在空间和通道维度上提供了额外的信息灵活性；此外，团队提出的跨模态特征融合模块（CM-FFM）在多个特征层级上采用了交叉注意力机制，进一步增强了两种模态的特征融合过程。图2可视化了所提出SC-FEM和CM-FFM在去噪过程中的作用。  

　　中国科学院深圳先进技术研究院客座学生付明翰为论文第一作者，胡战利研究员为论文通讯作者。该研究得到了国自然优青项目/数学天元重点专项/面上项目、国家重点研发计划重大科学仪器项目、深圳医科院原创探索项目、深圳市杰青项目/重点项目的资助。  

图1 提出的基于光流配准的PET/MR成像技术，（a）提出的OIF-Net整体结构，包含的两个分支分别处理PET/MR两种模态输入和特征融合，（b）空间-通道特征增强模块，（c）光流配准模块，（d）跨模态特征融合模块  

图2 基于光流配准的轮廓学习技术，（a）原始输入的MR 图像，红色曲线代表 MR图像的轮廓，（b）配准模块校正后的 MR 图像，蓝色曲线表示配准MR图像的轮廓，（c）配置变换前后的MR图像之间的像素强度差异，（d）稀疏光流场，显示配准预测网络的水平和垂直方向偏移量  

　　文章链接