近日，中国科学院深圳先进技术研究院·医疗机器人与微创手术器械研究中心秦文健博士团队在数字病理图像分析领域先后取得多项研究进展，团队针对如何对数字病理图像单张巨大尺寸计算、多倍率信息利用、跨尺度信息融合的技术挑战，开展一系列相关研究，实现了“从算法模型创新——到实际临床验证”的科研思路。相关工作前期发表生物医学信息领域国际权威期刊IEEE Journal of Biomedical and Health Informatics, 病理领域国际权威期刊THE AMERICAN JOURNAL OF PATHOLOGY和GENES上。

　　病理学诊断是癌症临床确诊的金标准，它是通过显微镜观察病变微观组织、细胞的形态变化，对癌症诊断分期，为肿瘤患者提供术前诊断、治疗方案和术后预期的参考依据。随着患癌人数的增加，病理学诊断的需求也日益扩增，但是目前国内病理专家数量严重不足。数字病理成像技术为解决我国病理医生严重匮乏及资源分配不均匀的困境提供了可行的技术途径，该技术通过光学拼接扫描方式实现对完整病理玻片的数字化，得到全景病理图像。然而，面对单张十亿像素级的全景病理图像，人工对病理细胞分析的工作量巨大且易出错。 

　　近年来，随着数字病理成像速度提升和深度学习算法的成熟，通过深度学习算法对数字病理图像自动提取特征，并在量化计算后给出量化评价，该分析过程具有很好的重复性、稳定性、鲁棒性，不仅可以得到客观的诊断结果，还依靠计算机自动化计算，大大提高工作效率，降低医生工作负担。尽管基于深度学习的病理智能计算取得了一定进展，然而，在真实临床应用中，病理学家通常以不同的放大倍率组合信息，即从亚核O（0.1μm）到细胞(≈O（10μm））和细胞间(≈O（100μm）），到其他更大尺度的组织(≈O（1mm））进行诊断。因此如何解决“金字塔”形式存储的多倍率信息有效利用与单张巨大尺寸的图像快速、准确计算依然存在技术挑战。 

　　针对不同放大倍率下组织病理学图像信息融合的不足，秦文健团队通过长期不懈的积累，提出了一种创新性的深度多倍率相似性学习方法，该方法不仅有助于多放大倍率学习模型的可解释性，易于可视化低维（如细胞级）到高维（如组织级）的特征表示，克服了跨放大倍率信息传播理解的困难；同时借助于相似性交叉熵损失函数的设计，可以更好学习交叉放大倍率之间信息的相似性。最后通过不同主干网络特征提取和不同放大倍率组合的实验验证了所提出方法的有效性，并进一步通过可视化方式展示其解释能力，分别在公开和临床的组织病理学数据集上开展实验以验证方法性能，与现有方法对比，其曲线下面积（AUC）、准确度均取得了优异的性能。相关研究工作以“Deep Multi-Magnification Similarity Learning for Histopathological Image Classification”为题发表于生物医学信息领域国际权威期刊IEEE Journal of Biomedical and Health Informatics（DOI: 10.1109/JBHI.2023.3237137），博士生刁颂辉为论文第一作者。 

　　图1：研究团队提出的多倍率病理图像计算方法新框架和结果 

　　团队前期研究中发现，经验丰富的病理学家通常需要对全景病理图像中对癌/疑似区域进行视觉检查，得到最终的诊断结果。然而，由于全景病理图像具有单张巨大尺寸的特性，人工视觉诊断是一项劳动强度大和耗时的挑战性任务。为与临床实际诊疗步骤相结合，并验证算法在临床的有效性，团队与临床医院合作实现了自动诊断算法的研究——提出了基于多倍率注意力卷积神经网络的弱监督框架。该方法只需图像级标签（而不需要像素级注释），即可以实现感兴趣区域（癌症）的检测，为临床病理医师的诊断直接提示可疑病灶区域，提升临床辅助诊断效率。所提出方法在TGCA肝癌数据集进行论证。实验结果表明，根据曲线下面积、准确度、灵敏度和特异性指标，该框架显著优于单尺度检测方法，并提供了非常快的检测时间。同时，方法与三位病理学家的诊断结果相比，团队提出方法的性能优于初级和中级病理学家，略低于高级病理学家。相关研究工作以“Weakly Supervised Framework for Cancer Region Detection of Hepatocellular Carcinoma in Whole-Slide Pathologic Images Based on Multiscale Attention Convolutional Neural Network”为题发表于病理学领域权威临床杂志The American Journal of Pathology,（DOI: 10.1016/j.ajpath.2021.11.009），博士生刁颂辉为论文第一作者。 

　　图2：团队提出的多倍率弱监督框架实验结果 

　　为融合病理图像形态学信息与分子基因功能信息实现病人生存状态的准确预测，团队结合前期病理图像计算的工作积累，设计了融合病理图像与基因的多模态生存预后预测模型，揭示了多模态信息对癌症预后有很大的潜力，通过多模态模型的建模有望为辅助临床诊断与决策提供有效工具。相关研究工作以“Integrative Histology-Genomic Analysis Predicts Hepatocellular Carcinoma Prognosis Using Deep Learning”为题发表于Genes（DOI: 10.3390/genes13101770)，硕士生侯嘉馨为第一作者。 

　　图3：团队提出的融合病理与基因的预后预测模型与实验结果 

　　上述研究工作得到了国家自然科学基金青年项目、面上项目、深圳市基础重点项目、中科院青年创新促进会等资助。 

　　论文链接： 

　　1.http:// https://ieeexplore.ieee.org/document/10018139

　　2.https://www.sciencedirect.com/science/article/pii/S0002944021005241 

　　3.http:// https://www.mdpi.com/2073-4425/13/10/1770