近日,我中心一篇论文被IEEE Transactions on Medical Imaging(TMI)期刊录用,也是近半年来在TMI上发表的第二篇论文。TMI是计算机:跨学科应用、医学图像处理领域的顶级期刊,属于中国科学院一区期刊,也是中国人工智能学会推荐的A类国际期刊。
论文题目:ScribFormer: Transformer Makes CNN Work Better for Scribble based Medical Image Segmentation。论文由我中心李子晗同学、郑渊同学、单丹丹同学、洪清启老师等,与香港中文大学的张元亭教授、上海科技大学的沈定刚教授等合作完成。

与基于全像素标记(fully-annotated)监督的方法相比,基于涂鸦(scribble)监督的医学图像分割任务的难度更大。为解决涂鸦监督医学图像分割的难点,论文提出了一种全新的CNN-Transformer混合模型 :ScribFormer。所提出的ScribFormer模型具有三个分支结构,即CNN分支、Transformer分支和注意力引导的类激活图(ACAM)分支。CNN分支与Transformer分支协作,将从CNN学到的局部特征与Transformer获取的全局表示融合在一起,这可以有效克服现有涂鸦监督分割方法的局限性。此外,ACAM分支有助于统一浅层卷积特征和深层卷积特征,进一步提高模型的性能。在两个公共数据集和一个私有数据集上进行的大量实验表明,我们的ScribFormer在涂鸦监督分割方法中表现优越,并且甚至比完全监督的分割方法取得了更好的结果。