医学影像是指为了医疗或医学研究,对人体或人体某部分,以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向:医学成像系统(medicalimagingsystem)和医学图像处理(medicalimageprocessing)。前者是指图像行成的过程,包括对成像机理、成像设备、成像系统分析等问题的研究;后者是指对已经获得的图像作进一步的处理,其目的是或者是使原来不够清晰的图像复原,或者是为了突出图像中的某些特征信息,或者是对图像做模式分类等等。
医学影像发展至今,除了X射线以外,还有其他的成像技术,并发展出多种的影像技术应用。另外在生医资讯应用方面,为能所产生的数位影像档案与影像数位化档案,可以交换与查阅,发展出医疗数位影像传输协定技术。常用的医学影像技术包括:
心血管造影(Cardiacangiography):将造影剂通过心导管快速注入心腔或血管,使心脏和血管腔在X线照射下显影,同时有快速摄片,电视摄影或磁带录像等方法,将心脏和血管腔的显影过程拍摄下来,从显影的结果可以看到含有造影剂的血液流动顺序,以及心脏血管充盈情况,从而了解心脏和血管的生理和解剖的变化。是一种很有价值的诊断心脏血管病方法。
参考文献链接
近日,第四届图像计算与数字医学国际研讨会(ISICDM2020),在辽宁省沈阳市的东北大学国际学术交流中心举办。
在开幕式环节中,中科院自动化研究所田捷教授以《医学影像中的人工智能的算法和研究热点》为题做了大会报告。
田捷教授现任中国科学院自动化所研究员、分子影像重点实验室主任、北航-首医大数据精准医疗高精尖创新中心主任。
自2010年起,田捷教授连续获得计算机视觉与医学影像分析领域的9大Fellow,其中包括AAAS、IEEE、IAMBE、SPIE、AIMBE、IAPR、OSA、ISMRM、WMIS。同时也是两项国家重点基础研究发展计划(973计划)首席科学家。
他主要从事医学影像分析与生物特征识别的研究和应用的工作,还长期从事光学分子影像研究,在光学分子成像等领域做出了系统性、创新性贡献,特别是生物自发光和激发荧光断层成像及其应用方面。
以下是田捷演讲全文,雷锋网《医健AI掘金志》做了不改变原意的编辑:
田捷:今天和大家汇报的题目是《医学影像中的人工智能的算法和研究热点》,分为以下几个方面:包括自己团队对医学影像人工智能的工作进展,以及回归临床的人工智能到底给患者和临床带来什么收益。
随着方法不断更新,人工智能在医学影像中的应用也越来越深入,越来越多临床问题被更好的解决,使得患者能最终获益。
另一方面,医生和机器学习的关系,引用斯坦福大学SanjivSamGambhir教授在WMIC2018给出的例子,从医生角度来看,人工智能是计算机做人类认为智能的事,其从大到小包括机器学习、神经网络、深度学习。同时深度学习更适合解决像超声这样人工难以定义特征的影像,下面的表述也是验证他这样的观点。
AI的另一重要概念即大数据,一个病人影像的每个断层是512×512的像素,200个断层即可组成5000多万个体素,形成1000~10万个影像特征,医生看片不可能看到1000~10万个特征。
但计算机可以通过高通量处理对信息进行降维,使得诊断更准确,从而辅助医生进行决策。
CT、磁共振把信号变成图像,让人眼来判读,来提取特征,人脑来加工,最终形成诊断知识,这恰好是现在影像组学和人工智能,医学影像的研究热点。我将对这些热点,进行逐个分析。
首先从信号到图像,过去都是医学影像器械厂商完成,例如从K-空间,磁共振图像生成,有一系列物理模型和数学模型,像莱登投影,螺旋采样等这一系列方法。
但现在人工智能也在干这事,使得从复杂频率信号到实域变换,生成人眼能看的磁共振图像,经过训练以后,从图像中获取知识给出判断,但这种重建方法受到了降采样噪声干扰,使得很多图像失真。
人工智能不需要物理模型和数学公式,可以直接从信号到图像,既克服失真,又可高质量重建。此外AI重建出来的结果,颠覆了过去由物理模型和数学算法降采样得到图像的方式,其信噪比更高,图像质量更好。
团队也开展了类似工作,通过训练样本得到光源位置,不需要经过辐射传播方程来近似求解,以深度学习进行重建,其中没有复杂物理过程和简化数学模型,这个工作也发表在了Optica上。该工作以深度学习进行重建,与前面磁共振逻辑思路类似,按照这个思路做了一个系列,包括自发荧光,激发荧光,光声成像。
从信号到图像完全可以用深度学习,噪声更低,效果更好,颠覆了复杂物理过程和数学模型,使得重建更加有效。
回归到今天的主要内容:图像到知识。
重点从4个方面进行汇报:基于人工智能的影像组学方法;基于深度学习的影像智能诊断;特异性新型卷积神经网络模型;医疗人工智能的前沿热点方向。
医生看病是从影像提取特征,人眼看结构特征,根据经验进行人脑加工,最后给出决策。计算机通过影像数据,定量提取高通量特征,人工智能建模来辅助决策。
其中最大区别是人眼看的是结构,计算机看到的是高维信息。
高维信息能够提取微观基因蛋白信息在宏观影像上的表达,从而反映人体组织细胞和基因水平变化,使得诊断更准确,治疗更有效,这是影像组学意义所在。
影像组学也可以跟其他组学融合,通过人工智能高通量的提取特征信息,再进行建模,实现精准诊断、预后预测以及治疗方案选择。
围绕着这几个方面举典型案例,说明人工智能到底解决了什么问题,患者的获益在哪里。
人工智能对医学来说到底效果是什么?
另一方面,把宏观影像跟外部预后结合在一起,定量分析影像数据和临床数据,也能够辅助疾病个性化诊疗和精准预测。
其中最重要的就是特征,人眼只能看到形状特征。一些高维特征、标准方差、能量、复杂灰度、共生矩阵特征和熵,人眼都没办法看,也没办法加工,但计算机可以处理这些高维信息。
放射科大夫写报告都会描述形状不规则,边缘较模糊,长径多少,只能让临床外科和内科大夫去做判断。
但这两个人的预后差别很大,一个5年半没有复发,一个一年半就去世了。
这就是肿瘤异质性,从结构上看不到这两个患者的预后和肿瘤异质性(肿瘤本质的差别)。
觉得医工交叉要解决问题,研究思路应该是源于临床提出问题,要具体化,越具体越好。特别是现在临床解决不了的某一个点上的某一个具体问题,找适合的人工智能的数据处理方法和分析方法,最后回归临床应用。
下面我会举一些例子,说明了人工智能的效果。不同应用目的的工作为例子,以印证上面研究思路,案例均摘自Ebiomedicine(柳叶刀子刊)。
案例一:新辅助治疗效果评估
这是与南方医院合作的科研案例,针对特定临床问题:局部晚期宫颈癌治疗前难以预测新辅助治疗疗效。采用了275例新辅助化疗前宫颈癌多中心多序列MR影像。
用人工智能多序列、多区域MR影像组学特征分析,实现局部晚期宫颈癌患者的新辅助疗效精准预测。从过去不能从磁共振图看出问题,到借助人工智能加磁共振的分析达到精准预测。
这个成果发表在医学杂志Ebiomedicine上,国际同行法国教授DimitrisVisvikis认为该研究表明在多中心验证影像组学模型是可行的,该工作将促进影像组学的临床应用转化。
案例二:孕妇产后出血预测
这是与河南省人民医院合作的案例:通过分析近300例胎盘增生孕妇产前MR影像、MR影像组学特征,对多中心T2WI序列进行智能分析实现孕妇剖腹产发生出血的精准预测。
案例三:肝硬化门脉高压预测
前面是影像逼近病理,这是对肝静脉压梯度测量的预测,通过回顾性CT图像数据进行学习预测,提取了特征再进行前瞻性AI预测,效果也不错。
案例四:远处转移风险评估
鼻咽癌远处转移风险评估案例中,使用176例鼻咽癌患者MR影像进行数据定量分析,实现治疗前对鼻咽癌患者远处转移风险的精准预测。
案例五:脑膜瘤脑组织侵袭风险评估
这些案例都是以问题为导向,说明人工智能解决临床的特定问题,但问题一定是源于临床,找到一个特定问题,高于临床找到适合的方法,回归临床看效果。
对于AI找肺结节类问题在临床上并不一定有实际意义,也许方法很炫,在特定数据集上也很有效,但距离实际的临床问题和患者都太远。
影像组学还存在采用人工定义特征灵活性较低的问题,通过端到端的深度神经网络在数据中自动提取特征,能够减少对人的依赖,但这样的方法的可解释性给带来了挑战。
深度学习可以减少对人的依赖,无需人工定义特征,但需要的数据量也就提高了,超声就是很好的案例。
超声图像大概有两类:静态和动态。静态分为B超图像、弹性成像;动态分为B超视频、造影视频。
针对动态视频追踪,建立级联单样本可变形卷积神经网络模型,对超声视频中肝癌实现高精度实时自动追踪。
案例1:超声影像组学-预测肝癌TACE治疗预后
肝癌患者TACE预后差异大,术前缺乏有效预测手段的问题。
和中山大学一附院合作,针对139例肝癌患者术前超声造影动态视频建立了3DCNN网络,进行视频数据特征自动学习,精准预测肝癌TACE治疗预后情况,精度可以达到0.93。
左边是超声造影图像,深度学习可以将超声动态视频转化为更直观的分类视频,红色代表预后贡献值,红色越多代表预后效果好,蓝色代表预后效果不好,上面这个人预后效果更好,即使不是医生也可以看懂。深度学习把数据变成知识,缩短了医生的学习曲线。
案例2:卷积神经网络预后模型-肝癌治疗方案的选择-个性化诊疗
过去个性化诊疗凭大夫经验,根据化验结果和医学经验判断该肝切还是消融,但每个人经验是有限的。
使用卷积神经网络挖掘多相位超声视频特征,学习动脉期、门脉期、静脉期超声视频图像,然后集合Cox比例风险损失函数,就可以实现个性化诊疗,端到端进行预后预测。
通过AI计算,37位消融患者如果接受肝切治疗,两年PFS概率增加12%,56位肝切患者接受消融治疗,2年后PFS概率增加15%。
通过大数据和回顾性数据,可以对预后效果进行前瞻性预测,借助人工智能实现治疗方案的选择和推荐。
案例3:迁移学习—肺癌EGFR基因突变预测
影像不仅能逼近病理,还能做基因预测。原来判断肺癌有没有EGFR基因突变,需要进行穿刺。但穿刺风险很大,可能会激活肿瘤加快扩散,甚至穿刺可能带动肿瘤转移。
由于肿瘤异质性影响,一针不一定穿到肿瘤核心位置或想穿的地方。如果拍个CT就可以知道基因类型,可以解决规避很多风险,其中人工智能就可以发挥作用。
用迁移深度学习方法,对800余例肺腺癌患者多中心CT影像,进行基因突变预测。对EGFR突变给出预测,将其展现成可理解的知识。前面例子红色代表贡献值,是深度学习给出的肿瘤中EGFR基因突变高可疑区域。
对着高亮区域穿刺,效果会更好,也克服了前面的假阳性或假阳性结果,当然更重要进行无创的预测。
该成果发表在临床类顶刊-欧洲呼吸上,第一作者是一个工科学生,这个方法解决问题的效果好,实现了从影像+人工智能的基因预测。
通过半监督深度学习挖掘缺乏随访CT影像的数据,从大量无随访CT影像中学习肿瘤关键特征,少量随访数据和大量无随访CT影像得到复发风险预测精度为C-Index=0.713;预测三年复发率AUC=0.772。
案例5:多模态特征融合—胃癌腹膜转移预测
第五个案例是胃癌隐性腹膜转移,这类疾病术前无法进行影像判断,给外科大夫带来很大困难。
外科大夫只有通过手术看到后才发现胃癌腹膜转移,按照NCCN指南开刀手术已经没有价值。
这个工作当年就写入中国临床肿瘤学会CSCO胃癌诊疗指南,让更多病人避免白挨一刀,也让更多医生不用开一个没有价值的刀。
案例6:全自动深度学习模型—新冠肺炎诊断
今年新冠疫情的影响下,对新冠肺炎的诊断进行研究,针对新冠肺炎与其他肺炎的鉴别,构建端到端深度学习进行自动检测。
由于主要是鉴别新冠,研究采用了6家医院1266例肺炎患者的CT影像(924例新冠,324例其他肺炎),还有另外两家医院做独立外部验证集,AUC达到0.87和0.88。
特异性新型卷积神经网络模型
还提出中心池化卷积神经网络分层量化肿瘤空间信息概念,与传统池化、均匀量化相比,通过非均匀中心池化窗约束对瘤内、瘤周、瘤外区域分别使用不同大小的池化窗,实现基于空间信息的特征筛选,得到更多特征信息。
医疗人工智能的前沿热点方向
第一,病理-影像大数据融合影像组学研究
前面是以影像为主进行挖掘,病理图像也是图像,也很适合人工智能,如果把影像挖掘跟病理挖掘合二为一,效果肯定会1+1>2。
案例:影像病理组学辅助直肠癌疗效预测
这是第一个课题,从影像组学得到的结果,把影像组学+病理图像结合,准确率提高15%以上,说明利用多组学分析能解决更多问题。
第二,构建医学影像大数据
医工交叉和人工智能医学领域应用基础就是数据库,这是中国的一个优势,美国TCGA数据库做了很多年才达到1万例。中国数据比较多,团队已经积累了10万多例肿瘤数据。
第三,研发医学影像智能分析辅助诊断软件
另外一个重要元素就是算法,把算法软件集成在一起,形成算法库,供医生使用(开源),目前国内外已经有13万人次下载。
觉得未来AI还将进化到4.0时代,从数据直接获得知识。从数据到图像就是为了供人观看,但生成图像,会有很多噪声,丢掉很多信息。
未来如果人工智能从数据到知识,对于整个医学影像和放射科都将是一种颠覆,目前国内外都在研究。
最后总结一下,今天强调的是问题导向:源于临床,找到特定问题;高于临床,找到适合的人工智能方法;回归临床,让人工智能解决问题,让患者获益。
这个工作必须医工交叉,互补合作。很高兴这几年影像和超声医生,一直在尝试,发表了一系列学术顶刊,这些工作将使医疗人工智能持续发展的生命力。
20年医学图像回顾展望
在过去20年里,医学影像技术、人工智能技术以及这两项技术相结合的临床应用都取得了长足发展。中国在该领域的研究也取得卓越成就,并且在全世界范围内的贡献比例仍在逐步提高。
为了记录和总结国内同行的科研成果,中国医学影像人工智能20年回顾和展望(发表于《中国图象图形学报》2022年第3期“医学影像及临床应用”专刊)一文对中国医学影像人工智能过去20年的发展历程进行回顾和展望。
0
·引言
过去20年里,医学影像技术、人工智能技术以及这两项技术相结合的临床应用在全世界范围内得到了快速长足的发展。
中国医学影像人工智能领域在过去20年同样取得了突飞猛进的发展,在全世界范围内扮演了日益重要的角色。在科学研究方面,已经吸引了众多业内顶尖学者投身医学影像人工智能领域,在医学影像人工智能领域的国际顶级刊物及顶级会议发表的论文数量逐年增加,在国内举办的医学影像人工智能领域国际知名会议数量和影响力不断增强。
在应用落地方面,越来越多的传统医疗公司、互联网科技公司以及新生的人工智能公司开始大力发展医学影像人工智能产品。
同时,越来越多的医院也开始积极参与医学影像人工智能的合作研究项目,为将来人工智能在医学影像应用的最终落地夯实基础。
国家决策部门也在2017年发布的《新一代人工智能发展规划》中将智能医疗列入面向2030年国家新一代人工智能发展的重点任务之一,并且后续又出台了一系列的规划。
为了记录和总结过去20年中国在医学影像人工智能领域的努力和贡献,特意对中国医学影像人工智能过去20年的发展历程进行回顾,并对今后的发展进行展望。
此外,回顾并简要总结了近20年国内医学影像人工智能发展进程中的重要事件,包括国内主办的医学影像人工智能知名国际和国内会议、《中国医学影像AI白皮书》的发布以及国内同行在新冠肺炎COVID-19期间的贡献。
最后,展望了国内医学影像人工智能领域未来的发展趋势。
此外,包括了1998年(第一届MICCAI会议)至2021年的所有MICCAI论文,作者单位限定为中国大陆、香港、澳门或台湾。值得注意的是,在检索上述期刊或会议论文中,限定所有作者中至少有一位署名为国内单位。此外,为了排除同名作者造成的影响,还引入Scopus数据库提供的作者标识符(AuthorID)来区分同名作者。
1
·论文发表数量
1.1MedIA
图1为2000年以来中国每年在MedIA发表论文数量和占比。由图1可见,2000—2021年(截至11月),国内单位在MedIA期刊共发表论文333篇。自2003年发表第一篇论文开始,2003—2012年论文发表数量较少,一共仅11篇,平均每年1.1篇。2013年开始,论文发表数量有较明显增长,2013—2016年共发表44篇,平均每年11篇。
2017年开始,国内单位的论文发表数量增长迅速,2017—2021年11月共发表278篇,平均每年55.6篇,其中2021年(截止至11月)增长更为明显,较2020年增长69篇,达到132篇。
此外,自2012年开始,国内单位每年在MedIA发表论文占比也呈现整体上升趋势,2019—2021年(截至11月)分别达到27.07%,39.13%和37.29%。
图12000年以来国内单位每年在MedIA发表论文数量和占比
1.2TMI
图2为2000年以来中国每年在TMI发表论文数量和占比。由图2可见,2000—2021年(截至11月),国内单位在TMI期刊共发表论文601篇。2000—2011年间,中国在该期刊上发表的论文数量较少,每年的总数都不超过15篇。而从2012年开始,每年的论文发表数量呈现稳定增长趋势,在2020年达到129篇。
其中,2019—2020年的增长幅度最大,为54篇。截至2021年11月,2021年的论文总数已达到了112篇,预计年底能够追平甚至将超过2020年。
此外,自2011年开始,国内单位每年在TMI发表论文占比也呈现稳定上升趋势,2019—2021年(截至11月)分别达到28.63%,33.33%和42.26%。
图22000年以来国内单位每年在TMI发表论文数量和占比
1.3MICCAI
图3为1998年以来中国每年在MICCAI发表论文数量和占比。由图3可见,1998—2021年,国内单位在MICCAI会议发表论文共985篇。
从1999年发表最初的2篇论文开始,1999—2003年论文发表数量较少,一共仅8篇,其中1999、2000、2002、2003年各发表2篇。
从2004年开始,国内单位论文发表数量有较明显增长,2004—2015年共发表179篇,平均每年15篇。自2016年开始,国内单位发表论文数量迅速增长,2016—2018年共发表154篇,平均每年51篇。
2019—2021年年均发表论文超过了180篇,分别达到188、221、235篇。此外,自2014年开始,国内单位每年在MICCAI发表论文占比也呈现整体上升趋势,2019—2021年分别达到34.75%,40.63%和44.26%。
图31998年以来国内单位每年在MICCAI发表论文数量和占比
2
·论文作者身份
2.1MedIA
图4为2000年以来国内作者发表MedIA论文的身份占比。由图4可见,自2000年以来,国内作者发表MedIA期刊论文的身份具有显著变化。在论文发表数量和占比整体逐年上升(图1)的情况下,第一作者和通讯作者均为国内单位的论文数量占比(图4蓝色部分)也在逐年提高。
其中,2013—2019年总占比为44.53%,而2020年和2021年(截至11月)占比分别显著提高到71.43%和71.97%(由于2003—2012年论文发表数量及占比较少,故不纳入此分析)。
图42000年以来国内作者发表MedIA论文的身份占比
2.2TMI
图5为2000年以来国内作者发表TMI论文的身份占比。由图5可见,自2000年以来,国内作者发表TMI期刊论文的身份具有显著变化。
2012年之前,在论文发表数量较少和占比较低的情况下(图2),第一作者和通讯作者均为国内单位的论文数量的占比也较低(图5蓝色部分)。
自2012年开始,该占比整体增长,几乎此后所有年份的占比都超过50%,平均占比高达61.09%。其中2019年和2021年(截至11月)的占比分别达到75.00%和69.64%。
图52000年以来国内作者发表TMI论文的身份占比
2.3MICCAI
图6为1998年以来国内作者发表MICCAI论文的身份占比。由图6可见,自1998年以来,国内作者在MICCAI会议发表论文的身份具有显著变化。
在论文发表数量和占比整体逐年上升(图3)的情况下,第一作者和通讯作者均为国内单位的论文数量占比(图6蓝色部分)也在逐年提高。
其中,2009—2018年整体占比约60.9%,而2019—2021年占比分别为68.1%、67.9%和77.4%(由于1998—2009年国内作者论文发表数量较少且通讯作者没有明确标识,误差较大,故不纳入此分析)。
图61998年以来国内作者发表MICCAI论文的身份占比
3
·论文发表单位
3.1MedIA
图7为2000年以来国内单位发表MedIA期刊论文的数量统计图。发表论文总数量较多的国内单位,包括:
中国科学院(注:由于中国科学院下属研究单位机构众多,故在本文中合并统计,而中国科学院大学单独统计)(42篇,12.61%)、上海交通大学(35篇,10.51%)、香港中文大学(33篇,9.91%)、深圳大学(25篇,7.51%)、西北工业大学(21篇,6.31%)、上海联影智能医疗科技有限公司(17篇,5.11%)、四川大学(17篇,5.11%)、中山大学(17篇,5.11%)、复旦大学(15篇,4.50%)、北京理工大学(14篇,4.20%)、东南大学(14篇,4.20%)、中国科学院大学(14篇,4.20%)、厦门大学(14篇,4.20%)、浙江大学(14篇,4.20%)、华中科技大学(13篇,3.90%)、南方医科大学(13篇,3.90%)、北京大学(12篇,3.60%)、香港理工大学(11篇,3.30%)、电子科技大学(11篇,3.30%)、哈尔滨工业大学(10篇,3.00%)、上海科技大学(10篇,3.00%)、清华大学(10篇,3.00%)。
图72000年以来国内单位在MedIA发表论文总数量
3.2TMI
图8为2000年以来国内单位发表TMI期刊论文的数量统计图。发表论文总数量较多的国内单位包括:
中国科学院(80篇,13.31%)、上海交通大学(59篇,9.82%)、香港中文大学(40篇,6.66%)、清华大学(36篇,5.99%)、南方医科大学(32篇,5.32%)、深圳大学(28篇,4.66%)、浙江大学(23篇,3.83%)、香港理工大学(22篇,3.66%)、四川大学(22篇,3.66%)、北京大学(22篇,3.66%)、北京航空航天大学(22篇,3.66%)、中国科学院大学(22篇,3.66%)、华中科技大学(20篇,3.33%)、西安交通大学(19篇,3.16%)、西北工业大学(19篇,3.16%)、中国科学技术大学(19篇,3.16%)、中山大学(18篇,3.00%)、北京理工大学(16篇,2.66%)、东南大学(15篇、2.50%)。
图82000年以来国内单位在TMI发表论文总数量
3.3MICCAI
图9为1998年以来国内单位在MICCAI会议发表论文的数量统计图。发表论文总数量较多的国内单位,包括:
中国科学院(120篇,12.18%)、上海交通大学(103篇,10.46%)、西北工业大学(72篇,7.31%)、香港中文大学(69篇,7.01%)、浙江大学(51篇,5.18%)、深圳大学(47篇,4.77%)、北京大学(43篇,4.37%)、中山大学(33篇,3.35%)、清华大学(32篇,3.25%)、上海联影智能医疗科技有限公司(30篇,3.05%)、中国科技大学(29篇,2.94%)、中国科学院大学(27篇,2.74%)和香港科技大学(25篇,2.54%)。
图91998年以来国内单位在MICCAI发表论文总数量
4
·论文作者合作链
4.1MedIA
采用公开的igraph工具包来绘制论文作者之间的关系链示意图(图10—图12)。以国内第一作者作为主要节点来对同篇论文中的其他参与作者进行连接,图中红色节点以及作者名字体大小与该作者参与论文数量成正比,节点之间的连线粗细与作者之间合作论文的数量成正比。
图10显示了2000年以来发表MedIA论文的国内作者的合作链。为了使合作链示意图更加清晰,省略了不存在合作链或发文量仅一篇的作者。
在纳入统计的333篇论文中,发表论文数量相对较多且国内外合作者较多的国内作者有:
ShenDinggang(43篇,12.91%)、LiShuo(32篇,9.61%)、HengPheng-Ann(21篇,6.31%)、ChenBo(13篇,3.90%)、LiuTianming/LeiBaiying/ChenHao(12篇,3.60%)、GuoLei/QinJing(10篇,3.00%)、LiuMingxia/ZhangHeye/WangTianfu/YeChuyang/DouQi(9篇,2.70%)、ZhangDaoqiang/YangXin/ZhangYi(8篇,2.40%)、NiDong/GaoYaozong/ZhengYefeng/WangLiansheng/ChenYang(7篇,2.10%)、WangQian/ShiFeng/ZhangTuo/ZhuangXiahai/FuHuazhu(6篇,1.80%)、FengQianjin/HanJunwei/ZhuDajiang/JiangXi/JieBiao/XuYanwu/ZhangShaoting/MaKai/BianCheng/JinYueming/XiaoJing/ChenGeng(5篇,1.50%)等。
图102000年以来发表MedIA论文的国内作者合作链关系图
4.2TMI
图11显示了2000年以来发表TMI论文的国内作者的合作链。为了使合作链示意图更加清晰,设置节点顶点的大小为作者参与论文数量的5倍以及设置顶点名称的大小为作者参与论文数量的3倍,同时省略了一些合作较少的作者。
在纳入统计的601篇论文中,发表论文数量相对较多且国内外合作者较多的国内作者有:
ShenDinggang(33篇,5.49%)、HengPheng-Ann(30篇,4.99%)、TianJie/MaJianhua/YuLequan(14篇,2.33%)、LiuJiang(13篇,2.16%)、ChenWufan/ChenHao/DouQi(12篇,2.00%)、ZhangYi(11篇,1.83%)、FengQianjin/LiuDong/FengDavidDagan(10篇,1.66%)、NiDong/ZhangDaoqiang/LuoJianwen/QinJing/DuJiangfeng(9篇,1.50%)、WangQian/XiaYong/LiuMingxia/ChenXinjian/YangXin/ZhengHairong/ChengJun/MouXuanqin/LuHongbing/ZengDong/ZhaoYitian/LinWeili(8篇,1.33%)、LiangDong/ChenYang/ZhangHao/YangWei/SongYang/CaiWeidong(7篇,1.16%)等。
图112000年以来发表TMI论文的国内作者合作链关系图
4.3MICCAI
图12显示了1998年以来发表MICCAI会议论文的国内作者的合作链。由于MICCAI会议国内单位的论文数量较多,为了使合作链示意图更加清晰,将发文少于8篇的作者省略。
在纳入统计的985篇论文中,发表论文数量相对较多且国内外合作者较多的国内作者有:
ShenDinggang(96篇,9.75%)、LiuTianming(44篇,4.47%)、HengPheng-Ann(34篇,3.45%)、GuoLei(33篇,3.35%)、ZhengYefeng(29篇,2.94%)、MaKai(28篇,2.84%)、XiaoJing(27篇,2.74%)、QinJing(24篇,2.44%)、NiDong/LiShuo(23篇,2.34%)、ZhangTuo(22篇,2.23%)、LuLe(21篇,2.13%)、KevinZhouS./ChungAlbertC.S./LiuJiang/YuYizhou(20篇,2.03%)、ShiPengcheng/ZhangShaoting(19篇,1.93%)、WangLi(18篇,1.83%)、LiGang(16篇,1.62%)、WangQian/XueZhong/YangXin/ZhangHeye/LiuHuafeng(15篇,1.52%)、ZhangDaoqiang/HuXintao/LinWeili/FuHuazhu/WangYizhou(14篇,1.42%)、ShiFeng/XiaYong/ZhangHan/DouQi(13篇,1.32%)、JiangXi/LeiBaiying/ShiYiyu(12篇,1.22%)、LvJinglei/LiXiang/ZhuangXiahai/LiuMingxia/HuangJunzhou/YanKe(11篇,1.12%)、JiangTianzi/HanJunwei/YaoJianhua/ZhaoYitian/CaiWeidong(10篇,1.02%)等。
图121998年以来发表MICCAI论文的国内作者合作链关系图
5
·论文关键词
(a)2000—2011年词云图
(b)2012—2016年词云图
(c)2017—2021年词云图
图132000—2011年、2012—2016年和2017—2021年国内作者发表MedIA期刊论文的关键词词云分析结果
图142000—2011年、2012—2016年和2017—2021年国内作者发表TMI期刊论文的关键词词云分析结果
(a)1998—2011年词云图
图151998—2011年、2012—2016年和2017—2021年国内作者发表MICCAI会议论文的关键词词云分析结果
6
·论文引用次数
6.1MedIA
2000—2021年(截至11月),国内单位在MedIA期刊发表的333篇论文共被WebofScience核心数据集引用7481次,平均每篇被引22次。被引次数较多的10篇论文分别为:
“Validation,Comparison,andCombinationofAlgorithmsforAutomaticDetectionofPulmonaryNodulesinComputedTomographyImages:TheLUNA16Challenge”(268次)
“ADeepLearningModelIntegratingFCNNsandCRFsforBrainTumorSegmentation”(265次)
“3DDeeplySupervisedNetworkforAutomatedSegmentationofVolumetricMedicalImages”(240次)
“MagneticResonanceImageReconstructionfromUndersampledMeasurementsUsingAPatch-basedNonlocalOperator”(203次)
“AssessmentofAlgorithmsforMitosisDetectioninBreastCancerHistopathologyImages”(194次)
“DCAN:DeepContour-awareNetworksforObjectInstanceSegmentationfromHistologyImages”(192次)
“ISLES2015-APublicEvaluationBenchmarkforIschemicStrokeLesionSegmentationfromMultispectralMRI”(190次)
“GlandSegmentationinColonHistologyImages:TheGlasChallengeContest”(187次)
“CentralFocusedConvolutionalNeuralNetworks:DevelopingAData-drivenModelforLungNoduleSegmentation”(170次)
“ABlindDeconvolutionApproachtoRecoverEffectiveConnectivityBrainNetworksfromRestingStateFMRIData”(136次)
6.2TMI
2000—2021年(截至11月),国内单位在TMI期刊发表的601篇论文共被WebofScience核心数据集引用16623次,平均每篇被引28次。被引次数较多的10篇论文分别为:
“Generalizedq-SamplingImaging”(426次)
“Low-DoseCTWithaResidualEncoder-DecoderConvolutionalNeuralNetwork”(380次)
“Penalizedweightedleast-squaresapproachtosinogramnoisereductionandimagereconstructionforlow-doseX-raycomputedtomography”(358次)
“Low-DoseX-rayCTReconstructionviaDictionaryLearning”(357次)
“StackedSparseAutoencoder(SSAE)forNucleiDetectiononBreastCancerHistopathologyImages”(351次)
“H-DenseUNet:HybridDenselyConnectedUNetforLiverandTumorSegmentationFromCTVolumes”(320次)
“Low-DoseCTImageDenoisingUsingaGenerativeAdversarialNetworkWithWassersteinDistanceandPerceptualLoss”(305次)
“AutomatedMelanomaRecognitioninDermoscopyImagesviaVeryDeepResidualNetworks”(292次)
“AutomaticDetectionofCerebralMicrobleedsFromMRImagesvia3DConvolutionalNeuralNetworks”(287次)
“RetinopathyOnlineChallenge:AutomaticDetectionofMicroaneurysmsinDigitalColorFundusPhotographs”(266次)
6.3MICCAI
1998—2021年,国内单位在MICCAI会议发表的985篇论文共被引用8916次(截至2021年11月,由PlumMetrics评价系统提供),平均每篇被引9次。被引次数较多的10篇论文分别为:
“MedicalImageSynthesiswithContext-AwareGenerativeAdversarialNetworks”(268次)
“DeepVessel:RetinalVesselSegmentationviaDeepLearningandConditionalRandomField”(245次)
“3DDeeplySupervisedNetworkforAutomaticLiverSegmentationfromCTVolumes”(186次)
“AccuratePulmonaryNoduleDetectioninComputedTomographyImagesUsingDeepConvolutionalNeuralNetworks”(142次)
“CardiacImageSuper-ResolutionwithGlobalCorrespondenceUsingMulti-AtlasPatchMatch”(91次)
“AutomatedPulmonaryNoduleDetectionvia3DConvNetswithOnlineSampleFilteringandHybrid-LossResidualLearning”(88次)
“ASDNet:AttentionBasedSemi-supervisedDeepNetworksforMedicalImageSegmentation”(84次)
“AutomatedNucleusandCytoplasmSegmentationofOverlappingCervicalCells”(81次)
“Uncertainty-AwareSelf-ensemblingModelforSemi-supervised3DLeftAtriumSegmentation”(69次)
“Multi-modalImageRegistrationbyMinimisingKullback-LeiblerDistance”(65次)
7.1中国举办的医学影像人工智能知名国际会议
作为医学图像人工智能领域的国际顶级学术会议,医学影像计算与计算机辅助介入会议(MICCAI)已在中国成功举办过2届。
第13届会议(MICCAI2010)于2010年9月20—24日首次在北京举办,大会主席为中国科学院自动化研究所蒋田仔教授。会议共接收论文251篇,来自全球参会者达800余名。
第22届会议(MICCAI2019)于2019年10月13—17日在深圳举行,大会主席为上海科技大学沈定刚教授和美国佐治亚大学刘天明教授,当地主席为深圳大学倪东教授。
第22届会议创造了多项纪录:会议注册人数突破2300人;论文投稿数量相比2018年增加63%,最终接收538篇,其中来自亚洲的录取论文比例(37%)首次超过美洲,中国贡献了绝大多数论文(188篇);讲习班、研讨会、挑战赛的举办数量多达60余个;创纪录地资助了113名全球学生参会,其中包括48名本科生,并且中国高校本科生占多数;赞助商达20余家;会议也吸引了大量工业界人士和医生参会。MICCAI2019的成功举办对中国医学图像人工智能的长远发展和青年后备人才的培养具有深远的影响。
除了MICCAI之外,中国还成功举办了其他知名医学图像人工智能国际会议。
例如,2014年的生物医学成像国际论坛ISBI(TheIEEEInternationalSymposiumonBiomedicalImaging)于4月29日至5月2日在北京举办,大会主席为伦斯勒理工学院王革教授和卡耐基梅隆大学贺斌教授,程序委员会主席之一为中国科学院自动化研究所田捷教授。
第26届医学成像信息处理国际会议IPMI(TheinternationalconferenceonInformationProcessinginMedicalImaging)于2019年6月2—7日在香港举行,大会主席为香港科技大学AlbertC.S.Chung教授和宾夕法尼亚大学JamesGee教授。
第18届人脑图谱组织年会OHBM(18thannualMeetingoftheorganizationforHumanbrainMapping)于2012年6月10—14日在北京举行,当地主席为北京大学高家红教授。
7.2中国举办的其他医学影像人工智能会议
2014年12月,在上海科技大学(原北卡罗来纳大学教堂山分校)沈定刚教授的倡议下,医学图像计算青年研讨会MICS(MedicalImagingComputingSeminar)在深圳大学首次由倪东教授举办。
该会议最大特色及宗旨是为医学图像计算领域的华人青年学者提供国内学术交流平台,促进该领域青年科研学者与医生等其他领域专家的相互了解,帮助其融入国内学术研究大家庭。
会议聚焦近三年内的医学图像计算领域有影响力的原创研究,经过2014年—2021年共8届会议,MICS从线下参会人数不足百人到最多2000余名。
此外,MICS还组织了每两周一次的在线学术讲座。MICS已迅速发展成为国内医学图像计算领域最具影响力的学术活动和组织之一,为推进中国医学影像人工智能领域的发展做出了贡献。
2017年9月,由电子科技大学李纯明教授发起的图像计算与数字医学国际研讨会ISICDM(InternationalSymposiumonImageComputingandDigitalMedicine)在成都首次举办。
该会议坚持理工医跨学科交流特色,学术讨论围绕图像计算和数字医学中的理论、算法与应用问题,旨在促进电子信息、数学和医学等领域学者的交流合作,近4届会议共2000余人次线下参会。
此外,中国生物医学工程学会每年主办的青年论坛也为医学影像人工智能领域提供了交流合作和共同发展的平台。
7.3中国医学影像AI白皮书
在近几年医学影像人工智能蓬勃发展但泡沫和乱象并存的时刻,该权威性报告为中国医学影像人工智能的未来发展提供了蓝图。
7.4国内同行在COVID-19期间的贡献
2019年新型冠状病毒肺炎(COVID-19)的爆发给全世界人民生命健康安全带来严重影响,也给全世界医疗健康领域带来巨大挑战。
2020年2月18日,在国内疫情最严峻的时刻,MICS组织了COVID-19在线论坛,邀请了国内知名医学专家、医学影像人工智能研究学者和公司代表讨论了基于CT影像诊断COVID-19的进展,以及人工智能在辅助医生诊断COVID-19中发挥的作用。
Shi等人(2021)和Dong等人(2021)在综述中分别从不同角度总结回顾了针对COVID-19成像数据的医学影像分析以及深度学习方法和工具。Liu等人(2021)和Shen等人(2020)分别在MedIA和TMI上创办了名为“IntelligentAnalysisofCOVID-19ImagingData”和“Imaging-basedDiagnosisofCOVID-19”的联合特刊,从互补角度聚焦COVID-19成像的核心问题,共汇集出版了20多篇提出新方法和报告新实验结果的论文,其中中国同行贡献了近一半数量。
从方法角度,中国同行发表在上述特刊论文可分为3类:1)COVID-19成像数据的分割和诊断(Gao等,2021;Yang等,2021a;Di等,2021;Ouyang等,2020);2)COVID-19严重程度评估和预后预测(Zhu等,2021;Xue等,2021);3)COVID-19影像数据的临床管理(Zhong等,2021;Han等,2020;Wang等,2020)。
8·结语
本文对中国医学影像人工智能过去20年的发展历程进行了回顾。着重定量分析了国内同行在医学影像人工智能领域国际顶级刊物(MedIA和TMI)以及顶级会议(MICCAI)发表的论文情况,包括论文发表数量、作者身份、发表单位、作者合作链、关键词、被引次数等信息,介绍了中国近20年在医学影像人工智能领域取得的突飞猛进的成绩。
同时,许多研究论文的作者将数据和源代码公开给全世界共享,为全世界医学影像人工智能的科研和教学做出了杰出的贡献。
此外,还回顾并简要总结了国内近20年医学影像人工智能发展进程中的重要事件。期望本文能为医学影像人工智能同行提供一个科研和教学参考,为新一代从事医学影像人工智能领域研究的学者和学生提供一个了解中国该领域发展历史的线索,促进该领域将来在中国的蓬勃发展。
通过对中国医学影像人工智能的发展历程回顾可以发现,首先,随着人工智能技术的飞速发展,机器学习,尤其是深度学习正广泛运用于医学影像的成像、识别、分类和量化等各个领域。
由于具有强大的从数据中归纳特征而非根据领域特定知识手工识别特征的能力,深度学习近年来已迅速成为主流的人工智能技术,并显著提高了医学影像应用的性能(Shen等,2017)。
故此建议将来进一步提高深度学习的能力,包括最优和高效的深度学习,可推广的深度学习,可解释的深度学习,公平的深度学习以及负责任和值得信赖的深度学习等。
其次,医学影像人工智能结构化数据服务和共享需要进一步提升,以促进医学影像和深度学习领域的专家学者以最佳方式协同推进基础科研和临床应用落地研究。
再次,需要加强多中心和多模态医学影像数据的采集和融合分析,包括与自然语言的融合。进一步,由第4章“论文作者合作链”可以看出,医学影像人工智能是一个医工交叉学科。建议该领域研究者进一步与医生加强密切合作,聚焦当前人工智能在医学影像临床应用中的真正难点和痛点,将医学影像人工智能技术真正落地。
作者信息
蒋希,电子科技大学生命科学与技术学院生物医学工程系副研究员,硕士生导师,主要研究方向为脑成像分析和计算机辅助脑疾病诊断。
E-mail:xijiang@uestc.edu.cn
袁奕萱,香港城市大学电机工程系/香港城市大学深圳研究院,副研究员,博士生导师,主要研究方向为内窥镜图像分析和计算机辅助疾病诊断。
E-mail:yxyuan.ee@cityu.edu.hk
王雅萍,郑州大学信息工程学院副教授,博士生导师,主要研究方向为医学图像处理与分析、神经科学脑认知。
E-mail:ieypwang@zzu.edu.cn
肖振祥,电子科技大学生命科学与技术学院生物医学工程系硕士研究生,主要研究方向为磁共振脑成像数据分析。
E-mail:xiao.zhenxiang@std.uestc.edu.cn
朱美芦,香港城市大学电机工程系硕士,主要研究方向为多任务学习、弱监督学习。
E-mail:meiluzhu2@cityu.edu.hk
陈泽华,郑州大学信息工程学院硕士研究生,主要研究方向为医学图像处理与分析。
E-mail:asd140245@163.com
刘天明,通信作者,美国佐治亚大学计算机科学系教授,博士生导师,主要研究方向为脑成像、计算神经科学和类脑人工智能。
E-mail:tliu@cs.uga.edu
沈定刚,通信作者,上海科技大学生物医学工程学院/上海联影智能医疗科技有限公司,教授,博士生导师,主要研究方向为早期脑发育和自闭症的诊断,老年痴呆症的早期诊断与预测、肿瘤的诊断、预后和放射治疗。
E-mail:dgshen@shanghaitech.edu.cn
引用格式:蒋希,袁奕萱,王雅萍,肖振祥,朱美芦,陈泽华,刘天明,沈定刚.2022.中国医学影像人工智能20年回顾和展望.中国图象图形学报,27(3):655-671.)[DOI:10.11834/jig.211162]