国自然申报悄然临近,相信大家都忙着写标书,小编这里也给现在还没有完成标书的小伙伴们带来一些研究思路。
01研究背景
多发性肺结节(MPNs)是指影像学上高于3cm的混浊。由于胸腔CT的广泛应用,MPN已成为一种越来越被认可的现象,在肺癌筛查试验中,其检出率为6.8%~50.9%。既往研究报道,结节发现后的诊断性手术的良性率高达40%,同时研究也强调了在侵入性手术前仔细评估结节的重要性,以减少手术风险和减少不必要的肺功能损失。与PET/CT和经皮活检可以帮助鉴别诊断的孤立性肺结节(SPNs)不同,PET/CT在MPNs中的准确性,特别是在多个毛玻璃混浊(GGOs)中的准确性不令人满意。此外,对CT扫描中显示的每个结节进行活检也是不可能的。因此,需要一种工具来预先检测MPN的恶性肿瘤,以指导后续的管理。
在这项研究中,作者试图开发一个基于web的机器学习模型,使用临床和影像学特征预测恶性肿瘤的概率,比较模型性能与临床医生、CADx系统的预测效能。
02材料和方法
一、研究设计
1.构建了一个预测模型,使用11种典型的机器学习算法预预测结节发生恶性肿瘤的概率,并选择性能最佳的算法进行进一步优化。
2.该模型在一个独立的跨国MPN队列中进行了外部验证,以测试其性能,并与现有的模型进行比较。
3.使用另一个已注册的多中心MPN队列,对我们的模型、临床医生和一个训练有素的CADx产品进行了预测准确性的前瞻性比较。
为完成这个研究,作者分别收集了三个队列,包括开发队列(Developmentcohort)、独立验证队列(Independentvalidationcohort)、前瞻性比较队列(Prospectivecomparisoncohort)。
开发队列包括2007年1月至2018年12月在北京某医院接受治疗的连续胸部薄片CT扫描新发现的MPN患者。独立验证队列包括2016年1月至2018年12月期间在6家独立跨国医院接受手术治疗的患者。前瞻性比较队列在研究开始前注册,包括2019年1月(中国)-2019年3月在四家独立医院接受手术治疗的MPN患者。
二、变量收集
MPN患者的影像学特征由两名经委员会认证的临床医生(一名有10年经验的放射科医生和一名有15年经验的胸外科医生)提取,影像学特征包括结节大小、视觉结节类型、结节位置、结节分布以及每次扫描的结节计数。还记录了肺气肿、针状体、分叶、胸膜缩回征、边界不清楚和钙化成分。
三、机器学习
作者选择了经典和最新的机器学习模型[自适应增强(AdaBoost)、决策树、逻辑回归、线性支持向量机(线性SVM)、径向基函数核支持向量机(RBFSVM)、朴素贝叶斯、最近邻、神经网络、二次判别分析(QDA)、随机森林和极端梯度增强(XGBoost)],使用所有社会人口统计学和放射学变量作为特征,在每个默认设置上训练每个模型50次,并使用测试集对每个算法进行评估,以比较性能。最终XGboost性能最优,并被选择进一步优化。
模型构建采用的是常用的交叉验证以及网格寻参的方式,值得说明的是作者加入了shap-value对模型进行解释。
四、统计分析
最后PKU-M模型与四个临床医生和CADx产品进行比较,临床医生间风险预测的一致性采用Kendall的一致性系数,采用McNemarx2检验比较敏感性和特异性。所有统计分析均采用STATA/MP(16.0版)和R软件(3.6.3版)进行。
03研究结果
520例患者,CT扫描发现1739个结节,其中876个结节(50.4%)被证实为恶性肿瘤。独立验证队列包括220例患者,583个结节有明确的病理诊断,其中318个结节(54.5%)为恶性结节。前瞻性比较队列包括78例患者,200个结节,其中126个(63.0%)为恶性结节。具体如下表所示。
一、模型表现
机器学习在预测MPN的恶性概率方面取得了良好的表现,AUC为0.909(95%CI,0.854–0.946)。Brier评分为0.122,表明预测的和观察到的恶性肿瘤概率和良好的模型校准之间的差异很小。随着恶性肿瘤概率的增加,敏感性降低,特异性增加,预测概率的分布呈直方图。
我们根据Youden指数为PKU-M模型定义了一个最优的0.447的截止概率,使灵敏度、特异性、PPV、NPV和准确性分别为0.807、0.849、0.845、0.811和0.828。Shap值显示了每个特征对PKU-M模型输出的影响分布。结节大小、结节类型、结节计数、边界、年龄、针状体、分叶、肺气肿、结节位置和结节分布是该模型中最具预测性的10个特征。
二、外部验证
独立验证队列用于外部验证。PKU-M模型表现良好,AUC为0.890(95%CI、0.859–0.916),显著高于Brock模型(0.806;95%CI、0.771–0.838)、PKU模型(0.780;0.743-0.7)、Mayo模型(0.739;95%CI,0.697-0.776),和VA模型(0.682;95%CI、0.640–0.722;0P<0.001)。PKU-M模型在每个中心的AUC始终优于其他模型。决策曲线分析显示,PKU-M模型的净收益超过了其他任何一个模型,表明它在较大的概率阈值范围内具有更好的临床影响。
三、前瞻性比较
对78例MPN患者的200个结节进行前瞻性比较,PKU-M模型的AUC为0.871(95%CI,0.815–0.915),显著高于三名胸外科医生的以及RX的AUC。
Kendall一致性检验为0.469,表明在4名临床医生中只有中度风险判断的一致性。使用McNemar卡方检验,PKU-M模型优于平均临床医生,敏感性绝对增加0.143(0.091–0.195;P<0.001),特异性绝对增加0.078(0.010–0.145;P0.018)。
PKU-M模型与RX具有相当的敏感性和特异性。RX与平均临床医生具有相似的特异性,但其表现优于平均临床医生,其敏感性绝对增加了0.103(P<0.001)
四、在线模型
04总结
临床医生在处理肺结节时通常面临两难的境地:手术切除会造成患者发病的风险,而CT监测可能导致延误诊断和治疗。当遇到MPN患者时,这个问题会变得更加严重。对于CT扫描中发现的每个结节进行活检或切除通常是不现实的,因为其分布大多是双侧和分散的。此外,也不可能切除所有的结节,特别是对于有肺功能边缘和术前共病的患者,因为每次手术都会增加不良预后的可能性。
目前的指导建议是基于风险的算法,帮助决策在低风险时进行观望策略,在高风险时进行切除。然而,目前还没有工具设计来在手术评估时预测MPN的风险,这导致了对此类结节的管理混乱。
在本研究中,我们使用机器学习作为一种新的分析方法来建立第一个可以估计MPN恶性概率的模型,同时与跨国多中心队列和与临床医生和深度学习系统进行前瞻性比较,是第一个专门针对MPN患者的癌症预测模型,表现出可靠的性能,可作为帮助决策的方便参考。
1、没有包括PET/CT结果;
2、在西方异质性群体中的普遍性尚不清楚;
3、本研究中的患者是高危癌症患者,而不是一个筛查队列。该模型是否可以应用于一个广泛扩展的队列,还必须进行验证。
05平台实操
机器学习分类:这一分析模块为分类型问题的建模,帮助研究人员快速建立临床预测模型,改方法提供了多种机器学习模型。
“模型解释性”可展示模型整体解释性以及单个样本的解释性,自动生成ShapValue图(通过计算每一个特征对预测结果的贡献,来对模型结果进行解释)。
结语
临床研究的根本使命是发现并解决生命科学领域亟待解决的临床问题,同时,为即将发生的临床难题提供备选解决方案。
点击“阅读全文”参加有奖活动,内含超大福利,不要错过哦!