既然前面我们已经对临床预测模型的概念有了基本了解后,那么它具体如何构建以及验证呢?本节我们就讨论下这方面的内容。
首选我们要明确具体的临床问题决定研究类型的选择。临床预测模型可以回答疾病的病因、诊断、患者对治疗的反应和预后等问题。不同的问题需要设计不同的研究类型。
在诊断模型的研究中,需要一个“金标准”或参考标准来独立诊断疾病,参考标准的诊断应该在“盲法”状态下进行。也就是说,参考标准诊断不能依赖于预测模型中预测因子的信息,以避免出现诊断评估偏差。
评估患者对治疗的反应是干预性研究的一种类型。需要选择合理的研究对象、控制非测试因素的干扰。在预后模型中,预测因子与结局之间存在纵向关系,研究者通常期望得到疾病在自然状态下的结局,因此前瞻性队列研究是最常见的预后模型,也是最佳的研究设计类型。
首先需要回顾文献来确定我们要构建的预测模型的数量:
(一)针对具体临床问题目前还没有预测模型。为了构建一个新的模型,通常需要一个训练集来构建模型,并需要一个验证集来验证模型的预测能力。
(二)目前已有预测模型。为了构建新的模型,使用验证集来构建新模型,并使用相同的训练数据集来分别验证现有模型和新模型的预测能力。
(三)为了更新现有模型,使用相同的验证数据集来评估这两个模型的预测能力。
关于训练数据集和验证数据集的生成,可以前瞻性地或回顾性地收集数据,其中前瞻性收集的数据具有更高的质量。对于建模人群,样本量应尽可能大。
如果数据是回顾性收集的,还应该评估数据质量,识别离群值,并对缺失值进行适当处理,如填充或删除。
最后,根据实际情况确定用于建模的训练数据集和用于验证的验证数据集。由于现实原因,有时只能在同一数据集中建模和验证,这是允许的,但模型的外部适用性会受到一定程度的影响。
在建立预测模型之前,有必要了解以往文献报道中的预测因子,确定选择预测因子的原则和方法,并选择所需应用的模型类型,如logistic回归模型或Cox回归模型。目前,预测模型常用有四种呈现形式:
(一)公式。直接使用数学公式作为预测模型工具。
(二)列线图Nomogram。通过适当的数学变换将回归模型中的回归系数转换为分数,并将其绘制为诺模图作为预测模型工具。
(三)网络计算器。其本质也是通过适当的数学运算将回归模型中的回归系数转换成分数,并将其制作成网站供在线使用。
(四)评分系统。通过适当的数学运算,将回归模型的回归系数转化为一个可量化的评分系统。
模型的内部验证和外部验证是评估模型稳定性和适用性的必要步骤。用于内部验证和外部验证的数据集应该是完全异质的,不能仅仅在一定程度上不同。一般情况下,使用原机构的数据作为训练集来建立模型,并随机抽取一部分内部数据进行内部验证。选择来自其他机构的数据作为外部验证数据集。当然,最好是进行外部数据集验证。下面介绍几种验证内部有效性的方法。
(一)随机拆分法。将现有数据随机分成两部分,一部分用于构建模型,另一部分用于验证模型。采用该方法将数据分为两部分进行“内部验证”。由于只有一部分的数据用于构建模型,因此模型相对不稳定。样本量较小的研究通常不适合这种方法。
(二)交叉验证方法。这种方法是对随机拆分法的的进一步延伸。常用的有半折交叉验证和十折交叉验证。半折交叉验证法是将原始数据分成两部分,一部分用于建立模型,另一部分用于验证模型。然后调换两部分的数据并相互验证。十折交叉验证法是将数据分成十部分,其中九部分用于建模,另一部分用于模型验证。用这种方法建立和验证模型十次,就可以构建一个相对稳定的模型。
(三)Bootstrap方法。传统的Bootstrap内部有效性验证方法是在原始数据集中有放回的随机抽取一定数量的样本建立模型,然后使用原始数据集对模型进行验证。通过500-1000次的随机抽样、建立和验证,可以得到500-1000个模型,并可以总结出模型的参数分布。因此,可以确定模型的最终参数值。实践证明,该方法得到的模型比前两种方法具有更高的稳定性。可以推测,Bootstrap方法将越来越多地应用于验证模型的内部有效性分析。当然,在具备条件的情况下,应尽量对预测模型进行外部验证,提高模型的外部适用性。
1.预测模型是根据传统的临床特征、病理特征、体检结果、实验室检查结果等构建起来的,这类模型中的预测变量更加便于从临床上获取。
2.随着影像组学研究方法的成熟,越来越多的学者意识到影像学的某些表现或参数代表了特定的生物学特征。使用彩色多普勒超声、CT、MR以及PET的大量成像参数结合临床特征来构建预测模型,往往可以进一步提高预测模型的准确性。此类建模基于影像组学数据。此类建模的前期工作量比第一种方法大得多,并且需要临床和影像部门之间的紧密合作。
在这里,我们需要理解混杂因素是客观存在的,因为任何临床结果的发生都不是单一因素的结果。对于混杂因素有两个级别的校正。一种是实验设计阶段的校正,即顶层校正,即通过随机化和足够的样本量来均衡组间的混杂因素。这也是随机对照研究流行的原因:只要样本量足够,随机化正确,就能一劳永逸地解决混杂因素问题。第二种情况是通过统计方法进行后期校正,显然没有随机对照研究校正的那么彻底,但第二种情况更接近我们临床实践的真实情况。
4.临床研究洞察力。建立临床预测模型是为了解决临床问题。要发现有价值的临床问题,就需要进行广泛阅读和临床实践。
1.临床应用率低。主要原因是预测模型的临床应用需要在模型的准确性和简便性之间取得平衡。如果有一个模型,它与TNM分期一样易于使用,但比TNM分期更准确,您会做出什么选择?
2.大多数临床预测模型都是基于回顾性数据集来构建和验证的,很少在前瞻性数据中进行验证。因此,模型预测的稳定性相对较差。
ZhouZR,WangWW,LiY,etal.In-depthminingofclinicaldata:theconstructionofclinicalpredictionmodelwithR.AnnTranslMed.2019;7(23):796.doi:10.21037/atm.2019.08.63