伞形评价中的文献重叠会影响研究结论的可靠性和准确性,产生偏倚风险较大的结果,因此评估文献重叠程度以及如何处理文献重叠变得非常重要。为了避免重复计算和减少偏倚风险,研究者需要量化文献重叠程度并采取相应的处理策略。本文详细介绍了文献重叠程度的计算方法以及处理重叠文献的不同策略,以期为国内学者对该方法的理解和应用提供参考和借鉴。
引用本文: 马宁, 潘蓓, 邓锡源, 王潇曼, 李丹, 何欣, 刘晓纬, 毛长兴, 刘一君, 牛军强, 杨克虎. 伞形评价中文献重叠的评估及处理. 中国循证医学杂志, 2024, 24(10): 1212-1218. doi: 10.7507/1672-2531.202405025 复制
伞形评价(umbrella review),又称伞状综述、伞状评价、系统评价再评价,通过对已发表的系统评价和Meta分析进行综合研究,从而为某个特定的研究主题提供更可靠的结论[1,2]。伞形评价的目的不只是去重复检索、文献筛选、偏倚风险评估及进行定性或定量分析,更是对来自多方面的证据的总结,以期为临床决策和循证实践提供更好的证据支持[3-5]。然而,随着系统评价和Meta分析发表数量的逐年递增[6],研究者通常会面临一个问题:同一研究主题可能有多篇相关的系统评价和Meta分析存在,一篇原始研究通常会被多篇研究目的相似的系统评价和Meta分析纳入[7],从而导致了文献重叠的现象。如果直接将这些系统评价和Meta分析的结果进行合并,很大程度上是整合了相同的原始研究结果,会给重复计数较多的原始研究带来不成比例的统计权重[4],产生偏倚风险较大的结果,进而影响结论的准确性及可靠性[8]。因此,在进行伞形评价时需要面对的一个重要挑战就是避免重复计算[9]。有研究者建议删除部分系统评价和Meta分析,虽然这样做可以减少甚至完全消除重叠[9],但盲目删除系统评价和Meta分析同样也会造成研究结论的不完整性。所以研究者必须首先了解所纳入的系统评价和Meta分析在多大程度上使用了相同的原始研究[10],在明确文献重叠程度情况后应当制定相应的处理策略。因此量化文献重叠程度以及处理重叠文献成为了伞形评价研究的首要问题。本文将对常用的文献重叠计算方法、程度分级以及明确文献重叠后如何开展下一步研究进行具体介绍,以期为国内研究提供参考和借鉴。
1 文献重叠程度计算
Pieper等[11]在2014年提出了通过生成一个引文矩阵并计算校正覆盖面积(corrected covered area,CCA)指数进行重叠程度分析。随着伞形评价的逐渐发展完善,CCA在检验伞形评价及范围综述中原始研究的文献重叠程度方面得到了广泛应用[12-17],并且在2018年发布的系统评价再评价首选报告项目[18]中提出将CCA作为衡量文献重叠程度的工具,Cochrane[19]及部分指南[20]也推荐使用CCA进行文献重叠量化。
1.1 CCA计算步骤
1.1.1 步骤一:创建一个引文矩阵
根据Pieper等[11]研究,首先我们应该创建一个引文矩阵,该矩阵为包含系统评价(列)及索引出版物(行)的交叉表。索引出版物(index publications;index case)是指所纳入系统评价中首次出现的原始研究。它来自于系统评价作者所提供的引文,并考虑了拼写错误或数字对调的情况。我们对每篇系统评价纳入的原始研究在对应位置进行标记(图1),如果一项原始研究被多篇系统评价纳入,则该项原始研究只占一行,对于之后重复出现的原始研究进行删除,这样做是为了在一行中显示出该原始研究在各篇系统评价中出现的次数。引文矩阵应由一名研究人员制作,另一名研究人员检查其准确性。

1.1.2 步骤二:计算CCA
CCA计算公式见图2,其中N是指包括重复计数的出版物总数,即引文矩阵中标记框的数量;r是指行数,即索引出版物的数量;c是指列数,即系统评价的数量。我们将索引出版物在系统评价中重复出现的频率除以索引出版物与系统评价的乘积减去索引出版物的数量从而计算出CCA,其结果的范围为0%~100%。因为分子只计算被一篇以上系统评价包含的索引出版物数量,所以这代表了真正的重叠,并且减少了大型系统评价对结果的影响。

1.2 重叠程度分级
根据Pieper等[11]研究,CCA指数≤5%表示轻微重叠,6%~10%之间为中等程度重叠,11%~15%之间为高度重叠,≥15%则提示极高度重叠。
Pieper等通过创建一个引文矩阵计算CCA从而量化文献重叠程度的方法是突破性的进展,得到了广泛应用。CCA指数的衡量标准更多地取决于原始研究的数量,而不是系统评价和Meta分析的数量,这也使得原始研究与文献重叠有了更高的相关性,相比其它评估指数更能反映原始研究的文献重叠程度[9]。随着科技的进步,当前已经有很多自动化工具可以用于CCA指数评估[10]。例如,Pérez-Bracchiglione等[21]开发了一款基于Excel的工具,名为“GROOVE”,操作简单快捷;Bougioukas等[22]开发了一个名为“ccaR”的开源R包,也为CCA指数的评估提供了便利的方法。
1.3 CCA计算示例
以本研究团队发表的关于微量营养素对COVID-19影响的伞形评价为例[13],维生素C与COVID-19死亡率关联这一结局中包含了5篇系统评价和14项原始研究(即索引出版物),其中3项原始研究被5篇系统评价纳入,2项原始研究被4篇系统评价纳入,1项原始研究被3篇系统评价纳入,2项原始研究被两篇系统评价纳入,其余6项原始研究只被纳入了一次,具体重叠情况见图3。在这个例子中,N=36,r=14,c=5,CCA的结果为39.29%[(36−14)/(14×5−14)],提示极高程度重叠。锌与COVID-19病人ICU住院率关联这一结局包含了2篇系统评价和3项原始研究(图4),一篇系统评价包含2项原始研究,另一篇系统评价包含1项原始研究,原始研究无重叠,则N=3,r=3,c=2,CCA的结果为0%[(3−3)/(3×2−3)],提示轻微重叠。


2 文献重叠的处理
2.1 重叠程度较高(CCA≥6%)
2.1.1 使用决策规则/评估工具筛选系统评价和Meta分析
对于存在重叠的证据,可以仅选择其中一篇或少数几篇包含该结果的文献进行进一步分析。这些研究可以是最新发表的、最相关或纳入原始研究最全面的[19]。此外,也可以使用当前公认的质量评估工具(例如AMSTAR-2[23]等)来选出方法学质量最高的系统评价和Meta分析进行结果分析[24]。例如,2022年发表于BMJ的一篇伞形评价[25]纳入了大量评估糖摄入对健康影响的Meta分析,他们使用的筛选标准是:① 在相隔超过24个月的多项Meta分析中选择最新发表的一篇进行数据提取分析;② 在相同24个月期间发表的多项研究,选择纳入最多原始研究的Meta分析,如果数量相等,则纳入AMSTAR评分最高的研究;③ 如果最新发表的研究没有进行剂量-反应分析,其他研究进行了该分析,则两项研究同时纳入分析。另一篇发表于BMJ的伞形评价[26]评估了使用大麻的风险和益处,该文章的筛选标准是:如果同一结局存在多项Meta分析,选择原始研究数量最多的Meta分析。
2.1.2 使用统计方法处理重叠
采用敏感性分析可以评估文献重叠对结果造成的影响,从而识别出偏倚来源。例如Ferreira团队发表于BMJ的伞形评价[27]通过纳入因文献重叠而排除的系统评价/Meta分析检验了重叠的研究对于效应估计的影响。除敏感性分析外,还可以考虑增加Meta分析估计值的方差以反映重叠文献的不独立性,从而更合理地评估重叠文献对结果的影响[28,29]。
2.1.3 重新分析系统评价和Meta分析纳入的所有原始研究
如Xie等[13]在研究微量营养素对COVID-19影响的伞形评价中,对于文献重叠程度较高的结局,他们选择整合现有Meta分析中所有相关原始研究的数据并重新进行分析。这种方法可以帮助研究者更充分地利用已有的所有研究成果,避免重复计算和数据浪费的问题。通过整合所有相关的原始研究数据,我们可以综合考虑所有相关研究的设计、样本规模、方法学质量等因素,有助于解决重叠文献可能存在的偏倚和不一致性问题,从而获得更加全面和深入的数据分析结果。
2.1.4 忽略系统评价和Meta分析中原始研究的重叠
Green等[30]在评估改善学龄儿童社会和情感健康的校本干预措施时,选择忽略证据重叠的问题。他们表示:“虽然有几项研究被包括在多个系统评价中,但很难确定系统评价之间研究重叠的确切程度,因为这不是本综述的中心目标”。忽略系统评价和Meta分析中原始研究的重叠是一种在特定情况下可行的处理策略,能够简化分析过程。然而在采用这种方法时,我们需要谨慎权衡各种因素。
2.2 重叠程度较低(CCA≤5%)
如Xie等[13]在其发表的一篇伞形评价中表明,当重叠程度较轻时直接合并结果造成的偏倚是可接受的,因此可以直接利用现有的系统评价和Meta分析的效应估计进行结果分析。这种方法能够节省时间和资源,避免不必要的重复工作,并且在通常情况下能够提供对研究主题的合理和可靠的见解。
总之,对于重叠程度较高的情况,我们更倾向于采用删除部分系统评价和Meta分析、重新分析原始研究这两种较为彻底的处理方法,以确保结果的准确性和全面性。而对于重叠程度较轻的情况,则可以考虑直接合并现有的系统评价和Meta分析效应值进行结果分析,以提高效率并减少研究成本。目前尚缺乏统一且权威的指导方针或标准来明确不同处理策略的选择,建议伞形评价研究者综合考虑文献质量、重叠程度、研究目的以及资源和时间成本等方面,最终选择出最为适宜的文献重叠处理方法。
3 Cochrane手册中关于文献重叠的处理[19 ]
图5展示了Cochrane手册中推荐的决策工具,可以帮助研究者在伞形评价过程中确定是否存在重叠以及如何纳入重叠的系统评级和Meta分析(改编自Pollock等[31])。主要决策点、包含决策和注意事项总结如下:
决策点1:如果相关的Cochrane系统评价是对主题的全面评估,那么仅纳入Cochrane系统评价就会避免重叠问题。这是因为虽然会有多个非Cochrane系统评价发表,但Cochrane Library只能发表一篇关于任何给定主题的系统评价来避免重复工作,同时Cochrane系统评价更有可能是最新的、有更高方法学质量的文章。
决策点2和3:如果研究者认为Cochrane系统评价不全面,那么下一步可以选择检索和纳入非Cochrane系统评价,并评估纳入的系统评价是否包含重叠的原始研究。如果不存在重叠,作者便可以纳入所有相关的Cochrane和非Cochrane系统评价,这种情况可能比较少见。如果研究者不确定Cochrane与非Cochrane系统评价之间是否存在重叠以及重叠程度大小,可以选择使用CCA方法评估原始研究的重叠情况。
决策点4:如果相关系统评价之间存在重叠,作者可以纳入所有的Cochrane和非Cochrane系统评价,但需要注意避免重复计算重叠原始研究的数据。虽然这是确保所有相关系统评价的数据都可以包含在伞形评价中的唯一方法,但应用这种方法耗时且复杂。因此对于不计划或者无法避免重复计算重叠系统评价但仍希望纳入非Cochrane系统评价的作者,可以采取预先制定标准来优先纳入某些特定系统评价的方法。作者可以纳入所有非重叠的系统评价,在重叠的多项系统评价中选择Cochrane、最新发表、最高质量、最相关或者最全面的系统评价来实现结果分析。
总而言之,Cochrane手册所建议的文献重叠处理决策是:① 只纳入Cochrane系统评价(以避免重复计算);② 纳入所有的Cochrane和非Cochrane系统评价(需要避免重复计算);③ 纳入所有的Cochrane和非Cochrane系统评价(无重复计算问题);④ 纳入所有非Cochrane系统评价,对于其他重叠的系统评价,纳入Cochrane、最新发表、最高质量、最相关或者最全面的系统评价(以避免重复计算)。
4 讨论
随着系统评价和Meta分析数量的增加,文献重叠已成为伞形评价研究的一个首要问题。本文详细介绍了通过CCA方法来量化文献重叠程度的步骤和方法,强调了CCA方法在有效量化文献重叠程度方面的实用性,从而为研究者制定合理的处理策略提供了支持。此外,本文结合实际案例深入探讨了文献重叠的不同处理策略:对于重叠程度较高的情况,建议采用删除部分系统评价和Meta分析及重新分析原始研究数据等方法。对于重叠程度较轻的情况,可以直接合并现有的系统评价和Meta分析的效应值进行结果分析。
最近发布的系统评价再评价首选报告项目指南指出应当报告且在分析阶段处理原始研究的重叠[32],然而仅有8%的伞形评价作者报告了[33]对研究中纳入的系统评价和Meta分析重叠情况的分析。伞形评价中的文献重叠是一个容易被忽略的问题,当文献重叠被忽视或者处理不当时,可能会对研究结论准确性产生影响甚至导致错误的结论。因此,无论重叠程度高还是低,所有伞形评价研究者都应该分析重叠情况并进行报告。CCA指数作为反映文献重叠程度的最佳近似值,易于理解,我们主张在未来的研究中计算和报告CCA指数。
虽然本文对文献重叠问题进行了系统性的介绍和讨论,但仍有许多方面可以进一步探索和完善。首先,对于文献重叠的计算方法和处理策略的准确性和可靠性,还需要进一步的验证和比较,以确定最佳的实践方法。例如,虽然CCA方法被广泛应用,但其在处理重叠文献时可能存在一定的局限性。CCA的计算方法始终是通过引文矩阵,当伞形评价中包含的系统评价和Meta分析索引出版物数量较多时,工作量会很大且耗时较长[9];Kirvalidze等[7]指出CCA指数低估了重叠程度,尤其是在多篇系统评价和Meta分析纳入的研究数量有明显差异时,因此应当谨慎使用CCA指数。其次,现有处理策略在减轻重叠影响的方面虽有成效,但也面临局限性。例如,在选择质量最高的系统评价和Meta分析作为处理策略时可能导致部分重要文献被遗漏,影响结果的全面性;多种评估工具的综合使用可能引入更多主观判断,影响评估的一致性。因此,对于文献重叠的不同程度,应进一步优化和标准化处理策略。针对存在高重叠程度的研究,可以探讨更多样化的整合方法,以确保研究结论的全面性和准确性,为伞形评价的发展提供坚实的基础。
在未来的研究中,我们可以利用人工智能和自然语言处理技术来进一步优化文献重叠的识别和处理过程,提高效率和准确性。人工智能技术的应用将使得文献重叠分析更加智能化和自动化,有望大大缩短识别和处理重叠文献的时间,减少人工成本和错误率。自然语言处理技术的引入则能够更加精准地分析文本数据,从而有效地识别不同文献的重叠情况,为后续处理提供更加可靠的基础。其次,通过开发更加适宜高效的文献重叠分析工具[34],可以帮助研究者更快地识别和处理重叠文献,降低人工成本和错误率。这些工具不仅能够简化重复性的任务,还可以提供更直观和便捷的界面,使得用户能够更轻松地进行文献重叠分析和处理。这将极大地提升研究效率,使得研究者能够更专注于数据分析和结果解释,而非繁琐的文献管理工作。另外,与临床医生和决策者密切合作也是必要的,通过这种方式,我们可以更好地了解他们的需求,从而设计出更加贴近实际应用的伞形评价方法和工具,还可以进一步探索如何更好地利用伞形评价的结果为临床决策提供支持。
文献重叠问题是伞形评价研究中的一个重要挑战,但通过不断地研究和改进,希望能够找到更有效的解决方案,为伞形评价研究提供更可靠和有用的结论,从而促进医学研究的进步和临床实践的改进。
伞形评价(umbrella review),又称伞状综述、伞状评价、系统评价再评价,通过对已发表的系统评价和Meta分析进行综合研究,从而为某个特定的研究主题提供更可靠的结论[1,2]。伞形评价的目的不只是去重复检索、文献筛选、偏倚风险评估及进行定性或定量分析,更是对来自多方面的证据的总结,以期为临床决策和循证实践提供更好的证据支持[3-5]。然而,随着系统评价和Meta分析发表数量的逐年递增[6],研究者通常会面临一个问题:同一研究主题可能有多篇相关的系统评价和Meta分析存在,一篇原始研究通常会被多篇研究目的相似的系统评价和Meta分析纳入[7],从而导致了文献重叠的现象。如果直接将这些系统评价和Meta分析的结果进行合并,很大程度上是整合了相同的原始研究结果,会给重复计数较多的原始研究带来不成比例的统计权重[4],产生偏倚风险较大的结果,进而影响结论的准确性及可靠性[8]。因此,在进行伞形评价时需要面对的一个重要挑战就是避免重复计算[9]。有研究者建议删除部分系统评价和Meta分析,虽然这样做可以减少甚至完全消除重叠[9],但盲目删除系统评价和Meta分析同样也会造成研究结论的不完整性。所以研究者必须首先了解所纳入的系统评价和Meta分析在多大程度上使用了相同的原始研究[10],在明确文献重叠程度情况后应当制定相应的处理策略。因此量化文献重叠程度以及处理重叠文献成为了伞形评价研究的首要问题。本文将对常用的文献重叠计算方法、程度分级以及明确文献重叠后如何开展下一步研究进行具体介绍,以期为国内研究提供参考和借鉴。
1 文献重叠程度计算
Pieper等[11]在2014年提出了通过生成一个引文矩阵并计算校正覆盖面积(corrected covered area,CCA)指数进行重叠程度分析。随着伞形评价的逐渐发展完善,CCA在检验伞形评价及范围综述中原始研究的文献重叠程度方面得到了广泛应用[12-17],并且在2018年发布的系统评价再评价首选报告项目[18]中提出将CCA作为衡量文献重叠程度的工具,Cochrane[19]及部分指南[20]也推荐使用CCA进行文献重叠量化。
1.1 CCA计算步骤
1.1.1 步骤一:创建一个引文矩阵
根据Pieper等[11]研究,首先我们应该创建一个引文矩阵,该矩阵为包含系统评价(列)及索引出版物(行)的交叉表。索引出版物(index publications;index case)是指所纳入系统评价中首次出现的原始研究。它来自于系统评价作者所提供的引文,并考虑了拼写错误或数字对调的情况。我们对每篇系统评价纳入的原始研究在对应位置进行标记(图1),如果一项原始研究被多篇系统评价纳入,则该项原始研究只占一行,对于之后重复出现的原始研究进行删除,这样做是为了在一行中显示出该原始研究在各篇系统评价中出现的次数。引文矩阵应由一名研究人员制作,另一名研究人员检查其准确性。

1.1.2 步骤二:计算CCA
CCA计算公式见图2,其中N是指包括重复计数的出版物总数,即引文矩阵中标记框的数量;r是指行数,即索引出版物的数量;c是指列数,即系统评价的数量。我们将索引出版物在系统评价中重复出现的频率除以索引出版物与系统评价的乘积减去索引出版物的数量从而计算出CCA,其结果的范围为0%~100%。因为分子只计算被一篇以上系统评价包含的索引出版物数量,所以这代表了真正的重叠,并且减少了大型系统评价对结果的影响。

1.2 重叠程度分级
根据Pieper等[11]研究,CCA指数≤5%表示轻微重叠,6%~10%之间为中等程度重叠,11%~15%之间为高度重叠,≥15%则提示极高度重叠。
Pieper等通过创建一个引文矩阵计算CCA从而量化文献重叠程度的方法是突破性的进展,得到了广泛应用。CCA指数的衡量标准更多地取决于原始研究的数量,而不是系统评价和Meta分析的数量,这也使得原始研究与文献重叠有了更高的相关性,相比其它评估指数更能反映原始研究的文献重叠程度[9]。随着科技的进步,当前已经有很多自动化工具可以用于CCA指数评估[10]。例如,Pérez-Bracchiglione等[21]开发了一款基于Excel的工具,名为“GROOVE”,操作简单快捷;Bougioukas等[22]开发了一个名为“ccaR”的开源R包,也为CCA指数的评估提供了便利的方法。
1.3 CCA计算示例
以本研究团队发表的关于微量营养素对COVID-19影响的伞形评价为例[13],维生素C与COVID-19死亡率关联这一结局中包含了5篇系统评价和14项原始研究(即索引出版物),其中3项原始研究被5篇系统评价纳入,2项原始研究被4篇系统评价纳入,1项原始研究被3篇系统评价纳入,2项原始研究被两篇系统评价纳入,其余6项原始研究只被纳入了一次,具体重叠情况见图3。在这个例子中,N=36,r=14,c=5,CCA的结果为39.29%[(36−14)/(14×5−14)],提示极高程度重叠。锌与COVID-19病人ICU住院率关联这一结局包含了2篇系统评价和3项原始研究(图4),一篇系统评价包含2项原始研究,另一篇系统评价包含1项原始研究,原始研究无重叠,则N=3,r=3,c=2,CCA的结果为0%[(3−3)/(3×2−3)],提示轻微重叠。


2 文献重叠的处理
2.1 重叠程度较高(CCA≥6%)
2.1.1 使用决策规则/评估工具筛选系统评价和Meta分析
对于存在重叠的证据,可以仅选择其中一篇或少数几篇包含该结果的文献进行进一步分析。这些研究可以是最新发表的、最相关或纳入原始研究最全面的[19]。此外,也可以使用当前公认的质量评估工具(例如AMSTAR-2[23]等)来选出方法学质量最高的系统评价和Meta分析进行结果分析[24]。例如,2022年发表于BMJ的一篇伞形评价[25]纳入了大量评估糖摄入对健康影响的Meta分析,他们使用的筛选标准是:① 在相隔超过24个月的多项Meta分析中选择最新发表的一篇进行数据提取分析;② 在相同24个月期间发表的多项研究,选择纳入最多原始研究的Meta分析,如果数量相等,则纳入AMSTAR评分最高的研究;③ 如果最新发表的研究没有进行剂量-反应分析,其他研究进行了该分析,则两项研究同时纳入分析。另一篇发表于BMJ的伞形评价[26]评估了使用大麻的风险和益处,该文章的筛选标准是:如果同一结局存在多项Meta分析,选择原始研究数量最多的Meta分析。
2.1.2 使用统计方法处理重叠
采用敏感性分析可以评估文献重叠对结果造成的影响,从而识别出偏倚来源。例如Ferreira团队发表于BMJ的伞形评价[27]通过纳入因文献重叠而排除的系统评价/Meta分析检验了重叠的研究对于效应估计的影响。除敏感性分析外,还可以考虑增加Meta分析估计值的方差以反映重叠文献的不独立性,从而更合理地评估重叠文献对结果的影响[28,29]。
2.1.3 重新分析系统评价和Meta分析纳入的所有原始研究
如Xie等[13]在研究微量营养素对COVID-19影响的伞形评价中,对于文献重叠程度较高的结局,他们选择整合现有Meta分析中所有相关原始研究的数据并重新进行分析。这种方法可以帮助研究者更充分地利用已有的所有研究成果,避免重复计算和数据浪费的问题。通过整合所有相关的原始研究数据,我们可以综合考虑所有相关研究的设计、样本规模、方法学质量等因素,有助于解决重叠文献可能存在的偏倚和不一致性问题,从而获得更加全面和深入的数据分析结果。
2.1.4 忽略系统评价和Meta分析中原始研究的重叠
Green等[30]在评估改善学龄儿童社会和情感健康的校本干预措施时,选择忽略证据重叠的问题。他们表示:“虽然有几项研究被包括在多个系统评价中,但很难确定系统评价之间研究重叠的确切程度,因为这不是本综述的中心目标”。忽略系统评价和Meta分析中原始研究的重叠是一种在特定情况下可行的处理策略,能够简化分析过程。然而在采用这种方法时,我们需要谨慎权衡各种因素。
2.2 重叠程度较低(CCA≤5%)
如Xie等[13]在其发表的一篇伞形评价中表明,当重叠程度较轻时直接合并结果造成的偏倚是可接受的,因此可以直接利用现有的系统评价和Meta分析的效应估计进行结果分析。这种方法能够节省时间和资源,避免不必要的重复工作,并且在通常情况下能够提供对研究主题的合理和可靠的见解。
总之,对于重叠程度较高的情况,我们更倾向于采用删除部分系统评价和Meta分析、重新分析原始研究这两种较为彻底的处理方法,以确保结果的准确性和全面性。而对于重叠程度较轻的情况,则可以考虑直接合并现有的系统评价和Meta分析效应值进行结果分析,以提高效率并减少研究成本。目前尚缺乏统一且权威的指导方针或标准来明确不同处理策略的选择,建议伞形评价研究者综合考虑文献质量、重叠程度、研究目的以及资源和时间成本等方面,最终选择出最为适宜的文献重叠处理方法。
3 Cochrane手册中关于文献重叠的处理[19 ]
图5展示了Cochrane手册中推荐的决策工具,可以帮助研究者在伞形评价过程中确定是否存在重叠以及如何纳入重叠的系统评级和Meta分析(改编自Pollock等[31])。主要决策点、包含决策和注意事项总结如下:
决策点1:如果相关的Cochrane系统评价是对主题的全面评估,那么仅纳入Cochrane系统评价就会避免重叠问题。这是因为虽然会有多个非Cochrane系统评价发表,但Cochrane Library只能发表一篇关于任何给定主题的系统评价来避免重复工作,同时Cochrane系统评价更有可能是最新的、有更高方法学质量的文章。
决策点2和3:如果研究者认为Cochrane系统评价不全面,那么下一步可以选择检索和纳入非Cochrane系统评价,并评估纳入的系统评价是否包含重叠的原始研究。如果不存在重叠,作者便可以纳入所有相关的Cochrane和非Cochrane系统评价,这种情况可能比较少见。如果研究者不确定Cochrane与非Cochrane系统评价之间是否存在重叠以及重叠程度大小,可以选择使用CCA方法评估原始研究的重叠情况。
决策点4:如果相关系统评价之间存在重叠,作者可以纳入所有的Cochrane和非Cochrane系统评价,但需要注意避免重复计算重叠原始研究的数据。虽然这是确保所有相关系统评价的数据都可以包含在伞形评价中的唯一方法,但应用这种方法耗时且复杂。因此对于不计划或者无法避免重复计算重叠系统评价但仍希望纳入非Cochrane系统评价的作者,可以采取预先制定标准来优先纳入某些特定系统评价的方法。作者可以纳入所有非重叠的系统评价,在重叠的多项系统评价中选择Cochrane、最新发表、最高质量、最相关或者最全面的系统评价来实现结果分析。
总而言之,Cochrane手册所建议的文献重叠处理决策是:① 只纳入Cochrane系统评价(以避免重复计算);② 纳入所有的Cochrane和非Cochrane系统评价(需要避免重复计算);③ 纳入所有的Cochrane和非Cochrane系统评价(无重复计算问题);④ 纳入所有非Cochrane系统评价,对于其他重叠的系统评价,纳入Cochrane、最新发表、最高质量、最相关或者最全面的系统评价(以避免重复计算)。
4 讨论
随着系统评价和Meta分析数量的增加,文献重叠已成为伞形评价研究的一个首要问题。本文详细介绍了通过CCA方法来量化文献重叠程度的步骤和方法,强调了CCA方法在有效量化文献重叠程度方面的实用性,从而为研究者制定合理的处理策略提供了支持。此外,本文结合实际案例深入探讨了文献重叠的不同处理策略:对于重叠程度较高的情况,建议采用删除部分系统评价和Meta分析及重新分析原始研究数据等方法。对于重叠程度较轻的情况,可以直接合并现有的系统评价和Meta分析的效应值进行结果分析。
最近发布的系统评价再评价首选报告项目指南指出应当报告且在分析阶段处理原始研究的重叠[32],然而仅有8%的伞形评价作者报告了[33]对研究中纳入的系统评价和Meta分析重叠情况的分析。伞形评价中的文献重叠是一个容易被忽略的问题,当文献重叠被忽视或者处理不当时,可能会对研究结论准确性产生影响甚至导致错误的结论。因此,无论重叠程度高还是低,所有伞形评价研究者都应该分析重叠情况并进行报告。CCA指数作为反映文献重叠程度的最佳近似值,易于理解,我们主张在未来的研究中计算和报告CCA指数。
虽然本文对文献重叠问题进行了系统性的介绍和讨论,但仍有许多方面可以进一步探索和完善。首先,对于文献重叠的计算方法和处理策略的准确性和可靠性,还需要进一步的验证和比较,以确定最佳的实践方法。例如,虽然CCA方法被广泛应用,但其在处理重叠文献时可能存在一定的局限性。CCA的计算方法始终是通过引文矩阵,当伞形评价中包含的系统评价和Meta分析索引出版物数量较多时,工作量会很大且耗时较长[9];Kirvalidze等[7]指出CCA指数低估了重叠程度,尤其是在多篇系统评价和Meta分析纳入的研究数量有明显差异时,因此应当谨慎使用CCA指数。其次,现有处理策略在减轻重叠影响的方面虽有成效,但也面临局限性。例如,在选择质量最高的系统评价和Meta分析作为处理策略时可能导致部分重要文献被遗漏,影响结果的全面性;多种评估工具的综合使用可能引入更多主观判断,影响评估的一致性。因此,对于文献重叠的不同程度,应进一步优化和标准化处理策略。针对存在高重叠程度的研究,可以探讨更多样化的整合方法,以确保研究结论的全面性和准确性,为伞形评价的发展提供坚实的基础。
在未来的研究中,我们可以利用人工智能和自然语言处理技术来进一步优化文献重叠的识别和处理过程,提高效率和准确性。人工智能技术的应用将使得文献重叠分析更加智能化和自动化,有望大大缩短识别和处理重叠文献的时间,减少人工成本和错误率。自然语言处理技术的引入则能够更加精准地分析文本数据,从而有效地识别不同文献的重叠情况,为后续处理提供更加可靠的基础。其次,通过开发更加适宜高效的文献重叠分析工具[34],可以帮助研究者更快地识别和处理重叠文献,降低人工成本和错误率。这些工具不仅能够简化重复性的任务,还可以提供更直观和便捷的界面,使得用户能够更轻松地进行文献重叠分析和处理。这将极大地提升研究效率,使得研究者能够更专注于数据分析和结果解释,而非繁琐的文献管理工作。另外,与临床医生和决策者密切合作也是必要的,通过这种方式,我们可以更好地了解他们的需求,从而设计出更加贴近实际应用的伞形评价方法和工具,还可以进一步探索如何更好地利用伞形评价的结果为临床决策提供支持。
文献重叠问题是伞形评价研究中的一个重要挑战,但通过不断地研究和改进,希望能够找到更有效的解决方案,为伞形评价研究提供更可靠和有用的结论,从而促进医学研究的进步和临床实践的改进。