这个完整报告Cochrane资助的一项旨在比较RCT的现有和修订Cochrane偏倚风险工具的研究于2021年6月完成，现已向Cochrane社区提供。该研究旨在收集证据，说明与现有的基于研究的工具（以下简称RoB 1）相比，评论作者需要投入多少时间和精力来使用修订后的RCT偏差风险工具（RoB 2），以及评论质量如何受到影响。这项由来自Cochrane代谢和内分泌紊乱组的Bernd Richter和Bianca Hemmingsen领导的工作是评估RoB 2对提高Cochrane评估的可靠性和质量的益处以及是否与完成评估所需的时间达成妥协的重要一步。
RoB 2代表了Cochrane评论中偏倚评估和报告方式的改变，旨在指导作者进行有意义的、基于结果的评估。修订后的工具需要将重点从研究转移到它们提供的数据，并在审查分析中引入偏差。然而，考虑到修订后的工具的可用性以及它可能增加审查过程的时间，Cochrane制定了计划，支持第一作者团队和审查小组在试点中使用它。目的是观察整个审查过程中遇到的任何困难，并在我们的技术中构建资源和功能，以最大限度地减少对更广泛应用的干扰。对比研究与试点项目一起进行，比较RoB 2和RoB 1，并在指数审查中收集经验证据。
这项研究的数据来自科克伦的一篇综述胰岛素类似物治疗1型糖尿病，进行比较的回顾性样本为26个rct，包括平行、交叉、非劣效、优势、开放标签和盲法设计。该综述查看了11个结果指标，包括二分类和连续结果以及客观和患者报告的终点。该团队根据预先指定的方案将这两种工具应用于所有结果，以比较关键特征、使用困难和系统综述结果的潜在后果。
主要发现是什么？
研究作者发现使用RoB 2对所有结果的平均评估时间与RoB 1相当(大约30分钟)，尽管使用RoB 2经历了学习曲线，并且报告说使用这两种工具都没有重大可用性问题。总的来说，该研究发现RoB 1或RoB 2在达成评分者之间的一致意见方面没有什么困难，而且不同工具之间的共识判断差异也不常见。这些工具之间最大的分歧是在开放标签研究中的主观结果，RoB 1比RoB 2更有可能受到惩罚。罗布1也倾向于导致更严重的偏见判断风险，这是可用选项(高/低/不清楚)的结果，而罗布2工具内置的评级、算法、信号问题和指导使其更容易通过复杂性和上下文工作。该研究还调查了使用这两种工具的临床研究报告(CSRs)对偏倚评估的影响，发现无论使用何种工具，它们都非常有价值，尽管完成评估所需的时间更长(45至90分钟)。
报告了RoB 1和RoB 2需要共识的差异性质差异。对于RoB 1，在参与者报告的结果测量的“绩效偏差”和“检测偏差”领域，分歧最为常见。RoB 2以更精细的方式梳理出这些偏差，作者指出，使用RoB 1捕获基于结果的变异的系统可能忽略问题（例如，通过对客观或主观进行分组），或者需要事后临床判断，这本身可能会引入偏差。对于RoB 2，“与预期干预的偏差”（领域2）和“报告结果的选择”（领域5）导致了大多数差异，尤其是在没有试验方案的情况下。
该研究的结论强调了RoB 2在鼓励评价者从终点和结果方面思考以提高Cochrane评价中偏倚风险评估的质量和相关性方面的优势。作者还提出了一些改进RoB 2可用性的建议，如为一些信号问题添加详细说明或调整措辞，以及在Excel®工具内创建流程，以自动填充基于研究的数据，这些数据预计不会因结果而有所不同。
这对科克伦意味着什么？
两种工具之间的任何比较结果都可能因主题领域的知识、方法专门知识、对现有工具的熟悉程度以及审查中结果的类型和数量而不同。因此，没有一项研究能够提供关于它们的相对可用性和影响的确定结果。本研究的作者都是经验丰富的方法学家，熟悉临床领域。他们还根据MECIR应用了这两种工具，以捕捉不同结果的偏差差异，这可能减少了工具之间的差异程度，无论是进行评估所花的时间，还是转换对分析结果的影响。对研究结果的解释必须根据这些因素做出，尽管在研究水平上应用RoB 1的效率差异可能更明显，但评估的可靠性和有用性也会如此。
作者还强调，工具的结构和评论者选择在分析中嵌入偏见判断的方式的差异限制了一些比较的有用性，特别是当涉及到证明对分析结果的影响时。尽管如此，它还是对现实世界的证据基础的一个重要补充，并允许Cochrane了解工具如何变化，并继续裁剪实施资源，以解决常见的问题和错误。像这里报道的研究一样，也提供了丰富的故事来简化工具是如何通过技术实现的，以创造效率，并使偏见评估的好处更容易实现。
正是基于这些考虑，对RoB 2的期望保持不变他们设定在2020年11月，它包含了继续使用RoB 1的灵活性元素，前提是它的应用方式允许捕获不同结果的偏差。期望适应了RoB 2的持续学习曲线，以及在作者和CRG人员共同判断的情况下，采用新工具可能不可行(例如，对于大型更新)。这并不排除纯粹基于研究的偏见评估应该成为过去，以及作者团队内部的培训、计划、仔细考虑和辩论应该支持任何有意义的偏见评估。
方法小组和偏差方法组欢迎反馈RoB 2的可用性，以及关于如何改进Excel工具和信号问题措辞的任何建议，并将继续开发资源以支持作者团队和编辑。
归于Kayleigh Kew，不代表EMD
相关链接: