肠息肉辅助诊断软件临床试验设计思考

肠息肉辅助诊断软件(下称肠息肉AI)是一类利用深度学习算法,在内镜检查过程中同步、实时识别出结直肠息肉的辅助诊断软件,其可潜在提高内镜医师在结肠镜检查中息肉的检出率,相当于医生的“第三只眼”,达到结直肠癌早发现、早治疗的目的,尤其适用于基层医院及经验相对不足的内镜医生。

肠息肉辅助诊断软件临床试验设计思考

目前,我国已有多款肠息肉AI获得创新审批,但尚未有一款产品正式获批上市,此类产品的临床试验设计为深度学习辅助诊断软件研究的热点之一。

兼顾准确度与优效性

从检测对象上来看,肠息肉AI属于对目标疾病的病变病灶进行辅助检测的产品。

根据《深度学习辅助决策医疗器械软件审评要点》以及CMDE于2022年5月6日发布的一则有关深度学习的计算机辅助决策产品临床试验设计类型的共性问题解答,对于此类产品,临床试验建议采用对照设计,试验组为医师与申报产品共同检测,对照组为传统检测诊断方法(如临床医师的阅片/综合诊断)。

主要评价指标考虑诊断准确度指标,同时,为体现产品的临床价值,应采用优效性检验。因此,肠息肉AI的临床试验设计方向应为“AI+人>人”的试验设计。

与常规病灶辅助检测的产品不同,肠息肉AI为实时检测诊断产品,用于电子结肠镜检查过程中结直肠息肉的实时识别,由于患者在电子结肠镜检查过程中,结直肠息肉尤其是可疑的腺瘤性息肉往往会被内镜医师摘除,故患者的疾病状态在检查过程中不断变化,因此,肠息肉AI无法像传统病灶辅助检测产品一样采用严格意义上的配对诊断试验设计,而一般以平行对照设计为主,并评价研究者联合申报产品的病灶诊断水平是否优于传统结肠镜检查。

两类临床试验设计各有利弊

从目前已有的文献报告及产品申报情况来看,肠息肉AI产品的临床试验设计分为两种:传统平行对照及平行序贯对照。

其中,传统平行对照设计以研究者联合申报产品进行结肠镜检查作为试验组,传统结肠镜检查作为对照组,主要评价指标一般为息肉检出率或腺瘤检出率,以评价试验组的息肉/腺瘤检出率在统计学意义上优于对照组,从而体现产品的临床价值。

由于传统平行对照对每例受试者仅进行1次电子结肠镜检查,其受试者依从性往往较高,且试验操作与临床实际诊疗流程基本相符,研究者的接受程度也较高,因此,传统平行对照是目前大部分文献以及产品申报的主流试验设计方式之一。

虽然传统平行对照的试验可操作性较好,但在产品评价上存在一些难以避免的固有偏倚。

例如,传统平行对照设计的主要评价指标一般为息肉(或腺瘤)检出率,而检出率往往受发病率及研究者诊疗水平影响较大,虽然试验设计可引入分层区组随机以尽量使得试验组及对照组的发病率趋于相同,但组间研究者经验水平差异带来的试验偏倚将无法避免,因此,传统平行对照设计得出的优效性结果可能带有研究者经验水平的混杂因素,且试验结果可能存在较为显著的中心效应。

另外,大样本临床试验及荟萃分析均显示,我国目前通过传统电子结肠镜检查的息肉(或腺瘤)检出率依然偏低,远达不到临床指南的推荐水平,因此,采用传统平行对照设计的样本量往往较大,一般在800例左右。

除传统平行对照设计外,肠息肉AI产品的临床试验还可以采用平行序贯设计的试验方法。

具体为同一研究者对同一受试者在使用AI与不使用AI的条件下分别进行两次电子结肠镜检查,且研究者是否使用AI进行检查的顺序随机。平行序贯对照设计的主要评价指标为息肉(或腺瘤)漏诊率,其中漏诊率的定义为,研究者第二次检查中新发现的息肉(或腺瘤)数目占前后两次检查发现的息肉(或腺瘤)总数的比例。

由于漏诊率是研究者与自身在是否使用AI的情景下对比获得,故平行序贯设计可有效避免研究者诊疗水平造成的偏倚,除此以外,平行序贯设计中还可按照受试者的就诊原因进行组间分层,以使得不同就诊原因下的发病率差异在两组间趋于均衡,有效避免受试者发病率的偏倚,试验设计可较好反映产品本身的诊断性能。

平行序贯对照的主要难点在于受试者需要进行连续两次电子结肠镜检查,导致其依从性可能较差,因此,采用平行序贯设计时建议进行全麻状态下的电子结肠镜检查,以改善受试者的检查体验。

另外,由于结直肠息肉在临床实践中不一定会全部进行摘除或活检,故试验设计中还应考虑设立“金标准”阅片小组,以评价那些没有被摘除或活检但被“发现”的息肉的准确性。

除此以外,序贯设计中,由于两次结肠镜检查的部位和角度不可能完全相同,故评价息肉漏诊时,可能还需要对比两次结肠镜检查所拍摄的位置是否完全一致,以更加准确评价息肉的漏诊情况。

总的来说,肠息肉AI的临床试验设计具有较大的特殊性,与常规病灶识别的辅助诊断产品有较大的差别,临床试验设计应从控制偏倚的角度入手,以充分体现产品的临床应用性能和价值。

来源:奥咨达

全国卫生产业企业管理协会转化医学产业分会(以下简称分会)是全国卫生产业企业管理协会(以下简称总会)的分支机构。全国卫生产业企业管理协会是经原国家卫生部申报,国家民政部登记批准,1992年10月成立,是在国家民政部、中央和国家机关工委领导和国家卫生健康委员会的指导下,具有行业管理职能的国家一级社会团体。是由从事大健康相关的医疗、服务、科研、管理单位和专家、企业家等人员自愿结成的全国性、行业性社会团体,是非盈利性的社会组织。协会宗旨:坚持“护佑健康、发展产业、诚信创新、服务社会”,推进卫生健康产业企业发展,为国家经济建设和人民健康服务。CCTMIS(全国卫生产业企业管理协会转化医学产业分会)致力打造一个“产学研医、协同创新”的平台,目前协会有超过4000个会员,其中超过半数为临床专家型医生!?

来源:CCTMIS国际转化医学平台

声明:本站部分文章及图片转载于互联网,内容版权归原作者所有,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年4月21日
下一篇 2022年4月21日

相关推荐