国内尚无新一代医疗AI产品通过CNDA审批,行业需要解决的6个核心问题是什么?
3、用于审批的标准数据库正在逐步建立
医疗人工智能产品没有获得审批的一部分原因是用于审批的标准数据库还在建设中。
由于各个地区、医院的数据标准并不同。一家公司在北京两家大医院做的临床实验即使完美,但是并不代表产品可以在某县级医院中使用,甚至由于过拟合的现象,导致在其他医院无法使用。而如何验证医疗AI产品的鲁棒性(普遍适应性),建立标准测试数据库是现阶段监管部门正在做的事情。
目前的标准测试数据库建设是按照病种进行的。据中检院官方微信发布的信息显示,2018年3月26日,标准测试数据集(眼底部分)建设完成。肺结节的标准数据库建设方案也已经定稿,近期就可以建设完成。
动脉网与企业交流和统计了解到,目前行业内有9家公司参与了标准测试数据库的建设。以肺影像为例,肺结节图像数据采集将不少于5家医院,每家企业2000张,图像采集设备统一为GE,西门子等大厂商符合DICOM3.0协议标准图像,必须取得伦理委员会许可使用。采取二轮背对背主治医师标定方式。预计图像数量超过1万例。
某从事眼底糖网病研究,并参与中检院眼底数据库建设的医疗AI公司告诉动脉网,他们很快将拿到中检院出具的注册检验结果。
参与标准测试数据库建设的第二军医大学长征医院影像医学与核医学科主任刘士远介绍,标准测试数据库建设为了保证公平性,使建立的数据库能够得到大多数企业和机构的认可,在建设过程中会遵循以下三个原则:
第一是广泛性,数据要来自全国各地不同的医院,不能只局限于北上广深这些大城市的医学数据。
第二是兼容性,以肺部图像为例,目前建立标准测试数据库的时候会考虑不同层厚的CT图像,有5毫米图像,也有1-2毫米图像,甚至亚毫米图像。
第三是医学图像的标记要标准化。刘士远教授表示,搜集一定数量的图像并不难,难的是为数据打标签。从事标准测试数据库标注的医生都是从做过医疗AI研究的医生中招募。招募以后按照标准的标注方案对医生进行培训,然后再去标注。最终形成没有公司痕迹、没有机器痕迹的标准检测数据库。
4、重新定义重大变更来解决快速迭代问题
医疗AI产品面临一个情况,就是产品性能,算法模型,应用界面都会快速更新,这种情况下,传统增项或者升级审批,显然无法满足行业的发展需要。
如果新的认证规则没有出现,按照传统的审批流程,医疗影像AI产品迭代周期是3-5天,企业每周都要去政府机构报备,企业和政府都会受不了。这种情况下难免会出现“偷懒”现象,企业虽然在不断的更新系统,但是不按照正规程序报备,这是行业不愿意看到的现象。
华光创新(北京)技术服务有限公司副总经理索娜告诉动脉网,当前的审批技术指导原则给出了一个明确的版本命名的举例。一般命名为S、Y、Z、B四个代码,S指重大增强,Y指轻微增强,Z指纠正更新和构建,B指轻微的缺陷修补。如果是S、Y、Z发生变化,需要注册的变更,如果是B发生变更,这是不需要修补的。企业可以依照这样的规则,命名自己的表更,来适应法规的要求,从而不被频繁的变更所累。
我们认为,这个问题的核心是重大变更的定义。我们沿用重大变更需要报备的传统,但是把重大变更做一下规范。
第一,数据库的变更。如果产品的数据库出现10%-20%(具体规范没有出来以前这个数字尚不确定)的变更,那么研究结果出来以后,企业可以去相关部门报备,提出变更需求;
第二,算法的变更。如果算法框架变化,那就可以提出变更请求。目前很多企业的算法都是基于开源的算法进行优化升级得到的,为了做好本地化也包含有一些前处理软件等周边系统。由于算法的变更很难量化,目前这一条还在商讨之中。
5、人工智能的技术黑箱问题有待进一步商榷
经常在一些场合听到,深度学习技术存在黑箱的嫌疑,输入与输出结果之间原因无法解释,而按照科学论证的观念,存在技术黑箱的话在认证过程中会相对困难一些。
目前国内很多公司用的是国际上开源的技术,国内一些优秀的人工智能公司是可以解释其中的一些原理,一共用了多少层,每层在做什么。但是相当一部分公司还不具备这样的能力,这也可以从侧面看到同行之间的一些差距。
索娜表示,没有建立审查指导原则的产品主要依靠主审人员个人的知识和监管部门组成的专家委员会的经验知识对产品进行技术审评,主要审查产品安全性和可靠性。
我们认为,审批部门并不一定要特别在意这个问题,但是企业要做好回答的准备。对于传统的软件系统,质监部门也没有要求必须把每一步都要讲清楚,质检部门优先考虑的是安全和有效。质检部门摸清技术原理是为了确定黑盒测试的方案,所以企业要知道如何回答相关问题。
6、除了标准数据库外,还需要注意的几个问题
是否可以考虑先上市后临床
目前大多数医疗人工智能公司的发展都卡在了审批这个地方。医疗软件注册审批的流程大概是这样的:
从这个流程图,我们可以看到,在获得药监局认证之前,要先获得体系认证,体系认证需要3-6个月。三类医疗器械认证需要2-3年,在审批之前要等到标准数据库的建立,数据库的建立需要一定的周期。
以糖网为例,2017年12月24日,中检院官方微信公众号公布关于召开AI标准测试数据集(眼底部分)建设会议通知,2018年3月26日,中检院官方微信公众号公布,标准测试数据集(眼底部分)建设完成,一个病种共花费了3个月的时间。从中检院的官微发布的信息推测,他们是按照病种进行来建立数据库,与 FDA 在如何评估系统并确保其准确性和安全性方面的沟通,IDx就花了7年时间相比,审批部门的速度已经非常快了(中间还有一个春节)。
但是每个公司涉及的病种一般在10个左右,算上临床实验的时间,审批的过程在3-4年的时间。这个过程是由于医疗和AI本身的严谨、安全性质决定的,这是审批机构和企业无法改变的现实。可是又有多少企业可以等待这么长时间呢?我们是否可以考虑一种新的市场准入方式?
为了企业和行业的持续发展,在保证安全性和稳定性的前提下,是否可以学习药企走先上市后临床审批的方式,让行业先发展起来。
图片新闻
最新活动更多
-
11月22日立即报名>> 【线下论坛】华邦电子与莱迪思联合技术论坛
-
11月29日立即预约>> 【上海线下】设计,易如反掌—Creo 11发布巡展
-
即日-12.26火热报名中>> OFweek2024中国智造CIO在线峰会
-
精彩回顾立即查看>> 【线下论坛】华邦电子与恩智浦联合技术论坛
-
精彩回顾立即查看>> 2024(第五届)全球数字经济产业大会暨展览会
-
精彩回顾立即查看>> 全数会2024中国人形机器人技术创新发展大会
-
8 睿跃生物借壳上市
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论