世界人工智能大会建立医疗AI标准数据集,AI发展仍需解决数据问题
动脉网7月9日,为期三天的2020世界人工智能大会在上海世博中心开幕。此届世界人工智能大会以“智联世界、共同家园”为主题,聚焦“AI技术趋势”、“AI赋能经济”以及“AI温暖家园”三大议题。
作为全新的产业变革核心驱动力,人工智能正重构生产、分配、交换、消费等一系列经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式,尤其是在医疗领域,AI正重构大健康。
相比与过去的两届WAIC,今年的大会更为包罗万象,宁光、孙春兰、张文宏、吴凡,诸多行走在新冠疫情抗疫一线的领袖人物也齐聚于此,大会的话题变得更为多元。
大会之后,动脉网对整个WAIC 2020大会中对医疗的影响进行了全面的梳理,同时采访了部分参与本次大会的企业与机构,希望从众多信息之中找到医疗AI发展的方向。
全国首个数据眼科库发布,人工测评公共服务平台建立
2019年4月,国务院发布的《新一代人工智能的发展规划》提出了大数据时代,群体智能、跨媒体智能、人机混合增强智能、自主智能系统五个新的方向,无疑为中国人工智能技术的发展打下了一个坚实的基础。而随着技术的推进,人工智能正不断拓宽其可应用的范围,医疗领域便是其中之一。
在众多细分领域之中,“AI+医疗影像”因最贴近于医生的日常工作而收获了最多的关注,同时也受到最为严格的监管。但无论如今已经颇具规模的医疗影像、建设之中的智慧医院,还是探索之中的新药研发,所有与AI相关的领域,都逃不开数据的标准问题。
为了解决数据的标准化问题,保障人工智能应用的系统安全性、兼容性、可靠性等能力,国家药监局器审中心、信通院等机构深入参与标注制定、产品审评之中,尝试规范医疗人工智能的发展。
在过去的两年之中,药监局陆续制定了《深度学习辅助决策软件审评要点》、《医疗器械生产质量管理规范附录独立软件》、《医疗器械软件注册技术审查指导原则》、《医疗器械网络安全注册技术审查指导原则》等技术规范制定评测方案,同时成立了人工智能医疗器械创新合作平台。从2020年1月起,已经陆续有多款AI软件通过上述方案获得了器械三类证。
国家信通院也在积极推进人工智能数据标准化、标准数据库建设等项目发展,在本次WAIC上, 中国人工智能产业发展联盟常务副秘书长王爱华依次介绍了创新平台近期的三个成果。
第一个成果为糖尿病视网膜病变AI数据库的建立,该成果来源于协和医院负责的真实世界数据应用工作组。基准数据集及算法评估测试平台的重要意义不可忽视,它将是推动人工智能模型在医疗健康领域应用有效性、可靠性、鲁棒性、安全性的基础保障,也是推进人工智能医疗行业可持续发展的重要依托。
第二个成果是协和医院进行了相关数据规范、第三方数据库规范等形成的糖尿病视网膜病变第三方资质的认证。同时,信通院搭建了医疗人工测评公共服务平台,出台了两项人工智能产品的技能指标及测试方法。
第三个成果则是建立医疗人工测评公共服务平台,为了向大众提供一个权威、安全、可追溯的平台,收集不同医院、不同医疗机构的不同病种数据,进而验证不同的人工智能相应产品。当然,平台的搭建方还需针对不同产品和系统制作相应的测试方法,并生成报告。
传统的医疗器械在上市前必须通过一系列的检测测评,同时还要经历长达6个月的临床试验,这一产品才有可能获批上市。王爱华表示:“对于更新、迭代速度较慢的传统医疗器械而言,这套程序的合理性已经经过多年验证,但对于人工智能这样更新快、迭代快的新兴技术而言,则会存在较大的问题。如果按照传统器械的程序,每次更新都进行相应临床试验的话,没有产品能够在审批上跑通。有了这个平台之后,我们便能帮助企业快速进行临床数据补充,产品迭代时的临床试验能够很快完成。这便是这一平台的最大不同点。”
作为第三方平台,安全性是其正常运行最为重要的前提。王爱华认为,第三方平台的安全性包含两个方面,其一源于第三方的数据的知识产权问题,因此在构建平台时,信通院会建立虚拟专用通道对数据和产品进行加密,严格遵守“只进不出”、“无人工干预”和“测后即焚”三大原则。这样第三方数据以及相关测试产品的安全性才足以得到保障。其二则是测试的可追溯性,以便于对出现问题的测试进行清查与修正。
肺炎AI影像辅诊大考,成绩单首次公布
标准制定之外,在工信部科技司的指导下,中国信通院、中国人工智能产业发展联盟、医学人工智能研究与验证工信部重点实验室联合举行的“肺炎AI影像辅助诊断产品评测”结果公布。通过现场测试和材料审查两种方式对参评产品的各项指标进行综合评价,严格参考国家标准、行业标准和国家药监局相关技术审评原则。同时,专门组建评测专家委员会,建立权威评测标准。
最终,上海依图医疗技术有限公司、上海深睿博联医疗科技有限公司、北京安德医智科技有限公司、杭州健培科技有限公司、平安科技深圳有限公司、上海皓桦科技股份有限公司、上海联影智能医疗科技有限公司7家医疗AI企业的肺炎AI影像辅助诊断产品从参评的17家医疗AI公司中脱颖而出。
这次评测,可谓是打破了之前医疗AI行业自说自话、各自为战的局面,这不仅是首次由官方举办的医疗AI影像辅助诊断产品的同台竞技,更是特殊历史时刻的“人工智能抗疫产品”测评,意义非同小可。
为了保证此次测评的权威性,此次评测分为功能审查、性能评测、专家评审三部分,其中,功能审查主要评测肺炎AI产品的功能完备性、系统安全性、可靠性、易用性和兼容性;性能测评主要采用已标注测试数据进行客观测试,对肺炎AI产品临床诊断性能进行指标评价(准确率、灵敏度、特异度和Kappa系数);专家评审则是邀请国内权威临床专家从产品体验性、实用性、产品创新性,以及合理性对产品进行评价,同时综合考虑创新性的特殊功能评价。
据中国信通院相关人士介绍,测试数据是此次测评的另一大亮点。具体而言,此次测评使用了1000例肺炎(包括新冠肺炎和其它各种肺炎),参评的各家医疗AI企业用各自的模型(产品)测试。首先,数据全部来源于上海市公卫临床中心等7家新冠肺炎定点医疗机构,在采集过程中充分考虑了采集设备和配置、数据多样化和病例分布三个维度指标。
同时,考虑到鲁棒性和抗干扰因素,加入了在实际临床中经常出现的70例非标准影像数据。此外,在数据标注规范方面,由组织方制定数据标注起草流程,各数据提供医院组织标注,汇总后由专委会统一确认,这就有效地避免了因标注不统一而可能产生的不合理性。
“性能测试部分是拉开差距的主要原因”,中国信通院相关负责人介绍,性能测试包含“是否肺炎”、“是否新冠”、“病灶位置”。根据测评结果显示,大部分企业产品都能较好地筛查出“是否肺炎”,但在“新冠肺炎鉴别诊断”方面,仅有3家的准确率、灵敏度、特异性在80%以上,其中部分指标在90%以上。
6月19日,工业和信息化部科技司就公布了在科技支撑抗击新冠肺炎疫情中表现突出的人工智能企业名单。以在名单中的安德医智为例,根据疫情期间《人民日报》公开报道情况,“这套新冠AI定性诊断系统不仅能够实现‘肺炎诊断’,还能实现新冠肺炎与其他肺炎(病毒性肺炎、细菌性肺炎等)的进一步鉴别诊断。”、“在实现肺炎检出敏感性接近100%的基础上,新冠肺炎的鉴别诊断准确率(与核酸检测阳性结果符合率)也能够达到97.8%以上。”
根据中国信通院的总体评价,此次测评中脱颖而出的国内医疗AI企业的肺炎AI产品已达到较高水平,产品功能已相对成熟和完善,小部分产品实现了针对新冠肺炎的识别。但是,需要注意的是,只有个别产品能够识别的超过十种肺炎种类,对于病灶的定位精确度尚待进一步提升,性能功能需要通过更多标注数据进行训练。
1 2 3 下一页>