《医学人工智能社会治理综合评价指南》标准文本.docx

ICS01.120CCSA00DB4403市地方标准DB4403TXXX-XXXX医学人工智能社会治理综合评价指南Guide1.inesforComprehensiveevaIuationformedicaIartificiaIinteIIigencesociaIgovernance（送审稿）XXXX-XX-XX实施XXXX-XX-XX发布深圳市市场监督管理局发布目次前言II引言III1范围12规范性引用文件13术语和定义14指标选取原则15 指标体系26 指标内涵37 参考文献7本文件按照GB/T1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。本文件由深圳市卫生健康委员会提出并归口。本文件起草单位：深圳市卫生健康委员会、南方医科大学、深圳市卫生健康发展研究和数据管理中心、中国科学院自动化研究所、南方医科大学深圳医院。本文件主要起草人：朱春艳、毛燕娜、王冬、汤昊成、和晓峰、吴旭生、崔书亭、张冬云、吴培凯、丘奂阳、李晨程、陈澄、陈建华、徐青、郭俊毅、李胜利、陈宝颖、帅菲斐。随着人工智能技术在医疗领域的广泛应用，医疗卫生行业面临资源配置改革、信息安全、医学伦理、数字鸿沟等诸多挑战，亟需构建一套分类管理、综合评价、贯穿医学人工智能技术全生命周期的人工智能治理评价指标体系，规范医学人工智能治理评价活动，科学研判人工智能技术运用在医疗领域中存在的潜在风险，确保人工智能技术在医疗实践中的安全、可靠、可控，更好地服务于民众健康。本文件对当前医学人工智能技术在产品研发、使用和推广过程中涉及治理评价需要考虑的因素进行了设计，通过提供医学人工智能治理评价指标体系，为进一步开展医学人工智能治理提供依据和参考。医学人工智能社会治理综合评价指南1范围本文件提供了开展医学人工智能治理评价的指导，给出了指标选取原则、指标体系的构成、内容、架构图和指标内涵等方面的建议，并给出了相关信息。本文件适用于评价深圳市行政区域内医学人工智能治理产生的现实或潜在影响的活动。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1医学人工智能medicaIartificiaIinteIIigence采用机器学习、逻辑推理、模式识别、自然语言处理等人工智能技术实现预期医学用途的软件系统。注：软件系统包括智能独立软件和智能设备软件组件。3.2医学人工智能治理governanceofmedicaIartificiaIinte1.Iigence通过制定和执行原则、标准、指南与政策法规等，促进医学人工智能发展的过程。3.3医学人工智能治理评价governanceevaIuationofmedicaIartificiaIinteIIigence通过治理评价指标体系考量医学人工智能治理的活动。注：包括考量医学人工智能的安全与效用现状、风险问题现状、卫生经济问题现状等；不包括医学人工智能技术赋能社会治理活动的评价。3.4训练数据trainingdata用于训练机器学习模型的输入数据样本子集。来源：GB/T418672022,定义3.2.343.5医学人工智能技术内在风险technoIogyriskofmedicaIartificiaIinteIIigence由医学人工智能软件所处系统环境中的算法模型、训练数据、训练场景和算法运行环境等因素而引发的技术安全性风险或社会破坏性风险。3.6医学人工智能技术应用风险technica1.appIicationriskofmedicaIartificiaIinteIIigence因医学人工智能技术使用不当、管理不善或监管不力而造成的技术风险、伦理风险以及社会风险。医学人工智能治理评价指标选取原则如下： 可行性原则：所选的指标简单、易采集，且成本不宜过高； 全面性原则：需要从多维度、多层级考虑，使选取的指标能够全面反映评价对象的各个方面和特征； 代表性原则：坚持问题导向与目标导向相结合，聚焦医学人工智能治理发展存在的主要问题和短板的典型指标； 时效性原则：结合医学人工智能发展建设进程，对指标体系进行定期评估并调整完善，更好适应建设医学人工智能有效治理的需要。5指标体系5.1 指标体系的构成医学人工智能治理指标体系的结构分3个层级，一级指标3个，二级指标6个，三级指标18个。5.2 指标体系的内容5.3 .1一级指标体系的内容一级指标体系包括以下内容： 安全与效用评价； 风险评价； 卫生经济评价。5.2.2 二级指标体系的内容二级指标体系包括以下内容： 安全评价； 效用评价； 技术内在风险评价； 技术应用风险评价；效率评价； 效益评价。5.2.3 三级指标体系的内容三级指标体系包括以下内容： 数据安全；隐私安全；医疗安全； 场景渗透； 适用效能；受众体验；算法风险； 训练数据风险； 生成内容风险； 社会安全风险； 伦理风险； 社会经济风险；成本效率；规模效率；配置效率；经济效益； 社会效益；健康效益。5.3指标体系的架构图6指标内涵6.1一级指标内涵6.1.1 安全与效用评价安全与效用评价是在评价对象使用过程中，对利益相关方的安全保障与受益程度进行评价的评价指506. 1.2风险评价风险评价是在评价对象研发、使用、推广的过程中，对其技术内在风险和技术应用风险进行评价的评价指标。7. 1.3卫生经济评价卫生经济评价是对评价对象带来的经济成本、社会成本负担与产生的效果、效用和效益进行评价的评价指标。8. 2二级指标内涵9. 2.1安全评价安全评价是对评价对象在研发、使用、推广的过程中的数据安全、隐私安全以及医疗安全进行的综合评价指标。10. .2效用评价效用评价是对评价对象在研发、使用、推广的过程中的应用场景渗透广度与深度、场景契合程度、受众体验、硬件环境影响以及适用效能进行评价的评价指标。11. .3技术内在风险评价技术内在风险评价是对评价对象系统本身所具有的威胁安全、施加影响或逃避监督的可能性进行评价的评价指标。12. .4技术应用风险评价技术应用风险评价是对评价对象系统本身以外对社会、伦理、法制等其他方面产生的伤害事件预期、系统对人的控制程度和对人工智能系统结果的控制及纠错程度等进行评价的评价指标。6 .2.5效率评价效率评价是采用数据包络分析方法对评价对象应用于医疗领域前后对医疗服务供给的技术效率、规模效率、成本效率、配置效率、规模收益状态以及医疗资源配置状态产生的影响进行评价的评价指标。7 .2.6效益评价效益评价是对评价对象产生的经济效益、社会效益以及健康效益进行评价的评价指标。6.3三级指标内涵6. 3.1数据安全数据安全是对评价对象开发与应用过程中涉及健康医疗数据的安全管理的评价指标。注：健康医疗数据包括个人健康医疗数据以及由个人健康医疗数据加工处理之后得到的健康医疗相关电子数据。例如经过对群体健康医疗数据处理后得到的群体总体医疗数据分析结果、趋势预测、疾病防治统计数据等。7. 3.2隐私安全隐私安全是对评价对象保护个人敏感信息的处置方式进行评价的评价指标。注：个人敏感信息包括身份证件号码、个人生物识别信息、银行账户、通信记录和内容、财产信息、征信信息、行踪轨迹、住宿信息、健康生理信息、交易信息、14岁以下（含）儿童的个人信息等。8. 3.3医疗安全医疗安全是对评价对象在医学场景应用过程中对医疗卫生服务质量带来的影响进行评价的评价指50场景渗透是对评价对象在不同等级医院中使用的广度以及在不同临床学科中使用深度进行评价的评价指标。注：反映该评价对象在社会治理中的难度。9. 3.5适用效能适用效能是对评价对象在医学场景应用过程中，与医疗业务情境和业务流程的场景契合程度进行评价的评价指标。10. 3.6受众体验受众体验是对评价对象的用户依赖程度进行评价的评价指标。注：反映该评价对象在社会治理中的优先程度。11. 3.7算法风险算法风险是对评价对象的算法模型稳健性、泛化性、鲁棒性、可解释性、可信任性等进行测试，以评价算法的不确定风险的评价指标。12. .8训练数据风险训练数据风险是对评价对象所使用训练数据的科学性、有效性、合规性以及制定不良训练数据限制规则和防范毒性训练数据的沾染等方面进行评价的评价指标。13. .9生成内容风险生成内容风险是对评价对象的输出结果是否有包含违反社会主义核心价值观、歧视性、商业违法违规、侵犯他人合法权益的内容和是否满足特定服务类型方面进行评价的评价指标。14. .10社会安全风险社会安全风险是对评价对象在技术使用中潜在的社会安全风险进行评价的评价指标。6. 3.11伦理风险伦理风险是对评价对象在社会伦理方面影响社会公平与稳定的潜在风险进行评价的评价指标。6.3. 12社会经济风险社会经济风险是对评价对象在社会经济方面影响社会与对经济发展的潜在风险进行评价的评价指标。6. 3.13成本效率成本效率是基于数据包络分析法的CoST模型对评价对象应用于医疗领域前后带来医疗资源投入成本变化对医疗服务供给产出的影响进行评价的评价指标。6.3. 14规模效率规模效率是基于数据包络分析法的BCC模型对评价对象应用于医疗领域前后医疗资源投入规模变化对医疗服务供给的规模收益状况的影响进行评价的评价指标。配置效率是基于数据包络分析方法CC)ST模型与BCC模型对评价对象应用于医疗领域前后医疗资源投入成本与规模变化对医疗服务供给产出最优状态的影响进行评价的评价指标。6.4. 16经济效益经济效益是对评价对象在医疗卫生服务供给方面带来的经济边际效益影响进行评价的评价指标。6.5. 17社会效益社会效益是对评价对象在医疗卫生领域推广使用后，对社会人群健康和社会健康发展带来的影响进行评价的评价指标。6.6. 18健康效益健康效益是对评价对象在医疗卫生领域推广使用后，对某区域人群、不同年龄结构人群、某疾病患病人群健康状况的影响进行评价的评价指标。123456789GB/TGB/TGB/TGB/TJR/TJR/TJR/T35273：37373：39725：41867：022120210223202101972020-2020信息安全技术个人信息安全规范2019智能交通数据安全服务-2020信息安全技术健康医疗数据安全指南2022信息技术人工智能术语参考文献JRT02872023MZ/T1652020人工智能算法金融应用评价规范金融数据安全数据生命周期安全规范金融数据安全数据安全分级指南人工智能算法金融应用信息披露指南居民家庭经济状况核对数据安全管理要求212223 年2410NY/T42612022农业大数据安全管理指南11YY/T1833（所有部分）人工智能医疗器械质量要求和评价12YY/T18582022人工智能医疗器械肺部影像辅助分析软件算法性能测试方法13YD/T38012020电信网和互联网数据安全风险评估实施方法14YD/T38652021工业互联网数据安全保护要求15YD/T39562021电信网和互联网数据安全评估规范16YD/T40432022基于人工智能的多中心医疗数据协同分析平台参考架构17YD/T40702022基于人工智能的接入网运维和业务智能化场景与需求18YD/T4392.12023人工智能开发平台通用能力要求第1部分：功能要求19YD/T49212024人工智能医疗器械冠状动脉CT影像处理软件算法性能测试方法20YD/T49602024移动智能终端可信人工智能安全指南DB1.1/T22512024信息安全人工智能数据安全通用要求DB52/T17262023糖尿病视网膜病变人工智能筛查应用规范全国人民代表大会常务委员会.中华人民共和国个人信息保护法：主席令2021）91号.2021国家卫生健康委员会规划与信息司，国家卫生健康委员会统计信息中心.全国医院信息化建设标准与规范（试行）：国卫办规划发2018）4号，2018年25国家卫生健康委，国家中医药管理局.全国基层医疗卫生机构信息化建设标准与规范（试行）：国卫规划函（2019）87号.2019年26国家互联网信息办公室，中华人民共和国国家发展和改革委员会，中华人民共和国教育部，中华人民共和国科学技术部，中华人民共和国工业和信息化部，中华人民共和国公安部.生成式人工智能服务管理暂行办法：国家广播电视总局令第15号.2023年27国家卫生健康委办公厅.关于印发医疗机构临床决策支持系统应用管理规范（试行）：国卫办医政函2023）268号.2023年28深圳市第七届人民代表大会常务委员会.深圳经济特区数据条例：深圳市第七届人民代表大会常务委员会公告（第十号）.2022年29全国网络安全标准化技术委员会.生成式人工智能服务安全基本要求.2024年