人工智能 算子接口 第2部分：神经网络操作编制说明.docx

团体标准人工智能算子接口第2部分:神经网络操作（征求意见稿）编制说明一、工作简况1.1 任务来源根据新一代人工智能产业技术创新战略联盟与中关村视听产业技术创新联盟联合下达的2020年第四批团体标准立项的通知（2020年第4号），人工智能算子接口第2部分：神经网络操作（项目号：2020111002）立项。技术归口单位为中关村视听产业技术创新联盟。1.2 起草单位本标准的主要起草单位包括北京大学、北京大学长沙计算与数字经济研究院、中国电子技术标准化研究院、鹏城实验室、中国科学院软件研究所、北京百度网讯科技有限公司、华为技术有限公司、中科寒武纪科技股份有限公司、浪潮电子信息产业股份有限公司、燧原科技、上海商汤智能科技有限公司、新一代人工智能产业技术创新战略联盟（中关村视听产业技术创新联盟）。1.3编制过程人工智能算子接口第2部分：神经网络操作的正式制定起始于2017年12月举行的新一代人工智能产业技术创新战略联盟AI标准工作组第一次会议，会上讨论了“高性能扩展数学库接口规范”，会议认为面向Al领域的高性能基础库开发接口标准的制定是一项紧急的重要工作。2018年3月，联盟第二次会议上，成立了专题组，启动标准研制工作，确定了标准涉及的基本范畴。2018年6月，中科院计算所、北大举行了专题组研讨会，汇总了指令集、开发接口的相关国际进展，收集、聚焦了若干待解决的问题，明确了下一步工作计划。2018年8月，联盟第四次会议上，来自北大、寒武纪、中科院软件所、武大、北交大、海思、讯飞、三星通信等单位讨论了Al开发接口数据类型专家推荐稿并输出了AlN1059AI开发接口提案征集书。2019年6月，北京大学、中科院软件所提案AIMIl05,基于核心张量数据类型,提出了与卷积神经网络相关的典型开发接口，包括激活函数、损失函数、归一化、池化、卷积等5个子类共14个接口。2019年8月，北京大学、鹏城实验室、中科院软件所提案AIMII38,提出了与递归神经网络相关的典型开发接口，包括简单循环网络，长短期记忆网络，门控循环网络等3个子类共6个接口。2019年12月，北京大学、鹏城实验室、中科院软件所提案AIMIl90,提出了与神经网络相关的典型推理开发接口，包括激活函数、损失函数等3个子类共6个接口。2020年6月，为提高算子接口标准的广泛性和可持续性，北京大学、鹏城实验室、中国科学院软件研究所提案AlMI289,对接口定义形式进行修改。2020年12月，北京大学、鹏城实验室、中科院软件所提案AIMI359,提出了与神经网络相关的典型训练阶段算子接口。2022年3月，北京大学、鹏城实验室提案AIM1567-AIM1569,提出了与分布式训练相关的算子接口，包括通信器相关接口、异步操作相关接口、点对点通信和集合通信相关接口，并新增了优化器接口和图像处理相关接口。2022年6月-2023年12月，北京大学长沙计算与数字经济研究院、中国电子技术标准化研究院、北京百度网讯科技有限公司、华为技术有限公司、中科寒武纪科技股份有限公司、浪潮电子信息产业股份有限公司、燧原科技、上海商汤智能科技有限公司、新一代人工智能产业技术创新战略联盟（中关村视听产业技术创新联盟）等单位在前期标准已确定的总体结构、章节内容的基础上，进一步对草案进行补充、完善、修改，包含接口补充、修改，以及接口最小集确定等内容。2023年12月，经工作组讨论决定上报新一代人工智能产业技术创新战略联盟正式征求意见。主要起草人杨超带头标准制定工作、提出了技术提案、参与了参考软件开发并负责了标准文本编辑工作；主要起草人李敏、范睿博、胡晓光、蒋佳军、敖玉龙、李笑如、黎子毅、李克森、刘益群、李雨芮、段炼、马艳军、张军、蒋晓琳、关贺、胡帅、钱晨、吴庚、曹晓琦、李卉、陈恺、周再达，提出了技术提案、参与了标准制定过程中的讨论、参考软件开发和标准文本审阅修订；主要起草人赵海英参与了标准需求讨论及部分技术讨论、在标准制定过程中给出了指导意见。二、标准编制原则和确定主要内容的论据及解决的主要问题2.1 编制原则本标准的编制遵循以下原则：1）科学适用原则：人工智能算子接口第2部分：神经网络操作的制定充分考虑了国内高校、科研机构以及Al框架厂商和硬件厂商实际情况，清晰地给出了标准的适用范围和技术内容。标准只规范了接口相关技术内容，不限制软硬件的实现方式,与框架和硬件解耦,给予接口实现者较大的优化空间和创新空间，科学适用性强。2）协调性原则：标准的起草由国内知名高校、科研机构以及人工智能和信息技术领域有关企业等利益相关方共同编制而成，起草过程中做到了共商共议、协商一致，确保了标准的制定具有广泛的代表性，能够综合考虑不同领域的需求和技术特点。3）通用性原则：标准适用于多种不同的应用和系统，而不仅限于特定的平台或框架，这有助于提高算子接口的互操作性和复用性。4）可扩展性/可持续性原则：随着技术的发展，算子接口可能会有新的需求和应用场景。因此，标准在内容上列出了常用算子接口集和，并在此基础上提炼出算子接口最小集，融合了标准的规范性和指导性双重属性，并为后续接口扩展和技术内容更迭留有充分的制标空间，应具有一定的前瞻性和灵活性，能够适应未来的变化和需求。5）规范性原则：标准的编写遵守国家标准GB/T1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则。2.2 解决的主要问题人工智能算子接口第2部分：神经网络操作的研制对于解决人工智能底层标准缺失、人工智能软硬件兼容性突出、算法部署应用硬件体积功耗受限及适配成本高等问题具有积极贡献。三、主要试验或验证情况分析本文件主要针对人工智能神经网络类算子接口相关功能、参数、返回值、C语言参考定义等方面做出约定或给出参考，属于人工智能算子接口系列标准的第2部分。该系列标准包含4个部分，其中前三个部分为算子接口类别标准，第四部分为接口自动化测试框架。自动化测试框架提供Al算子自动化测试验证功能。AI算子测试具有相同或相似的逻辑和流程，即“创建张量”、“执行算子”和“对比结果”。对于神经网络类算子而言，算子测试代码的不同之处主要在于数据结构（如DataType、DeViCe和TenSor等）和函数名，因为数据结构和函数名均为用户自定义的。目前，百度已经完成了神经网络类算子接口的自动化测试验证，并拿到了第三方检测机构的测试报告，算子的输出参数、返回值等结果符合预期。四、知识产权情况说明本文件不涉及专利等知识产权内容。五、产业化情况、推广应用论证和预期达到的经济效果人工智能算子接口第2部分：神经网络操作标准的研制，得到了科技部的支持，在联盟通过立项并完成标准制定工作。在标准制定过程中，起草组充分考虑了国内厂商实际情况，综合了百度PaddIePaddie、华为MindSPOre、商汤DeePLink等Al框架软件厂商以及寒武纪、浪潮、燧原科技等硬件厂商的技术提案，这些国内厂商对标准的制定和实施做出了积极贡献。北京大学、北京大学长沙计算与数字经济研究院、鹏城实验室、中国科学院软件研究所等科研学术单位，在学术研究、技术提案贡献、会议组织讨论、草案更新、材料编制等工作中给予了大力度支持。人工智能算子接口第2部分：神经网络操作标准的制定有助于联通人工智能产业底层硬件与上层Al框架开发平台，有效破解Al软件碎片化、硬件多样化、软硬件适配难等行业难题，促进Al软硬件解耦，为构建我国新一代人工智能软硬件技术体系，促进人工智能产业的良性发展贡献积极力量。六、采用国际标准和国外先进标准情况本部分未采用对应国际标准，而是采用自主制定的技术路线。七、与现行相关法律、法规、规章及相关标准的协调性符合我国有关的现行法律、法规。八、重大分歧意见的处理经过和依据无。九、标准性质的建议建议发布为推荐性标准。十、贯彻标准的要求和措施建议应通过各类国家级科技计划和产业化项目资助，大力开展基于人工智能算子接口第2部分：神经网络操作标准的Al芯片通用算子库和Al框架等产品的开发设计，扶持算子接口标准产业链的形成。十一、替代或废止现行相关标准的建议无。十二、其它应予说明的事项无。团体标准人工智能算子接口第2部分:神经网络操作编制工作组2024-2-1