《智能手语翻译系统测试规范》编制说明.docx

智能手语翻译系统测试规范团体标准编制说明（草案稿）1 .基本情况简介1.1 必要性和意义近年来，随着信息技术产业的飞速发展，越来越多的科研人员和爱心人士开始关注手语信息化工作，但其中不乏众多“误解”，例如未考虑手语语言学专业知识的辅助、手语数据资源库容量和规范性不足以支撑信息系统的建立、智能手语翻译系统质量良莠不齐，无法真正被听障人群所使用等等。2018年教育部、国家语委、中国残联颁布实施国家通用手语常用词表，2019年出版国家通用手语词典，为实现全国范围内听障人群的“普通话”打下基础，也为手语信息化工作提供了标准和依据。当前，研究面向人工智能应用的手语数据资源规范以及语言服务翻译系统的测试标准等工作是难题，也是摆在我国科技工作者面前的一项重要任务，尤其在国家大力推行信息无障碍的社会背景下，这项工作对于语言服务国内弱势群体，构建和谐社会显得更有意义，对我国的语言战略研究、特殊教育、无障碍事业乃至整个人类科学技术的发展进步都有很好的推动作用。为促进我国听力残疾人信息无障碍健全发展，引导和规范智能手语翻译系统产品的发布标准，提高智能手语翻译服务的实用性，为听力残疾人的信息沟通提供方便、专业、优质的智能手语翻译服务，编制智能手语翻译系统测试规范团体标准。本项目归口中国聋人协会团体标准工作领导小组，根据中国聋人协会团体标准管理办法规定，由中国聋人协会下达智能手语翻译系统测试规范规范立项任务，立项编号T/CADH0H0003-2022O1. 2起草单位天津理工大学、中国聋人协会手语研窕和推广委员会、中国聋人协会手语翻译委员会、国家通用手语数字推广中心、浙江工业大学、北京百度网讯科技有限公司、天津鲸言科技有限公司。1 .3主要起草人袁甜甜、杨洋、仰国维、徐聪、杨学、冯缘、闵笛、刘盛、薛万利、薛翠红、董慧芳、方红、刘蜗、李士岩、陈伯师、蒋思宏、李俊杰、梁倩、刘朝东、刘美含、刘银行、孙萌、孙权、王宗颖、吴焰、吴宇浩、吴准、徐梓翔、杨瑞、张付增、张晓东、张悦、赵晓光、张扬、吴倩、王招华。1.4主要分工本规范由天津理工大学聋人工学院牵头起草。接到编制的任务后，经起草单位共同协商成立了规范编制的工作组，由主要起草人袁甜甜、杨学等负责本规范的编制工作。工作组成员从所开展的相关研究和业务实践及经验出发，对智能手语翻译系统现状以及测试规范问题进行分析、梳理、提炼以及归纳，并基于标准文件研究制定的专业视角，对本规范内容和编写工作进行规范性审核，使之更加符合团体标准制定要求，便于在全国推广使用。2 .主要编制过程(1)第一阶段，成立规范研制的起草组。起草组由36名相关专家和专业人员组成，包括从事手语翻译学研究、手语语言学研究和教学工作的专家、聋协工作代表和计算机技术领域工程师、科学家。研究人员结构中听力残疾人手语使用者代表占比15%。(2)第二阶段，查阅文献，形成理论框架和工作方法。主要采用文献分析法，收集国内外有关手语识别和翻译的评价方法，对资料进行细致研读、科学梳理，形成研究的前期基础。(3)第三阶段，开展调查研究和数据分析。起草组分别在北京、天津、上海、杭州、深圳等多地进行考察，选取五家涉及智能手语翻译任务研发的企事业单位，进行专项访谈，了解其工作实况、研发趋势等，为制定规范积累了大量一手的数据和信息。(4)第四阶段，编写规范初稿。借鉴中国聋人协会团体标准手语翻译服务规范第1部分：传译服务(T/CADHOH0002.1-2022)手语传译职业技能评价规范(TCADHOH0003-2023)及中国通信标准化协会行业标准数字人系统基础能力要求及评估方法、虚拟数字人指标要求和评估方法等文件的经验，以计算机视觉和自然语言处理的相关理论为研究指导，结合调研数据分析的结果，初步形成智能手语翻译系统测试规范的基本框架。（5）第五阶段：广泛征求意见。起草组对全国的42家企事业单位进行了广泛的意见征询，并根据反馈建议，对报告内容做了多次修改和完善，形成最后方案。1 6）第六阶段，规范最后审定。召开专家评审会，组织各界专家对标准方案进行评审，形成专家评审意见。3 .制定规范的原则和依据，与现行法律、法规、标准的关系（1）整体性原则。本标准根据中华人民共和国标准法及其实施细则、标准化工作导则第1部分：标准的结构和编写GT/T1.1-2020进行编制。本标准的内容不仅贯彻残疾人保障法、中华人民共和国无障碍环境建设法、无障碍环境建设条例等国家相关法律法规政策，而且体现对智能手语翻译系统的整体状况和运作经验的调研和总结。（2）科学性原则。制定本规范时，从概念到形式都遵循相关语言学和计算机科学的相关理论，测试方面遵循翻译系统的测试原则以及机器视觉原理，包括测试的信度、效度、真实性等重要因素；本规范中使用的专业术语和文字符号符合相关国家行业通行的标准和要求，做到准确鲜明、通俗易懂。（3）实用性原则。坚持以应用为驱动、服务需求与发展为导向，确保本规范适用于智能手语翻译的实际情况，符合广大聋人对智能手语翻译服务的实际需求。（4）可操作性原则。本规范内容具体、明确，测试内容和评分标准都遵循可操作性强原则，准确定位有效度和信度的考核内容以及评分方法。4 .重大意见分歧的处理依据和结果的说明本文件研究制定过程中未出现重大分歧。5 .采用国际标准或国外先进标准程度的说明，以及国内、外同类产品或标准的对比情况鉴于国内外同类标准尚属空白，本工作组在对国内外现有智能手语翻译系统研发工作进行调研的基础上，以语言学理论为指导，借鉴了中国聋人协会团体标准手语翻译服务规范第1部分：传译服务（TCADH0H0002.l-2022）手语传译职业技能评价规范（T/CADHOH0003-2023）及中国通信标准化协会行业标准数字人系统基础能力要求及评估方法、虚拟数字人指标要求和评估方法等文件的经验，制定当前技术条件允许实施的智能手语翻译系统评测规范，以科学、客观、公平地评测智能手语翻译系统的实际能力，规范智能手语翻译产品的发布，促进智能手语翻译产品的良性发展，加快智能手语翻译系统的落地实用。6 .作为推荐性标准的建议及其理由根据中华人民共和国标准法、残疾人保隙法及无障碍环境建设条例等文件规定，智能手语翻译系统测试规范不属于强制性标准范畴，建议本规范以推荐性团体标准的形式发布实施。7 .贯彻标准的措施和建议规范如果能够立项并作为团体标准，后期将由中国残联、中国聋协和国家通用手语数字推广中心在全国系统层面进行宣传和推广。后期将依托天津理工大学聋人工学院，建立统一的测试服务平台，实施对智能手语翻译系统使用前的考核评价等。天津理工大学聋人工学院在手语语言学理论、手语数据资源及计算机技术等方面的交叉研究可对评测过程给予全力支持。8 .其他说明无智能手语翻译系统测试规范起草工作组