智能语音电子设备互联互通评价技术规范.docx

《智能语音电子设备互联互通评价技术规范.docx》由会员分享，可在线阅读，更多相关《智能语音电子设备互联互通评价技术规范.docx（21页珍藏版）》请在课桌文档上搜索。

1、团体标准T/GZGQXXXX-2024智能语音电子设备互联互通评价技术规范InterconnectionevaluationcriteriaforIntelligentspeechelectronicdevices（征求意见稿）2024-XX-XX 实施2024-XX-XX发布广州超高清视频产业促进会发布1 .范围-1-2 .规范性引用文件-1-3 .术语和定义-1-3.1 智能语音电子设备Intelligentspeechelectronicdevice-1-3.2 安全传输层协议TransportLayerSecurity(TLS)-2-3.3 控制终端controlterminal-2-

2、3.4 控制终端功能数目thenumberoffunctionsonthecontrolterminal-2-3.5 彳亍业公共月艮务平台publicserviceplatform-2-3.6 厂商月艮务平台manufacturerserviceplatform-2-3.7 互联互通模式一modeone-2-3.8 互联互通模式二modetwo-2-3.9 互联互通模式三modethree-2-3.10 公共控制终端publiccontrolterminal-2-3.11 总辐射功率TotalRadiatedPower(TRP)-3-3.12 总全向灵敏度TotalIsotropicSensi

3、tivity(TIS)-3-3.13 语音识别speechrecognition-3-3.14 语音识另J系统speechrecognitionsystem-3-3.15 语音交互speechinteraction-3-4 .评价要求-3-4.1 基本要求-3-4.2 评分规则-3-5 .评价方法-6-5.1 通信安全-6-5.2 电气安全-6-5.3 配网成功率-6-5.4 互联功能完整率-6-5.5 通信成功率-6-5.6 响应时间-7-5.7 重新联机成功率-8-5.8 总辐射功率和总全向灵敏度-8-5.9 远场语音识别能力-9-5.10 低噪环境下语音唤醒准确率-10-5.11 高噪环

4、境下语音唤醒准确率-10-5.12 误唤醒率-10-5.13 交互拒识率-11-附录A-12-A.I模式一-12-A.2模式二-12-A.3模式三-12-附录B-14-8.1 微波暗室测试方案-14-8.2 混响室测试方案-15-前言随着智能语音技术的发展，智能语音产品互联互通的需求已经成为业内共识，各智能终端产业研发企业也在探索互联互通技术路径，其联通性能直接影响企业产品品质和用户使用感受。本规范按照GBb1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。本文件由广州超高清视频产业促进会归口。本文件起草单位：本文件主要起草人：智能语音电子设备互联互通评价技术规范1

5、 .范围本规范规定了智能语音电子设备的互联互通性能及语音交互性能的评价方法。本规范适用于单相设备额定电压不超过250V,其他设备额定电压不超过480V的应用了网络技术的具备语音交互功能的智能语音电子设备和类似用途电器。不作为一般家用，但对公众仍可构成危险或具有类似使用环境条件的智能语音电子设备，例如：打算在商店中、在轻工行业以及在农场中由非专业人员使用的智能语音电子设备，也在本标准范围之内。2 .规范性引用文件下列文件中的条款通过本规范的引用而成为本规范的条款。凡是注日期的引用文件，其随后所有的修改单(不包括勘误表的内容)或修订版均不适用于本技术要求。然而，鼓励根据本技术要求达成协议的各方研究

6、是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本规范。GB/T35134-2017物联网智能家居设备描述方法GB8898-2011音频、视频及类似电子设备安全要求GB4943.1-2011信息技术设备安全第1部分：通用要求GB/T38052.1-2019智能家用电器系统互操作第1部分：术语GB/T38052.2-2019智能家用电器系统互操作第2部分：通用要求GB/T36423-2018智能家用电器操作有效性通用要求IETFRFC5246安全传输层协议1.2版本TheTransportLayerSecurity(TLS)ProtocolVersion1.2GB/T282

7、19-2018智能家用电器通用技术要求GB/T36426-2018智能家用电器服务平台通用要求YD/T1484.1-2016无线终端空间射频辐射功率和接收机性能测量方法第1部分：通用要求SJ/T11712-2018智能电视语音识别测试方法GB/T36464.2-2018信息技术智能语音交互系统第2部分：智能家居GB/T36464.4-2018信息技术智能语音交互系统第4部分：移动终端3 .术语和定义以下术语和定义适用于本部分。3.1 智能语音电子设备Intelligentspeechelectronicdevice具备语音交互功能的、应用了智能化技术且具有网络通信功能，可自描述、发布并能与其他

8、节点进行交互操作的电子设备。改写GB/T35134-2017,定义3.2注1：示例包括智能电视、智能音箱、智能手机等产品，可关联扩展其他设备、实现内容接入。注2：智能语音电子设备利用云端或者本地的人工智能处理能力，能够通过语音识别、语音合成、自然语言理解等技术完成语音交互。注3：智能语音电子设备可以对关联设备进行控制。3.2 安全传输层协议TransportLayerSecurity(TLS)在两个通信应用程序之间提供身份认证、数据保密性和数据完整性功能的协议。IETFRFC5246,TheTransportLayerSecurity(TLS)ProtocolVersion1.23.3 控制终

9、端controlterminal能够获得智能语音电子设备信息，通过人机交互界面，实现智能语音电子设备应用操作的设备。改写GB/T38052.1-2019,定义3刃注：控制终端包括公共控制终端和厂商控制终端。3.4 控制终端功能数目thenumberoffunctionsonthecontrolterminal控制终端上提供的对设备远程操作功能的数量。3.5 行业公共服务平台publicserviceplatform为智能语音电子设备互联提供服务和管理并可为智能语音电子设备提供其他行业应用服务接入的服务平台。注：行业公共服务平台以下简称“行业服务平台”。改写GBZT38052.1-2019,定义

10、2.2.93.6 厂商服务平台manufacturerserviceplatform为智能语音电子设备提供服务，厂商建立的智能语音电子设备应用服务平台。改写GB/T36426-2018,定义3.63.7 互联互通模式一modeone智能语音电子设备只连接到厂商服务平台的模式。注：互联互通模式一以下简称“模式一”，模式一参考模型见附录A.1。3.8 互联互通模式二modetwo智能语音电子设备直接连接到行业服务平台的模式。注：互联互通模式二以下简称“模式二”，模式二参考模型见附录A.2。3.9 互联互通模式三modethree智能语音电子设备通过厂商服务平台连接到行业服务平台上的模式。注：互联互

11、通模式三以下简称“模式三”，模式三参考模型见附录A.3。3.10 公共控制终端publiccontrolterminal与行业服务平台相连，经由行业服务平台实现对不同厂商智能语音电子设备的应用操作的控制终端。改写GB/T38052.1-2019,定义2.2.43.11 总辐射功率TotalRadiatedPower(TRP)单位时间内，设备所发射的总辐射能量，单位为ClBmo3.12 总全向灵敏度TotalIsotropicSensitivity(TIS)反映设备整个辐射球面的接收灵敏度指标，以错误率不超过10%的接收功率来表征。3.13 语音识别speechrecognition将人类的声音

12、信号转化为文字或者指令的过程。GB/T21023-2007,定义3.13.14 语音识别系统speechrecognitionsystem具有语音识别功能的开发工具、软件、装置或应用。GB/T21023-2007,定义3.23.15 语音交互speechinteraction人类和功能单元之间通过语音进行的信息传递和交流活动。IGB/T36464.2-2018,定义3.14 .评价要求4.1 基本要求智能语音电子设备制造厂商提供的使用说明书中应明确指出采用的互联互通模式及接收语音的方式，并说明与其互联互通的服务平台名称，使用的控制终端名称、获取方式，以及设备对应的远程操作功能。智能语音电子设备

13、的互联互通能力及语音交互能力通过第5章的测试评价来计算，其中电气安全与通信安全作为评价的必要项，不加入计分中，但必须符合规范要求才能进行余下的能力评价。4.2 评分规则1)互联互通能力认证对于采用模式一、模式二的设备按照表1进行评分，根据得分指标取得对应的分值。各个测试项目得分根据分值比例合计后得出总得分,总得分60分以上,评价为具备互联互通能力。对于采用模式三的设备，各项测试项目按照表2进行评分，总得分60分以上，评价为具备互联互通能力。2)语音交互能力语音交互能力各项测试项目按照表3进行评分，各个测试项目得分根据分值比例合计后得出总得分，总得分60分以上，评价为具备语音交互能力。表1智能语

14、音电子设备互联互通能力评分表(模式一、模式二)测试项目满分值得分指标取得分值分值比例合计分值配网成功率100290%10020%80%290%8070%280%6060%270%4060%判定不合格通信成功率100S95%10020%90%S95%9080%T90%7070%80%50”70%判定不合格响应时间100参考5.6中的表320%重新联机成功率100590%10020%80%S90%8070%S80%60S70%20总辐射功率和总全向灵敏度100参考5.8中的表4、表5总辐射功率和总全向灵敏度的得分值相加20%表2智能语音电子设备互联互通能力评分表（模式三）测试项目满分值得分指标取得

15、分值分值比例合计分值配网成功率100290%10015%80%90%8070%80%6060%70%40z80%10025%60%80%8040%60%5020%40%3020%判定不合格通信成功率100095%10015%90%.V95%9080%。90%7070%80%5070%判定不合格响应时间100参考5.6中的表315%重新联机成功率10080%S90%8015%70%S80%60S95%10020%95%Pr90%9090%Pr85%8090%Pr80%60PrPrh85%9085%Prl80%8080%Prh75%60Pril%V5次T14小时60Pw8M4小时20交互拒识率10

16、0PS0%10020%10%Pf20%205 .评价方法5.1 通信安全1）设备认证核对厂商提供的设备信息是否一致，验证其是否具有唯一网络身份标识，测试是否可以通过抓取设备与智能语音电子设备服务平台之间收发的数据包，满足则符合要求。2）信息安全使用抓包工具抓取设备与智能语音电子设备服务平台之间收发的数据包，验证其是否使用了TLS加密手段，满足则符合要求。如果设备使用了其他安全策略，经验证确认为可靠的安全策略则符合要求。5.2 电气安全对设备在互联互通模式下运行时发生的状态和参数改变进行评估，经评估后确认对防电击保护、电击危险、绝缘要求、爬电距离和电气间隙等电气安全项目的符合性有影响，则按照GB

17、8898或GB4943.1和相应特殊标准要求进行检测。5.3 配网成功率将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试：按照厂商提供的说明书进行配网并完成设备绑定，完成绑定后记为配网成功，在成功绑定后进行设备解绑。重复以上操作，则配网成功率4的计算公式如（1）所示。A=100%（1）%。表示测试次数，默认为10;V表示配网成功次数。5.4 互联功能完整率将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试：使用公共控制终端对设备进行控制，同时可以在公共控制终端和厂商控制终端上实现的功能被称为互联功能，将原厂商的控制终端功能数目与公共控制终端功能数目进行对比,得到互联功

18、能完整率。互联功能完整率记为,计算公式如（2）所示。a=-100%（2）%勺表示原厂商的控制终端功能数目；a表示公共控制终端功能数目。注1：厂商需提供功能说明文档，对设备的功能进行说明。注2:对于采用模式一和模式二的设备，不进行此项评价。5.5 通信成功率将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试：使用控制终端对设备进行控制，对设备控制终端上提供的所有功能进行通信成功率测试，从控制终端发出控制命令后，可以触发设备做出正确的响应，则通信成功。通信成功率记为计算公式如（3）所示。其中:%表示控制命令总条数，每个功能发出10次控制命令；6表示通信成功的控制命令条数。注：对于采用模

19、式一的厂商，使用厂商的控制终端进行评价；对于采用模式二、模式三的设备，使用公共控制终端进行评价。5.6 响应时间将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试，并根据表3进行评分：(1)使用厂商控制终端对设备进行控制，从发出指令开始计时，到触发设备响应停止计时，每个功能重复测试10次，计算出每个功能的平均耗时，若单个功能的平均耗时均不大于2s,则为符合要求的功能。记符合上述要求的功能数目与厂商控制终端功能数目之比为外，计算公式如(4)所ZjSo0=-100%(4)% %表示厂商控制终端功能数目； 不表示符合(1)项测试响应时间要求的功能数目。(2)使用公共控制终端对设备进行控制

20、，从发出指令开始计时，到触发设备响应停止计时，每个功能重复测试10次，计算出每个功能的平均耗时，若单个功能的平均耗时均不大于3s,则为符合要求的功能。记符合上述要求的功能数目与公共控制终端功能数目之比为5，计算公式如(5)所ZjKoe=-100%(5)nA 4表示公共控制终端功能数目； 4表示符合(2)项测试响应时间要求的功能数目。(3)公共控制终端停留在设备状态界面，从使用厂商控制终端发出指令开始计时，到公共控制终端的设备状态发生变化停止计时，每个互联功能重复测试10次，计算出每个功能的平均耗时，若单个功能的平均耗时均不大于5s,则为符合要求的功能。记符合上述要求的功能数目与互联功能数目之比

21、为%,计算公式如(6)所示。2=-100%(6)% %表示互联功能数目； 当表示符合(3)项测试响应时间要求的功能数目。注：对于采用模式一的设备，仅进行(1)项测试；对于采用模式二的设备，仅进行(2)项测试；对于采用模式三的设备，需进行(1)、(2)、(3)项测试。表4设备响应时间得分要求模式一测试项目得分指标分值分值比例满分值项测试o80%100100%10060%-o80%60o60%20模式二测试项目得分指标分值分值比例满分值(2)项测试80%100100%10060%,80%60,80%10030%10060%o80%60b080%10035%60%180%60180%10035%60

22、%o-280%60-260%205.7 重新联机成功率将设备置于通信信号良好的环境下并配网完成后，对设备进行以下测试：将设备成功配网后进行断电操作，若设备重新上电后，在控制终端的设备列表中再次上线，则重新联机成功。重新联机成功率记为S,计算公式如(7)所示。S=-100%(7)%其中：表示测试次数，默认值为10;i表示重新联机成功次数。注：对于采用模式一的厂商，使用厂商的控制终端进行评价；对于采用模式二、模式三的设备，使用公共控制终端进行评价。5.8 总辐射功率和总全向灵敏度按照附录B.1或附录B.2的测试方法对设备进行总辐射功率和总全向灵敏度测试。以设备主要的通讯方式为依据进行分类。主要通讯

23、方式为WIFl的设备,其总辐射功率(TRP)和总全向灵敏度(TIS)应达到相应的等级要求，不同等级得分不同，如表4所示。主要通讯方式为蓝牙的设备，其总辐射功率(TRP)和总全向灵敏度(TlS)应达到相应的等级要求，不同等级得分不同，如表5所示。表5WIFI通讯设备总辐射功率和总全向灵敏度的得分要求频率范围测试项目等级得分2.4GHz总辐射功率(TRP)10dBmTRP20dBm505dBmTRPIOdBm250dBmTRP5dBm15TRP0dBm0总全向灵敏度(TIS)TIS-80dBm50-80dBmTIS-70dBm25-70dBmTIS-60dBm15TIS-60dBm05GHz总辐射

24、功率(TRP)IOdBmTRP33(*)dBm505dBmTRP10dBm250dBmTRP5dBm15TRP0dBmO总全向灵敏度(TIS)TIS-80dBm50-80dBmTIS-70dBm25-70dBmTIS-60dBmO(*):根据不同的频率范围，限值不同：a)5150-5250MHz、5250-5350MHz(带TPC)，23dBm；b)5250-5350MHz(不带TPC),20dBm；c)5725-5850MHz,33dBm表6蓝牙通讯设备总辐射功率和总全向灵敏度的得分要求测试项目等级得分总辐射功率(TRP)-6dBmTRP20dBm50-16dBmTRP-6dBm25-26d

25、BmTRP-16dBm15TRP-26dBmO总全向灵敏度(TIS)TIS-80dBm50-80dBmTIS-70dBm20-70dBmTIS1055必选5.12误唤醒率误唤醒测试：将智能语音电子设备被测系统调至待命状态，在距离待测设备Im处使用回放设备播放语音误唤醒测试语料，测试时长为24h,记录被测系统被误唤醒的次数，统计误唤醒频度。误唤醒测试集包含6小时电视节目，6小时新闻节目，6小时人声对话（可选择谈话节目模拟），6小时音乐播放。5.13 交互拒识率5.13.1 交互方式智能语音电子设备宜实现多轮语音交互，即通过两轮及两轮以上的对话完成一个任务。5.13.2 交互拒识率定义交互拒识率是

26、指在智能语音电子设备在语音交互过程中，交互目的不能够在既定交互轮次内完成，被判定为交互失败的测试比率，其计算方式如公式(10)所示。FPt=100%(10)fS+F式中：Pf交互拒识率；S交互成功的次数；F交互失败的次数。5.13.3 交互拒识率测试方法在低噪环境下，将智能语音电子设备调至待命状态，使用回放设备在Im拾音距离内播放语音识别测试语料，记录当次语音交互会话是否成功和有效，按照公式(10)计算各测试场景下的语音交互拒识率。附录A（资料性附录）互联互通模式A.1模式一在模式一中，厂商服务平台没有连接到行业服务平台，但是为本厂智能语音电子设备提供了互联服务和管理，实现了同一厂商产品之间的

27、互联互通。用户无法使用公共控制终端，仅能通过厂商提供的厂商控制终端进行操作。图1模式一参考模型A厂商智能语 音电子设备nA.2模式二在模式二中，智能语音电子设备厂商未提供服务平台，智能语音电子设备直接连接行业服务平台。由行业服务平台实现用户管理、设备管理、设备描述文件解析、设备状态信息同步、设备操作等功能。用户只需要通过公共控制终端进行操作。图2模式二参考模型A3模式三在模式三中，智能语音电子设备通过厂商服务平台连接到行业服务平台上。厂商服务平台和控制终端首先需要在行业服务平台上进行注册，由行业服务平台确认和认证后，方可实现对不同厂商用户管理、设备管理、设备描述文件解析、设备状态信息同步、设备

28、操作等功能。用户可以同时利用厂商控制终端和公共控制终端进行操作。图3模式三参考模型附录B（规范性附录）总辐射功率和总全向灵敏度测试方案B.1微波暗室测试方案总辐射功率测试过程如下：测试时，设备摆放在转台上，通过在无线终端球形周围不同位置测量无线终端EIRP来衡量设备的射频辐射性能。在球坐标的O轴和中轴分别间隔15度取1个测量点，转台从。旋转到165。，垂直环上探头从165。到-165。均匀分布（=0度无探头，被转台占用；0=180度时不用测试），所以每个极化需测量264个点。在每个测试点，记录当前测试位置点的设备发射的功率值。以此类推，直至所有测试位置点的功率全部测完。将所有测量结果，积分合成

29、总的辐射功率值。计算公式如下所示：NMTRP三息W间RO0曲）+ERP（i，巾）sin（Di=7=1其中：d为e轴上第i个采样点角度；仍为小轴上第j个采样点角度；EIRP（。i，j）为角度（i，j）上,。极化方向上的ElRP测量结果，单位为mW；EIRP（i,j）为角度（i,j）上,极化方向上的ElRP测量结果，单位为mW；总全向灵敏度测试过程如下：测试时，设备摆放在转台上，通过测量设备在一定误码率（BER）、误帧率（FER）或误块率（BLER）条件下（默认值为10%）的最小前向链路功率来衡量设备的接收机性能。在球坐标的。轴和轴分别间隔30度取1个测量点，即能够充分描述设备的总接收灵敏度。转台

30、从0。旋转到150。，垂直环上探头。从150。到-150。均匀分布（。=0度无探头，被转台占用；0=180度时不用测试），所以每个极化需测量60个点。在每个测试点，基站从起始设置功率开始，按照一定的功率步进值逐步降低信号，直至设备上报给基站的误码率出现限值为止，记录当前测试位置点的功率值。以此类推，直至所有测试位置点的功率全部测完。将所有测量结果，积分合成总的全向灵敏度值。计算公式如下所示：箔济ES（d,j）+ES（i,y）lSin（J其中：仇为。轴上第i个采样点角度；Oj为巾轴上第j个采样点角度；ESj（d,0j）为角度（4,曲）上，9极化方向上的EIRP测量结果，单位为mW；ES0（*曲）

31、为角度（仇曲）上，极化方向上的EIRP测量结果，单位为mW；B.2混响室测试方案总辐射功率测试过程如下：测试仪表与设备建立连接后，控制设备工作在最大发射功率状态，在每一方向使用综合测试仪对设备的功率进行读值，得此方向的功率值。按照固定的角度步进值控制设备旋转一定的角度，重复上一步骤。推荐测试点数量应不少于80个点。直至读取所有方向上的功率值，统计平均求得总辐射功率值。总全向灵敏度测试过程如下：测试仪表与设备建立连接后，在一个固定的方向上按固定的功率步进值逐步降低测试仪表信号的功率，同时设备对接收到的测试仪表数据包进行解析，并将解析的测试仪表信号的误码率上报给测试仪表，当测试仪表检测到误码率达到10%时，停止传送数据，此时测试仪表信号的功率即为该方向上该设备的灵敏度值。对所有的方向进行测量，几何平均可得设备的总全向灵敏度值。注：以上两种测试方案均参照YD/T1484.1-2016的5.3、5.4、6.3、6.4中的测试方法进行总辐射功率和总全向灵敏度测试。测试时推荐使用中信道对设备进行测试。测试中的通信协议、速率等参数，应与设备厂商协商后进行确定并在检测报告中明确写明。