GB_T43555-2023智能服务预测性维护算法测评方法.docx

ICS25.040.40CCSN19中华人民共和国国家标准GB/T435552023智能服务预测性维护算法测评方法Intelligentservice-Predictivemaintenance-Algorithmevaluationmethod2023-12-28发布2024-07-01实施国家市场监督管理总局国家标准化管理委员会目次前言III引言IV1范围12规范性引用文件I3术语和定义14缩略语25总则26测评对象27算法测评流程38算法测试指标38.1 状态监测算法测试指标38.1.1 概述38.1.2 状态判别准确率48.1.3 异常状态漏报率48.2 故障诊断算法测试指标48.2.1 通则48.2.2 专家系统算法测试指标48.2.3 机器学习算法测试指标58.3 预测算法测试指标68.3.1 概述68.3.2 预测准确率78.3.3 平均绝对误差78.3.4 均方根误差78.3.5 可决系数78.3.6 预测误差评分指标89算法测试方法89.1 状态监测算法测试89.1.1 测试数据要求89.1.2 测试方法89.1.3 测试结果99.2 故障诊断算法测试99.2.1 测试数据要求99.2.2 测试方法99.2.3 测试结果99.3 预测算法测试109.3.1 测试数据要求109.3.2 测试方法IO9.3.3 测试结果1110算法评价要求1210.1 状态监测算法评价要求1210.2 故障诊断算法评价要求1210.3 预测算法评价要求1210.4 评价说明1211测试数据要求1211.1 一般要求1211.2 数据入库要求1211.2.1 格式与内容要求1211.2.2 校核要求1211.2.3 数据转换1311.2.4 数据入库1311.2.5 数据入库后检查13附录A（资料性）信号处理算法测试指标14A.1波形质量评价指标14A.2频谱质量评价指标14A.3时频分布质量评价指标15A.4计算复杂度评价指标16附录B（资料性）预测算法测试补充指标178.1 均方误差178.2 精确度178.3 不确定性度量指标17附录C（资料性）测评报告格式19附录D（资料性）预测算法评价20附录E（规范性）数据库建设及系统要求22E.1一般要求22E.2数据质量要求22E.2.1数据格式22E.2.2数据采集频率23E.2.3数据采集位置23E.2.4数据内容评估23E.3数据库系统功能23E.3.1数据库系统基本功能23E.3.2数据库安全管理功能23E.3.3数据库输入输出功能23E.3.4数据库查询、检索与统计功能23参考文献24-XJ1.->-三刖S本文件按照GBT1.12020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国机械工业联合会提出。本文件由全国工业过程测量控制和自动化标准化技术委员会（SAC/TC124）归口。本文件起草单位：机械工业仪器仪表综合技术经济研究所、中国石油大学（北京）、清华大学、重庆邮电大学、上海电气集团股份有限公司中央研究院、中国科学院合肥物质科学研究院、北京邮电大学、北京奔驰汽车有限公司、潍柴动力股份有限公司、北京天泽智云科技有限公司、上海大制科技有限公司、频率探索智能科技江苏有限公司、上海华兴数字科技有限公司、合肥综合性国家科学中心能源研究院（安徽省能源实验室）、西门子（中国）有限公司、舍弗勒（中国）有限公司、斯凯孚绿色智能科技（上海）有限公司、施耐德电气（中国）有限公司、三菱电机自动化（中国）有限公司、恩德斯豪斯（中国）自动化有限公司、丹东华通测控有限公司、北京英华达电力电子工程科技有限公司、泰兴伯漾集成科技有限公司、武汉东研智慧设计研究院有限公司、台达电子企业管理（上海）有限公司、华为技术有限公司、中广核研究院有限公司、西安交通大学、北京航空航天大学、重庆大学、上海交通大学、中国计量大学、重庆川仪自动化股份有限公司、上海自动化仪表有限公司、中国科学院沈阳自动化研究所、大连理工大学、沈阳中科博微科技股份有限公司、北京博华信智科技股份有限公司、航天智控（北京）监测技术有限公司、青岛明思为科技有限公司、重庆川仪软件有限公司、安徽容知日新科技股份有限公司、上海朋禾智能科技有限公司、中国工程物理研究院动力部、重庆盟讯电子科技有限公司、国家石油天然气管网集团有限公司科学技术研究总院分公司、国家石油天然气管网集团有限公司、工业和信息化部电子第五研究所、上海航数智能科技有限公司、易福门电子（上海）有限公司、中国商用飞机有限责任公司上海飞机设计研究院、中国科学院空间应用工程与技术中心、山东省计算中心（国家超级计算济南中心）、福建阿古电务数据科技有限公司、上海人工智能创新中心、电子科技大学、北京东方振动和噪声技术研究所、一汽解放汽车有限公司、清华大学山西清洁能源研究院、北京龙鼎源科技股份有限公司、科大讯飞股份有限公司、北京角动力技术有限公司、北京工商大学、武汉中云康崇科技有限公司、南京高精齿轮集团有限公司、北京华控智加科技有限公司、广东省工业边缘智能创新中心有限公司、西安华云智联信息科技有限公司、西安因联信息科技有限公司、硕橙（厘门）科技有限公司、重庆电子工程职业学院、北京可维卓立科技有限公司、苏州拓康自动化技术有限公司、杭州安脉盛智能技术有限公司、上海诸算科技有限公司、北京航空航天大学杭州创新研究院、北京联华科技有限公司、北京晨测科技有限公司、北京仪综测业科技发展有限公司。本文件主要起草人：王成城、王金江、王凯、张来斌、褚福磊、黄庆卿、许伟、张祖超、吴振宇、王春喜、郭东栋、黄晨光、金超、徐骏、孟力、朱超、游和平、刘少清、周林飞、杨炳春、翁良、刘文、高山青、陆小龙、王蓬、吴仕明、吴轩豪、雷亚国、张飞斌、严如强、韩延、李吉吉、谈宏志、瓢山、姜宗睿、董智升、黄毅、吴文超、李祎文、张开桓、阎新华、赵磊、任锦胜、方正飞、肖立宏、黄自平、张益林、李响、钱诚、张可、陶建峰、王强、田英明、包伟华、王铭、李宏坤、林跃、杨祖业、刘锦南、曾志生、左明健、再沫、王勇、崔鹏、李云、陈菁、朱喜平、杨喜良、孟苓辉、徐海杰、史建亮、李海伟、李鹏、张镇、郭昌华、朱国良、陈芳、王敏、刘锋、赵旭、张晓、王川、宫韬、乔靖玉、金学波、杨宝军、宁国云、王鹏、文IJ加、陈超、任志刚、田秦、瞿干上、杜雪飞、唐环、张庆军、孙丰诚、谢鹏、张凤丽、郭晓辉、郭小曦、林娟。预测性维护已逐渐发展成为运维服务的主要模式，在多个行业均有较为广泛的应用。算法是预测性维护能否有效实施的核心，亟需标准化的测评体系来科学合理地评价预测性维护算法的准确性、有效性和适用性。预测性维护是针对各行业设备或部件，以振动、图像、电流、声纹等信号分析为手段，结合新一代信息技术进行状态监测、故障诊断及剩余寿命预测，制定运维决策方案并安排合理维修活动的新型装备运维模式。本文件以预测性维护中的状态监测、故障诊断、寿命预测等算法为对象，抽取行业共性的测试评价指标及方法，建立通用的算法测评体系，为各行业应用和推广提供支撑。通常将预测性维护的从业人员分为装备用户、装备制造商和解决方案供应商。本文件为上述从业人员提供测评依据，如为装备用户采购及验收提供重要支撑材料，为装备制造商和解决方案供应商描述其所提供的预测性维护技术方案的优势提供依据。智能服务预测性维护算法测评方法1范囹本文件规定了预测性维护中的算法测评分类、测评流程、测试指标、评价要求和测评数据要求，描述了测试方法。本文件适用于预测性维护中的状态监测、故障诊断、寿命预测等算法的测试评价。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T40571-2021智能服务预测性维护通用要求3术语和定义下列术语和定义适用于本文件。3.1状态监溜conditionmonitoring检测与收集反映机器状态的信息和数据。注：如果故障或失效发生，则机器状态恶化。来源：GB/T209212007,2.53.2故障诊断faultdiagnosis为确定故障或失效的性质（种类、状况、程度），而检验症状和症候群。来源：GB/T209212007,2.6,有修改3.3寿命预测Iifeprediction对故障的症状进行分析，以预估未来的状态和剩余使用寿命。注：寿命预测通常指剩余使用寿命预测。来源：GB/T209212007,2.16,有修改3.4预渊性维护predictivemaintenance根据观测到的状况而决定的连续或间断进行的维护，以监测、诊断或预测构筑物、系统或部件的状态指标。来源：GB/T405712021,3.5,有修改3.5 信度confidencelevel表示诊断/预测的正确程度的质量准则。注1：它以百分率来表示。注2：这个值实质上是一个数字，它表示误差源对输出结果精度的最终可靠性或置信程度的累积影响，通过计算或者力哝评估系统来确定。来源：GB/T23713.12009,3.24缩略语下列缩略语适用于本文件。MAE:平均绝对误差(MeanAbsoluteError)MSE:均方误差(MeanSquaredError)RMSE:均方根误差(RoOtMeanSquaredError)RU1.:剩余使用寿命(RemainingUseful1.ife)SPE:预测误差评分(SCoreofPredictionError)UQ:不确定性度量(UnCertaintyQuantification)5总则根据GB/T405712021中5.3的要求，预测性维护可实现状态监测、故障诊断和寿命预测等功能。本文件对状态监测、故障诊断、寿命预测等算法进行测评，其中寿命预测算法简称为预测算法。本文件提出的测评方法包含测试和评价两部分，其中测试主要基于第8章算法测试指标及第9章算法测试方法进行计算，评价主要基于第10章算法评价要求进行分析，二者共同构成了算法测评体系。6测评对象本文件针对状态监测、故隙诊断和寿命预测等算法进行测评，在实际测试中可选择其中一种或多种进行测试。状态监测算法测评包括以下几种。基于阈值的监测算法：状态监测算法可分为两种，分别是基于固定阈值的判别方法和基于相对阈值的判别方法。测试指标见8.1,测试方法见9.1。 不属于上述类别的算法可参考&1中的指标进行测评。故障诊断算法测评包括以下几种。 专家系统测评：专家系统可应用人工智能技术和计算机技术，根据领域专家的知识和经验进行推理和判断，基于专家系统的特征数据匹配度获得故障诊断的结果。专家系统测试指标见8.2.1,测试方法见9.2。一机器学习算法测评：机器学习算法可通过状态特征的分类获得故障诊断的结果。机器学习算法测试指标见&2.2,测试方法见9.2o 不属于上述类别的算法可参考8.2中的指标进行测评。预测算法测评为基于用户定义的失效阈值对寿命预测算法进行测评。寿命预测算法能够推演预测特征的轨迹在何处与失效阈值相交，并得到寿命终点时间，进而获得寿命预测的结果。预测算法测试指标见&3,测试方法见9.3.>信号处理是监测、诊断和预测算法的重要组成部分，其测试指标包括信号处理质量评价和算法复杂度评价。在进行监测、诊断和预测算法测试时，可根据具体应用场景和需求选择是否进行信号处理算法测试。图谱分析等信号处理算法测试指标见附录A。7算法测评流程算法测评流程可分为测试准备阶段、算法测评阶段、算法调试阶段，如图1所示。图1算法溜评流程算法测评流程具体如下。测试准备阶段：测试准备阶段包括客户申请、测评类型选择、样本数据库（简称数据库）是否支持判断等活动。基于客户提出的测评申请，首先确定测评类型，其次判断数据库是否支持测试，如支持则进入抽样环节，如不支持则需要客户提供样本数据（简称数据）并更新数据库。一算法测评阶段：算法测试阶段包括抽样、模型准备、测试环境搭建、算法测试、算法评价等活动。经过抽样后的模型进行训练等准备，就绪后基于算法是否可公开而搭建测试环境，环境搭建应选用接口调用或算法直接部署等方式。算法调试阶段：算法调试阶段包括是否调试判断、算法调试、出具测评报告等活动。测评结果如不理想，允许进行算法调试和更新，重新进行测评，调试次数不超过2次，达到客户满意度则输出测评报告。8算法测试指标8.1 状态监测算法测试指标8.1.1 廨状态监测算法可分为基于固定阈值的判别方法和基于相对阈值的判别方法。基于固定阈值的判别方法通过对测试样本进行分析处理，与现行标准中预设的报警阈值进行对比，获得状态判别的结果。如振动数据报警阈值的设定见GB/T22393-2015o基于固定阈值的判别方法可适用于现有标准的场景。基于相对阈值的判别方法通过对标准数据进行学习，对样本数据进行分析处理，与自定义报警阈值进行对比，获得状态判别的结果。基于相对阈值的判别方法可适用于有现行标准的场景，也可适用于现行标准无法参考的场景。8.1.2 状态判别准确率状态判别准确率是指设备状态监测结果分类的准确率。设备状态分为正常、异常两种。处于正常状态的设备可无限制长时间运行，处于异常状态时表明设备状态相对正常状态发生了明显改变，需要近期执行维护。状态判别准确率可用状态正确判别的样本数量和总样本数量的百分比进行表示，见式。式中：Am一状态判别准确率；Co正确判别状态的样本数量(含将正常样本判定为正常状态的数量和将异常样本判定为异常的数量)；S全部的样本数量。状态判别准确率取值范围为0,1,越大越好。8.1.3 异常状态漏报率设备异常状态识别和判断的漏报率可用给定样本中未识别到的异常的数量和异常总数量之间的百分比进行表示，见式(2),式中：U,异常状态漏报率；M、未识别到的异常样本数量；A.全部的异常样本数量。异常状态漏报率取值范围为0,1,越小越好。8.2 故障诊断算法测试指标8.2.1 通则故障诊断算法可分为专家系统算法和机器学习算法。基于专家系统的故障诊断算法应先对有/无故障识别准确率进行测试，然后再对故障类别识别准确率进行测试。对有置信度输出的专家系统算法，可对置信度均值进行测试。机器学习的分类算法评价指标主要有准确率、精确率和召回率，计算方式可分为宏平均与微平均两类。其中宏平均是先计算每一类的指标值，然后再对所有类求算术平均值，而微平均指把数据集中的所有实例不分类别地汇总在一起计算出最终的指标值。8.2.2 2.2专家系统算法测试指标有/无故障识别准确率是对于给定的诊断测试样本集，正确识别有/无故障的样本数量占总样本数量的百分比，见式(3)。-l"'(3)式中：Asx有/无故障识别准确率;Nc正确识别有/无故障的样本数；N总样本数。有/无故障识别准确率取值范围为。1,越大越好。故障类别识别准确率是对于给定的诊断测试样本集，正确分类的样本数量占总样本数量的百分比，见式(4)。y-,.1IO.-式中：Aa故障类别识别准确率；T,正确识别i类别的样本数；n样本的总类别数；N总样本数。故障类别识别准确率取值范围为0,1,越大越好。对于存在输出置信度的专家系统，可测试置信度平均值；如果专家系统不输出置信度，则不测试置信度平均值指标。专家系统输出的置信度平均值计算见式(5)。式中：Cm专家系统输出的置信度平均值：C,对第j个正确识别类别的样本，专家系统输出的置信度;k正确识别类别的样本数；N总样本数。置信度平均值取值范围为0,1,越大越好。8.2.3 机器学习算法测试指标8.2.3.1准确率准确率指正确诊断的样本数占总诊断样本数的比值，反映的是算法整体性能。准确率计算见式。TP''.'式中：A。准确率；TP,正确识别i类别的样本数；n样本的总类别数；N总样本数。准确率取值范围为0,1,代表算法诊断的结果与真实情况的一致性程度，准确率越高，则表示算法的整体诊断结果与真实情况越相符合。8.2.3.2精确率精确率指正确诊断的正样本数占所有诊断为正样本的数量的比值。精确率宏平均计算见式(7)。TP%TP÷FP式中：Pms精确率宏平均；TP;正确识别为i类别的样本数;FP,错误识别为i类别的样本数;n样本的总类别数。精确率微平均计算见式(8):(TP,÷EP.)式中：Pi精确率微平均；TP,正确识别为i类别的样本数；FP;错误识别为i类别的样本数；n一样本的总类别数*精确率取值范围为0,1,代表算法诊断结果中，被识别为故障样本的精确程度，精确率越高，则表示被算法诊断为故障的样本与真实情况越相符合。8.2.3.3召回率召回率指正确诊断的正样本数占真实正样本总数的比值，也称真阳率。召回率宏平均计算见式(9):%T4二寻山(9)式中：R召回率宏平均；TP,正确识别为i类别的样本数；FN,将i类别识别为其他类别的样本数；n样本的总类别数。召回率微平均计算见式(10):R-(10)£二pJ.,<TP,-HFNJxl00r4式中：Ri召回率微平均；TP;正确识别为i类别的样本数；FN;一将i类别识别为其他类别的样本数;n样本的总类别数。召回率取值范围为0,1,代表诊断算法能够从总诊断样本中找出故障样本的完整程度，召回率越高，则表示诊断算法能越完整地找出真实的故障样本.8.3预测算法测试指标8.3.1 概述预测算法测试指标从四个维度对算法性能进行衡量：预测准确率、预测误差、算法拟合程度与预测误差评分。预测准确率用于衡量算法预测结果的准确性；预测误差用于衡量算法预测剩余使用寿命与实际剩余使用寿命之间的误差程度；算法拟合程度用于衡量预测结果与实际剩余使用寿命间的拟合程度；预测误差评分对算法预测结果打分，工程上相较于过迟预测倾向于过早预测，该指标对于过迟预测的惩罚要高于过早预测，可作为误差评分指标。此外，预测算法测试补充指标见附录B。8. 3.2预测准确率预测准确率是衡量算法对剩余使用寿命预测准确性的指标，见式(ID及式(12)。e=r(t>r0(t;)(11)c<rr><>I.»<(12)式中：Ac(r,r.)预测准确率；1 第i个样本；N样本总数；e(t1)t;时刻实际剩余使用寿命与预测剩余使用寿命之差；r(t1)t,时刻的实际剩余使用寿命；r(t;)t;时刻的预测剩余使用寿命。预测准确率取值范围为(0,1),预测准确率越接近于1,算法准确性越好。8.3.3平均绝对误差平均绝对误差是预测剩余使用寿命与实际剩余使用寿命之间接近程度的度量，见式(13)。ME(r.r.r<fIr(l)(13)Ni式中：MAE(r,r,)平均绝对误差；i第i个样本：N样本总数；r(t1)t;时刻的实际剩余使用寿命；Mt;)t;时刻的预测剩余使用寿命。MAE取值范围为0,+心,MAE值越小，算法误差越小。8.3.4均方根误差均方根误差的计算见式(14)。这个指标对于误差大的值会有更高的权重，任意一个过大的误差都会让RMSE的值很差。RMSE<r.r.>£r(f'r(ti(14)Ni式中：RMSE(r,r.)均方根误差；1 一一第i个样本；N样本总数；r(t,)t时刻的实际剩余使用寿命；r.(t1)t;时刻的预测剩余使用寿命。RMSE取值范围为(0,+)，RMSE值越小，算法误差越小。8.3.5可决系数可决系数用于度量预测剩余使用寿命对实际剩余使用寿命的拟合好坏程度。可决系数计算见式(15)和式(16)。'r(,>-r,(l.>rK二一一一(,r(.)r.JIv、r-2-«)(式中：R2可决系数；i第i个样本；N样本总数；Kt;)1;时刻的实际剩余使用寿命；Kt;)1,时刻的预测剩余使用寿命。r实际剩余使用寿命Nt;)的均值。可决系数取值范围为(一-r1),可决系数越接近于1,算法拟合程度越好。8.3.6预测误差评分指标预测误差评分指标是RU1.误差的加权总和，见式(11)及式(17)。评分函数是不对称函数，该指标对RU1.的过迟预测惩罚要大于过早预测的惩罚，分值越低代表算法性能越好。SPE<rJr(tf)>0c(tr)<0式中:SPE(t;)一预测误差评分指标;i第i个样本；a过早预测的惩罚因子，取值范围为10,15,宜采用13;过迟预侧的惩罚因子，取值应小于a,取值范围宜为7,12,如采用10。SPE取值范围为0,+弋,SPE值越接近于0,算法预测结果越好。9算法测试方法9.1 状态监测算法测试9.1.1 测试数据要求状态监测算法对测试数据的要求如下：标准数据：包括数据、数据产生来源、数据采集方式、相应设备的元数据等，如设备编号、设备类型、工况、数据标签(异常/正常)；测试样本：包括数据、数据产生来源、数据采集方式、相应设备的元数据等，如设备编号、设备类型、工况(该工况应属于标准数据中的工况范围)、数据标签(异常/正常)。9.1.2 测试方法针对不同状态监测算法类型，测试方法如下：基于固定阈值监测算法测试。参评对象以国际/国家标准规定的阈值为基础对测试样本进行状态判断：异常/正常。参评对象对测试样本做出的状态判断将会用于和真实状态进行比对、计算状态判别准确率、异常状态漏报率等测试指标，对这些指标进行评价后给出通过或者未通过测试的结论。一基于相对阈值监测算法测试。提供设备正常运转时标准数据，且包括相对应的设备的控制信息，如加工信息等，标定该设备所处的模式。测试样本来源为产生标准数据的同一设备，对应工况涵盖在标准数据中的工况，且标准数据中相应工况的数据条数达到一定数量。参评对象利用标准数据进行模型训练，对测试样本进行状态判断：异常/正常。参评对象对测试样本做出的状态判断将会用于和真实状态进行比对，计算状态判别准确率、异常状态漏报率等测试指标，对这些指标进行评价后给出通过或者未通过测试的结论。针对基于固定阈值的监测算法，测试流程如下：参评对象接受所提供的阈值参考标准和指定数目测试题目，每道题目包含一条测试样本，不同题目的数据来自不同设备或工况；参评对象对每一笔测试样本进行判断；评测机构将参评对象对每道测试题目的判断结果与标准答案进行比对，计算指标；一根据10.2.1中的合格线对参评对象进行通过与否的判定。针对基于相对阈值的监测算法，标准数据和测试样本应一一对应，测试流程如下：参评对象接受所提供的指定数目测试题目，每道题R包含来自同一设备和同一工况的标准数据和测试样本；参评对象提供一套训练模块，该模块使用测试题目中的标准数据训练模型，然后使用训练好的模型对同一题目中的测试样本进行判断；一评测机构将参评对象对每道测试题目的判断结果与标准答案进行比对，计算指标；根据10.2.1中的合格线对参评对象进行通过与否的判定。9.1.3测试结果根据测试结果选择重新测试或出具测评报告，测评报告格式见附录C。9.2故障诊断算法测试9.2.1 激试数据要求对于专家系统算法和机器学习算法的测试采用如下的基于数据库形成的训练样本集和测试样本集。训练样本集：从数据库中选取带有标签数据的正常状态与故障状态的数据形成训练样本集。一测试样本集：从数据库中抽取一组或多组数据，每组数据包含所有类别状态样本，供被测试算法进行分析。对于未训练的算法，需先基于训练样本集进行训练，然后利用测试样本集进行测试。对于已训练好的算法，可直接基于测试样本集进行测试。9.22测试方法9.221专家系统算法针对某一待测算法，依照测评流程开展算法测评。首先输入测试样本，根据专家系统算法输出结果按照8.2.2算法指标计算专家系统算法有/无故障识别准确率及故障类别识别准确率；对于输出置信度的专家系统算法，可进一步进行置信度平均值测试。9.222机器学习算法针对某一待测算法，依照测评流程开展算法测评。利用9.2.1中生成的样本集，通过8.2.3算法指标计算得到故障诊断准确率、精确率、召回率等结果。9.23测试结果根据测试结果选择重新测试或出具测评报告，测评报告格式见附录C。9.3预测算法测试9.3.1 测试数据要求9.at基本要求基于测试需求和测试难度的区别，预测算法测试分为初级测试和高级测试。预测数据样本的基本要求对应初级测试，数据集中仅包含一种失效模式及一种或多种失效因素，测试集与训练集样本类型相同，数据的选取应排除事件干扰。基本要求如下。数据类型：任何能反映待预测对象运行工况、健康衰退程度的物理量。数据采集率：任何足够反映待预测对象工况变化、健康程度衰退变化，且远小于待预测对象衰退周期的采样率。机械变量满足奈奎斯特定律，电气变量、工艺变量满足监测报警要求。一数据长度：训练数据应包含从正常运行到失效的全生命时间序列数据，测试样本宜是某个健康状态的运行片段时间序列数据。一样本数量：训练数据应包含至少一条全生命周期数据，原则上越多全生命周期的数据越有利于测试评价的客观性。运行工况：在待预测对象运行的全寿命周期过程中，包含多种运行状态，这种运行状态宜在与对象的运行状态相关的变量中体现，包括但不限于运行负载、速度、位置、振动、温度、压力、流量等，且这种工况变化既可连续动态的，也可是离散的。失效/故障模式：包含待预测对象种失效模式，导致待预测对象失效的因素应包含，种或多于一种，这些因素可在同一条全生命周期样本中不同时段、或同一时段组合存在，也可分别在不同的样本中存在。训练样本集：具备多种工况变化组合/动态工况变化的单一故障模式的全生命周期数据多条。测试样本集：多个处于生命周期各个阶段的片段数据，考察算法在不同生命周期预测的能力。9.3.1.2扩展要求预测数据样本的扩展要求对应高级测试，数据类型、数据采集率、数据长度、样本数量以及运行工况与基本要求相同。数据集中包含多种失效模式及一种或多种失效因素，测试集包含训练集中不存在的故障模式。扩展要求如下。一失效/故障模式：包含待预测对象多种失效模式，导致待预测对象失效的因素应包含一种或多于一种，这些因素可在同一条全生命周期样本中不同时段、或同一时段组合存在，也可分别在不同的样本中存在；不同失效模式之间的关系既可互相独立，也可互相耦合。训练样本集：应具备多种工况变化组合/动态工况变化的多种故隙模式的全生命周期数据多条，每条全生命周期数据具备单类故障模式。测试样本集：多个处于生命周期各个阶段的片段数据，考察算法在不同生命周期预测的能力；故障模式与训练样本既有相同的，也有不同的，每类样本的故障模式既可独立存在，也可叠加共存，且测试样本宜包含在训练样本集中不存在的故障模式。9.3.2 测试方法9.3.2.1 测试准备预测算法测试需根据数据要求准备训练样本集和测试样本集，具体如表1。«1预刑算法训练样本集和测试样本集类型初级测试高级测试训练样本集具备多种工况变化组合/动态工况变化的单一故障模式的全生命周期数据多条具备多种工况变化组合/动态工况变化的多种故障模式的全生命周期数据多条，每条全生命周期数据具备单类故障模式测试样本集生命周期片段数据，这些片段最好处于生命周期的各个阶段，考察算法在不同生命周期预测的能力。故障模式与训练样本相同生命周期片段数据，这些片段最好处于生命周期的各个阶段，考察算法在不同生命周期预测的能力。故障模式与训练样本既有相同的，也有不同的，每类样本的故障模式既有独立存在的，也有费加共存的。测试样本所包含的故障模式有训练样本中不存在的故障模式9.3.22测试流程预测算法测试流程如图2。其中初级样本集包含初级训练数据与初级测试样本；高级样本集包含高级训练数据与高级测试样本。图2预测算法测试流程9.3.3 测试结果根据测试结果选择重新测试或出具测评报告，测评报告格式见附录C。10算法评价要求10.1 状态监测算法评价要求状态监测算法定量测试结果评价为与合格线和优秀线进行对比。合格线为判断算法是否通过测试的基准。合格线为状态判别准确率大于80乳且异常状态漏报率小于40%。优秀线为判断算法性能优劣的基准。优秀线为状态判别准确率大于90%,且异常状态漏报率小于10%。10.2 故障诊断算法评价要求故障诊断算法定量测试结果评价为与合格线进行对比，合格线为判断算法是否通过测试的基准。专家系统算法的故障识别准确率合格指标为大于80%,故障类别识别准确率的合格指标为大于60%;机器学习算法的准确率、精确率、召回率合格指标为大于70%,且宏平均、微平均都应满足精确率、召回率的合格指标要求。10.3 预测算法评价要求预测算法定量测试结果评价为与合格线进行对比，合格线为判断算法是否通过测试的基准，预测准确率合格线为60%,通过后计算MAE、RMSE.R2、SPE,见附录D。10.4 评价说明评价说明中应包括算法是否通过的结论以及算法测试过程的详细描述，包括：测试环境搭建、样本集、测试指标、测试方法等。宜包括对算法能力的补充说明，补充说明需要包含下列能力，并在测试报告中进行体现。一泛化能力。参考测试指标对算法泛化能力的说明，通常包括算法工况适应性、算法场景适用性等。优化能力。基于测试方案、测试指标等对算法自优化能力的说明，通常描述为算法是否具有自优化能力。易用能力。基于测试方案、部署难易程度等对算法易用性的说明，通常描述为算法是否已部署。11漏试数据要求11.1 一般要求数据库是算法测试的基础，可支撑算法测试流程中的数据库更新、数据抽样等环节。数据库的建设及系统应满足附录E的相关要求。11.2 数据入库要求11.2.1 格式与内容要求数据库格式和字段名称应按照表E.1数据项及相关要求进行命名，并保持严格统一，数据内容应与实际采集的数据保持一致。11.22校核要求入库前，应依据附录E中数据质量要求对数据进行校核，对于数据不完整的、数据质量不高的数据，应进行明确标记，可修改后重新上传；对于缺项严重的数据，应及时进行纠正，在满足质量要求后方可进入数据库。11.2.3费据转换入库数据应根据数据库要求进行致性转换，主要包括数据格式转换等。11.24ftS数据入库应根据所选择的数据组织方式进行。数据入库可选用手动添加或程序批量入库。数据入库完成后应记录数据入库日志。11.2.5数据入库后检查数据入库后检查的内容包括：数据是否存放在规定的数据表中、入库后数据是否完整、入库数据是否一致、数据是否重复入库、数据拼接是否无缝和入库参数是否正确等。附录A(资料性)信号处理算法测试指标A.1波形质量评价指标波形质量评价指标可用波形信噪比和波形相似度进行测试。波形信噪比的计算见式(A.1)。SR-IGlg"inn-<>s式中：SNR波形信噪比；i第i个样本；N总样本数；T基准信号，指不含噪声的原始信号，可通过计算机软件对解析函数进行离散采样来生成;T,一一算法处理后的信号，在基准信号中加入一定能量的随机噪声后生成。波形相似度的计算见式(A.2)。X【丁(A.2)7r11n三(o式中：C：波形相似度：i第i个样本；N总样本数；T一一基准信号，指不含噪声的原始信号，可通过计算机软件对解析函数进行离散采样来生成；T,算法处理后的信号，在基准信号中加入一定能量的随机噪声后生成。A.2频谱质量评价指标频谱质量评价指标可用频谱信噪比、特征频率信噪比和频谱相似度进行测试。频谱信噪比的计算见式(A.3)。FcnFSNR=IOlg(A3)F-式中：FSNR频谱信噪比；i第i个样本；N一一总样本数；F一基准信号频谱；E一算法处理后的信号频谱。特征频率信噪比的计算见式(A4)°1(A.4)式中：CSNR特征频率信噪比；i第i个样本；N总样本数；F一基准信号频谱；F,算法处理后的信号频谱；Ar算法处理后信号频谱中特征频率的幅值。频谱相似度的计算见式(A.5)。(F(i)Fr()(A.5)式中：cr频谱相似度；i第i个样本；N总样本数；F基准信号频谱；F,算法处理后的信号频谱。A3时频分布质量评价指标时频分布质量评价指标可用时频聚集性和时频相似度进行测试。时频聚集性的计算见式(A.6)。PPTF,()|山"CM-J，丫(A6)广TFM式中：CM时频聚集性；TF,算法处理后的时频分布。时频相似度的计算见式(A.7)。且行于，I(.1.)1J(2<fi(A7f"-11T,+TF!+(l1.)1kl÷<rJ+(,1.),l式中：Cr时频相似度：TF基准信号时频分布；TF,算法处理后的时频分布;TF和TF,的协方差；oTF的方差：,TF,的方差；1.时频分布的最大灰度；k1远小于1的常系数：k2远小于1的常系数。A.4计算复杂度评价指标除了信号处理质量，计算复杂度也是信号处理算法的重要评价指标。计算复杂度见式(A.8)。CR=，(48)式中：CR计算复杂度；T待评测算法进行信号处理所需要的计算时间；T、基于标准傅里叶变换算法进行信号处理所需要的计算时间。附录B(资料性)预测算法测试补充指标B.1均方误差均方误差定义为实际剩余使用寿命与预测剩余使用寿命之差的平方和，见式(B.1)。MS