2024人工智能 服务能力成熟度评估.docx
《2024人工智能 服务能力成熟度评估.docx》由会员分享,可在线阅读,更多相关《2024人工智能 服务能力成熟度评估.docx(22页珍藏版)》请在课桌文档上搜索。
1、人工智能服务能力成熟度评估前SII1范围12规范性引用文件13术语和定义14缩略语15概述15.1 服务能力成熟度评估模型25.2 服务能力框架25.3 成熟度等级36评估指标56.1 A1.基础服务能力56.2 A1.业务服务能力67成熟度模型评分77.1 A1.基础服务能力77.2 A1.业务服务能力12冏录A人工智能服务能力成熟度评估1葩围本文件提出了人工智使服务能力成熟度评估模型,规定了成熟度等级、使力框架、评估指标和评估方法.本文件适用于对服务提供商提供的人工智能服务能力的成熟度评估,以及服务能力成熟度模型中某项能力主域、能力子域的通项评估.2规范性引用文件下列文件中的内容通过文中的
2、规范性引用而构成本文件必不可少的条款.其中.注H期的引用文件.仅该H期时应的版本适用于本文件:不注I1.期的引用文件,其G新版本(包括所有的修改单)适用于本文件。G1.VT41867-2022信息技术人工智能术语3术语和定义GB/T41867-2022界定的以及下列术语和定义适用于本文件。3.1能力子I页CaPabi1.itysub-item能力子域中构成成熟度的若干特性指标单项。3.2能力子项权承factorofcaabiIitysub-item对应能力子项在所述旎力子域评估中的权重因子.3.3服务可用性serviceavai1.abi1.ity服务客户发起服务请求后极务可访问的时间占总服务
3、时间的比例.注i可用性的计算是在系列预定义的时间段中,限务可用时间之和占预定义时间段之和的比例.即柞除允许的收务不可用时间.4缩略语AI:人工智能(Artificia1.Inte1.1.igence)5概述5.1服务镜力成熟度评估模型服务能力成熟度评估模型见图1,包括能力框架、评估指标体系和成蚣度等级.f能力根柒Mi指标体系(成熟度等级优秀拨检他爆发收嫌起的爆卓雄火IiI1人工智能股务能力成熟度评估模型能力框架由多个能力主城组成,邮个能力主域代表成熟度等被评估中主要的筑域划分,由组相关的健力子域组成.每个能力子域代表该使力主城中构成成熟度水平的若干技术能力领域,由TI相关的能力子项组成,评估指
4、标体系由三级指标构成,分别与能力主域、能力子域和能力子项时应,越个能力子项代衣该能力子域构成成熟度的若干特性指标.在扶得各项特性指标数据后综合计W狭褥某一成熟度等s.成熟度等级是从基础服务旎力、业务眼务能力等方面对人工智能极务能力的分级评估结果.5.2 服务能力框架人工智使用务使力框架应分为AI基础服务能力、A1.业务服务使力.各能力主域的能力干城和能力千按照衡收相关能力所需的技术水平、系统性能、可扩展性、安全性等维度诳行规定,其框架见表1,表1人工智能服务能力框架能力主域能力于域能力子项A1.整砒眼务能力存站数据管理多样性分布式可拓展其他itn数据计算型擀效率8;定性可扩展性灵活性能力主域傥
5、力干域健力子项统计览控数幅结构化处理与决抽桁定性可用性时收性可曾祥性可扩展性机学习全生存周期训练性能兼容性灵活性9Jf1.tt算法件安全与他私协议安全致M磔私和就法安全i据加率网络隔离权以管理和整权行为审计恢SI2份A1.业务服务能力智能用音陪在山别if1.音介成声效识掰自然i)理解词法句法分析信息抽取倡息检索谓义推理情形分析知以图谱智能对话MW知IR型问答任务导向对话情aw话后发式对话多模态对话招能图像视频分析识别饯力理就使力业务拓展性取务检定性5.3成熟度等级5.3 1成熟度等级划分及判定人工智能服务能力成熟度等级分为5级:起始级、发展级、稳健级、优秀级、卓越级,并用(一、(-.(三).(
6、四)、五表示.如图2.图2人工智能服务能力成熟度等级每个成熟度等级表明人工智能服务使力所达到的成熟度水平.人工智使眼务能力的改进和成熟度提升是通过渐进的方式来实现的,较高的成熟度等级涵萩了低于其成熟度等级的全部要求,人工智能服务能力、某项旎力主城、能力子域成熟度分级评分见表2,根据褥到的相应的成熟度得分,对照相应的服务能力成熟度评饭:袁2人工智能朋务能力成熟度分级参考规则等线特征起始统IW得分V1.5人工押能邛门徒第提供坛本的人匚智能服务.AI基岫服务能力域的评分流足M帐的要求,AI业务限务能力域的评分满足i蛙的要求.发联微1.5m分V2.5人匚网能平台傥好提供可拓联的人工W饯服务.AIAH8
7、暇务能力域的评分满足中呼的要求,A1.业务服务能力域的评分满足域低的要求。粒健级25至得分、模型部若、模型管理、应用发布等全生存周期过程的能力:b)训练性能:支拽具备高性能的运免能力:c)兼容性:兼容其他训练模型代码的能力,包括主流的API和训练模型代码等:NOdaj3、CO等语言。5中:支持2种或以上的存储系统以及2种或以上语言SI)K.3文持1种存俅系统及1种特定ifi;TSDK-1分布式可拓展ffi:支挣分布式架构的维样系统系统他!的H方便增“威疗减少服务器1,点个数以应对业务负代的变化,井旦这样的操作是自动化的,M少运旌负担.5中:支持分布式架构的集群系统.但无法白动I小JtR好业务负
8、找得整版务器介散.送堆成本适中,3tt:不支后分布式架构的集群系统.服务器1,点变化对于用户影哂杖大.运维成本较i,I其他高:提供安全高效的存储服务,自动故障迂移与负i衢.共备底哙货源双可用区妇心数据丸致保证;票统给M户提供简单易怖的蚱和接口,方便用户使用.5中:支持安全的存储服务,对IR务各故障可以快速响应.3t1.对叔务战故Ki1.花收政想,无法提供安全描效的存储服务.注:以上能力未达到处低评分要求成不na核能力项功能的应评为o分。7.1.2 计算计Vf能力子域的能力子项成熟度评估分值见表4.表4计算能力子项成热度评估分值(1T分)能力子项评估描述分值数据i1.灯府:支持堪广云计N喘Itt
9、化技术的统大赛根分布式计算的刻用平台I丈Q批地计算.流式计篮、闻ii?和机JS学习if用笠复杂任务:支持大规模机涔学习平台和异构深度学习平台.5中:支持版横分布式计算的通用平台:支持批设计减式计算.图计算和机台学习计算等爱杂任务.3饪:不具备大规模的数掂计力能力无法支持杂发依淘的数据计任务.1第讲效率ifiif危前小席效的提供大赛模奥海的部署,调收,扩展和管理腹务.5.能较高效的提供较大规模象群的然黑.同度,炉展和管理服务.但便捷性仃限。3tt:能提供初步规模集群的出署、调度.扩展和管理服务,便庆性较低.1稔定性高,具答底层费源双可用区支镇,保证故城力动恢虹、快速迂移,提供724f1.i可用服
10、务。5中:保证修分故障健彩自动恢熨和迂移,提供7x24小时基OIH务.3tt.无法保证故障健第自动假女和迁移.不能提供7x24小时收分.1可犷展性高:支持低时证(如杪缎水平)扩容,提供谕油的JS定义扩展接口,用户可以从较假计规模扩联到较大规校而运行应用程序的方式并不会因此变犯复杂-5中:支持较低时延(多于秒级水平)扩容,提供犷履接口.3饪:犷容时延牧大,不餐供犷展接口.1灵活性ifii:能电IWK业务变化和负或倩况,对计材资源进行舛性仲缩,保i计篥性能:提供便决招用的自动化工具,支持多种常用枢JCHMcb控制台、Ap1.和SDK等.5中:能蜉根据业务变化和领较俯况之一对it算负源进行再整:提供
11、自动化工具.丈拈部分常用枢架和Neb控制台、API和Swi等.3低:不能完仝根掀业务变化和负我情况对计切资淑进行苗郎:及行自动化工具只支持个别常用框架、加SM台、AP1.或SM1.1统it监拄高:健筋策化整体数据流的政粼吸收情况,实时统计各模训的敝据延退和收发状态.提供数据港全链路监挖,在数据异常和服分异常时能根据斓则岫发报警.5中:健舔聚化蔺分数据流的数班货情况.能舔统计各模块的敝据值退和收发状态.提供数据流能分链路监控,在数据弁常和忸分异常出现之一时可以Ii发推警,3钺:无法充怦值化数据流的故据册况.没仃完善统计各模块的数据延迟和收发状态,提供数据流少Irt俵路的筮拄,只物极个别效据异常和
12、取分异常时在报警机制,1注I以上徒力未达到城低评分要求或不用芾该徒力项功修的应评为。分.7.1.3 数据结构化处理与决策数据结构化处理与决策的能力子项成熟度评估分值应符合友5的规定.表5智能数据处理与决策能力子项成熟度评估分值(1-5分)能力干项评Vf描述分的稔定性fii:系统能克至管理且容妙配贸:计对赚声污柒.对抗故掂攻击等俯影所提供的数据智能分析业务也定,输出结果一致.5中:基本可管理,配置W一定难发,仅能针对喋,M污型提佻右尔的业务桧定性.3fit.完全不可管理.ft!HM4.所提佻的数据智能分析业务仅能在较为理划的条件下提供业务,扰功下输出结果可能不一致.1可用性Ait代作提供高准碇率
13、(大于等于蝌)、虹错误率(小于等于5).t(XTT95).高特异性5)的分类精度:决策科学合理可行性很高,埸于接受;支拈用户在数据处理与决策的全过程中实时交互,同时系统可为标(,工用户建立自近血的协同模型;牧务可在不但停用务的同时开暇完全的系统维护和算法,模型等模块更籍.5中r能笏提供较高准确本(大于等于80&小于95%)、较低错误率(大于S小ff20*).较岛灵敏收(大于等于80.小于95、),较高特异性(大于净于80%,小于95%)的分类精底,筋误分类可使降能生产力;决策基本合理、可行,可以接受,在大部分环节中(大于6CR.小于K1.g)支持用户在效榭处理与决策中与系统交互.系统可为群分用
14、户建立Hifi应的协同核型:梯过50W!低TIMft的东统推护和*法、模型等模块更新操作时,无能桁蜉服务.3低I仅能提供较高准胞率(大于等于96,小于9淤),但可能出现灵收小于8ff)或将井性较低情形(小于8%).影响用户时分类结果的使用决策不含理.不可行,无效,无法接受:仅在较少环节(小干2)V支持用户在数据处理与决策中与系统交H.系统不支持为用户珑立自适应协同埃格:系统维护和N法、根型等模块见斜时甯智件服务.1时效性R):快速反应.在一定的时间假州和耍求内能移快速处理并给出结果.井感知变化,如果方案已绘过时,可根据新的怙况及时作出用整,5中:及时反应.在一定的时间以利和要求内能够及时处理井
15、给出结果.保持实惚期间的粗时自定性,3低:廷咫反应.在:处理和决策时拖延时间.决策的效敌低.甚至会因何BS的件版发生极本变化,而使决策无效.I可解抑性:教需处理流程和分析结果具fi完全的可解择性和可依测性.处理和决策过程可理解,业务可削界性高,可呈现为供有资质第二方中式的文本(超过90、),不存在取生,5能力子项评估描述分值中:数推处理施程存在无法自纠的随机分支.处理和袂策过程可韭本理解.业务可从本州仔.决施模型方法基本可解仟说明(Ji1.5Cr).怛更飘同架域共他数舞集时,90、以上分析结果可仗测.3低:数据处理流程可解界性整,处理和决策过程珞理忸,业务无法用转,决策行为俄碓甚至无法解彝说明
16、(低jfg).ni,Wtt高:面向一个领域的服务易于迂移至另一业务领域,同时使练踪合多种智能处理和决策方法,可处理多个场段的如识,并做出有败决策.S中:仅能针对某生共性领域开展也定可SS的眼务,通用某些场景的如IH处理tt-对某些特定的问期可做出有效决策.3低:仅计对某一特定籁域提供服务或只适用于用个特定场家.1注:以上能力未达到以低评分要求或不具备该能力项功能的砂0分.7.14机器学习机器学习支撑能力子域的能力子项成熟度评估分值见表6。表6机器学习集群能力子项成熟度评估分值(1-5分)能力子项评估播述分竹全生存冏期麻:支持包含数据框架(采型、啼透.ffi标注、标注、验物等).特怔探索、怏型开
17、发(训练、评伯和预测)、模鞭部署.横?a管感.应Jf1.发布等全生存周期过粗.5中:支持以上所述则或以上的生命周期过程3只支持以上所述5九或以上的生命周期过程.1VWttftti丽支持超蒲性能GPU运算(例1)IDIATes1.aK80).区箸支椅牧海内在以上的值机运算能力;支持数据并行和模型并行、值机算卡和多机多卡的分布式训族;同时A备CP1.H务器Jfte1.虚拟机集群计算能力.5中:支持校高性能W1.运算具备支持普通内存以1:的冷机爆电能力:麻分支持数期并行和根取并行.电机多卡和多机多卡的分布式讽域I部分具稿CroJK务器集群、拟机泵杵计能力.3tt:不支持卜性能MU运算能力,只有筒值的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2024人工智能 服务能力成熟度评估 2024 人工智能 服务 能力 成熟度 评估
链接地址:https://www.desk33.com/p-1633240.html