《能源监管服务数字化平台 通用数据治理规范》征.docx

ICS35.24050CCS1.70B14山西省地方标准DB14TXXXXXXXX能源监管服务数字化平台通用数据治理规范Digita1.p1.atformforenergyregu1.atoryservices-Genera1.datagovernancespecification（征求意见稿）XXXX-XX-XX实施XXXX-XX-XX发布山西省市场监督管理局发布目次前*111范国32燃慈性引用文件33术语和定义34缩略语45能源平台辿用数据资产管理46能源平台通用数据治理流程47能源平台通用数据治理要求5本文件按照（；B/T1.1-2020E标准化工作导则第1部分：标准化文件的结构和起草规则;，的规定起草。本文件由山西省能源局提出、料织实瓶和监W检查，山西省市场监督管理局对标准的组织实施情况进行监野检查.本文件由山西省能源标准化技术委员会归11.木文件起草单位：山西大数据产业发展有限公司、精英数智科技股份有限公司、山西省能源发展中心、山西阳光三极科技股份有限公司、华为技术有限公司、山西潞安环保能源开发股价有限公司.本文件主要起草人：刘耀宏、侯宇辉'孙字形、王瑞、邵国荣、孙洁、王晓宇、赵芮、苏玉财、龚大立、李晓方、杨杰、幸雨东、高雪洪、张永森.能源监管服务数字化平台通用数据治理规范1葩困本文件制定了能源监管服务数字化平台的通用数据治理流程和相关的要求规范。本文件适用于旎源监管微务数字化平台中能源数据的治理工作.2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.其中.注日期的引用文件.仅该日期对应的版本适用于本文件：不注日期的引用文件,其最新版本（包括所有的修改单适用于本文件。GB/T35295-2017信息技术大数据术语GB/T34960.52018信息技术服芬治理第5部分：数据治理规范GH/T22239-2019信息安全技术网络安全等徼保护基本要求GB/T23331-2020能源管理体系要求及使用指南DB1.4/T2937-2023能源监管服务数字化平台数据共享交换要求DB14/T29382023能源监管服务数字化平台数据支撑技术要求DB14/T293r2023能源监管服务数字化平台数据采集要求DB14/T2940-2023能源监管服务数字化平台数据发布规范3术语和定义下列术语和定义适用于木文件。3. 1大数掂bigdata具有体届巨大、来源多样、生成极快且多变等特征,并威少碓以用传统数据体系结构有效处理的包含大法数据集的数据，3.2元数据metadata定义和描述其它数据的数据.3. 3数据域datafie1.d按照特定层次、功旎划分对数据资产按照业务领域进行数据分类.4. 4数据标注datastandard定义数据含义和业务规则，确保流转数据的一致性.5. 5数据资产dataasset组织拥有和控制的、能鲂产生效益的数据资源,6. 6数据入湖dataintothe1.ake将数据源系统中的原始数据采集到数据治理的存储库中，即数据湖中。4缩略语下列缩略语Jfi用于本标准。MQ：消息队列(MessageQueue)RESTFU1.：网络应用程序的设计风格和开发方式(Representationa1.StateTransfer)HTTP：超文本传输怖议(HyperTextTransferProtoco1.)HTTPS：超文本传输安全协议(HyperTextTransferProtoco1.overSecureSocket1.ayer)5能源监管股务数字化平台通用数娓治理流程通用数据治理规范致力于全面推进实施能源企业哲能化数据治理，解决能源领域各单位数字化建设过程中面临的各种数据问题,包括数据孤岛、数据口径不规范及蹈应用、涔单位共享难的问遨.对能源数据实能科学治理，避免能源领域各单位在数字化建设中各自为政、取且投入,实现能海领域各用位在安全、生产、经营、管理和工业视频数据等方面的互联互通和共享应用，数据治理的范防应楫曲数据入湖、数据标准化、数据处理、数据存储、数据共享环节。通过实施数据治理，建立能源数据资产库及能源数据治理标准,提供面向能源行业的定制化数据治理服务,支掠能源赛管服务数字化建设.数据治理工作应由以下五部分组成：a)数据入湖工作：包括入湖交互机制、入湖数据项、入湖方式；b)数据标准化工作：包括标准化步骤、标准化方式：c)数据处理工作：包括处理步骤,处理方式：d)数据存储工作：包括数据统一存储机制、存储策略、存储方式：e)数据共享工作：包括共享交互机制、共享数据项、共享方式。数据治理平台上游为数据采集平台，卜.游为业务应用系统.数据治理将数据采集平台采集到的多源多模态数据通过数据入湖统存饰到数据治理平f3对存储的数据进行数据标准化：对标准化后数据进行高阶处理分析：建立统的共享发布机制，向下游业务应用系统共享数据资产，井将下游产生的业务故据进一步入湖，并提供标准化、处理、共享等数据服务，形成数据治理闭环。6能源平台通用数据资产管理6.1 数据分类对通过数据采集平台采集到的能就企业各类感知数据、经营管理数据以及人工智能系统等业务应用的数据.构建能源数据资源目录，通过层次化的数据域设计及管理模式,实现数据治埋全流程的数据资产统一管理。数据资源目录应为入湖数据项进行详尽的规划，各级目录要求如下；a)一级数据目录：资源目录的最高层级，应对能源企业入湖数据按照安全生产等业务领域划分成不同的数据域：b)二级数据目录：应为能源企业数据域下互不Ift段的数据分类，管理关系密切的业务对象：c)三级数据目录：应为描述能源企业业务领域中承栽业务运作与管理的业务对象，应定义明确的数据范用.6.2 元数据管理元数据管理应双盖元数据的创建、存储、整合、控制一整食流程，应明确表达数据本身含义以及数据上下游关系,应能通过无数据准确定位数据资产,具体应支持如下数据：a）元数据创建过程应从数据入湖开始进行管理,数据源可为结构化数据、半结构化数据、非结构化数据；b）元数据的存储应统一到数据湖，并以入湖、标准化、数据处理、数据共享进行分类存储.统一管理：c）应通过数据资产统整合元数掘,以不同主施域进行元数据划分，清新展示元数据的上下游关系，且能精确我询到各个阶段元数据的基础信息.6.3 数据治理标准管理应建立通用的能源数据治理标准能源数据治埋标准设计应符合如下要求：a）兼容己有的国家标准、行业标准、地方标准，应符合实际、应可执行；b）从能源安全域、人员域、工业税领域等数据域下的业务含义与标准表中数据字段含义进行关联设计：C）清晰定义数据字段名称、字段含义、数据格式、单位、数据类型等内容，应符合数据字段含义、字段命名和数据使用的一致性原则，不允许存在“同名异义”或“同义异名”；（1）及时更新维护。7能源监管服务数字化平台通用数据治理工作要求7.1 数据入湖工作要求数据入湖是对结构化、半结构化和非结构化数据的逻辑汇聚.数据入湖应符合不同行业领域时数据入湖方式的要求，且应涵足如下原则：a）逻辑统一：根据数据类型、行业领域等统筹规划物理存储位置，并通过统一的元数据规则进行定义和管理：b）类型多样：数据湖可存放不同类型的数据，如结构化、半结构化和非结构化数据或者实时数据和非实时数据：O原始记录：数据淘是对原始数据的汇聚，除在某些特殊场景卜的觇频数据外，其余数据建议保持原始特征,为后续数据加工和消费提供更多方便.此外，针对不同类型数据应根据其特点，支持批限集成入湖、数据史制同步入湖、消息集成入湖、流集成入湖及数据虚拟化入湖。7.2 数据标准化工作要求数掘标准化过程要求对入湖存储的数据依据数据治理标准进行标准化处埋.通过标准化计震后保证数据顺眼规范性，便于数据共享消费服务，应包括以下治理步骤；a）数据拆分：按照拆分爱辑，数据量埴加但拆分出来的数据给构一致：b）数据分发：按照分发规则将数据分发到不同表,数据技不变：c）数我补充：外部数据关联计匏，数据发不变：d）数据验证：数据是否为空、正则校验（字符申长度验证、字符类型验证）、枚举校验（范围；C）数据咕换：单位转换、类型转换。7.3 数据存储工作要求能源企业的数据来源包括OT数据和IT数据,OT数据指来源于操作层面相关技术的数据，例如来自P1.C、SCADA,传感器等技术的数据：11数据指信息技术相关数据.比如企业经苕管理类数据及其它业务应用系统数据.在数掘治埋过程中，应充分考虑OT数据和IT数据产生机制的差异性，从巩活响应业务应用“求的角度设计存储策略,应满足以下场景及要求：a）应根据上游数据的变化频率和下源数据的实时性要求媒合考虑墙吊:数据的同步频率，同时增附数据应设数据的分区逻辑和数据存储时长,分区可以有效的提升数据的访问速度,数据存谛时长可以避免酒信增信数据导致的存储不足情况：b）应根据数据的特性设置合理的分区字段，如人员釉准定位相关数据应以人员为分区字段而不是时间为分区字段,有效避免交询人员定位数据引起跨分区扫描：如实时报警数据数据则应以时间为分区字段,查询的时候只需扫描对应数楙时间的分区即可：C）应根据数据类型设置合埋的存储时间.如重大设备数据的产生猱率较高、数据量也较大、但历史数据具f较强的参考意义，应需要按照月存储级别或者年存储级别进行存储；d）应计时存储时间较长但对历史数据访问频率较低的数据提供归档眼务，自动将超过设定存储时长的数据进行归档,降低磁盘的使用率：e）应针对访问猱繁度不同的数据提供冷热存储方案，如时帝物繁访问的人数据“动调整到内存或者快速读写的睡盘中，提供快速的数据访问服务；将访问频率较低的数据调整到正常读写的磁盘中，并能支持冷热数据的自动调整；f）应满足结构化、半结构化、非结构化业务数据的存谛要求.存谛整体应采用对象存储或者文件存储方式,如人员基础信息结构化数据的存储、了压矿熊类半结构化数据的存谛、视频和图片类非结构化数据的存偌；X）应酒足上层业务应用系统对数据的使用需求，提供不同的存储方式，如面向常见的业务系统，宜采用结构化行式存储便于业务应用的快速访问,如面向数据分析、数据统计等业务场景.宜果用列式存储，便于对数掘间的快速计算：h）对Hi要数据应提供分布式存储系统，在部分跑盘损坏或者故障的情况下能保证数据不无失，1.11时在数据存储不均匀的情况卜能进行自动平衡，以保证最大程度的利用存储资源，7.4 数据处理工作要求数据处理应支持射结构化数据、半结构化、非结构数据进行处理，实现狼于复杂业务逻辑的数据指标计算,至少应：a）支持通过SQ1.的形式对结构化的数据进行不限于过池、聚合、窗口等形式的处理：b）支持将半结构化的数据按照业务需求转换为结构化数据：c）支持对结构化和半结构化的数据进行数据拆分、数据路由等操作：d）支持时非结构化数据，如视频和图片数据进行格式转换等操作。结构化数据处理应至少支抄通过图形化操作处理和SQ1.窗11处理两种方式.结构化数据图形化处理应降低使用成本，通过自由组合和选择计算函数完成业务场景:下的数据处理.结构化数掘SQ1.处理应满足业务计算逻卷较为更杂多变的场景，应能支持常见的大数据SQ1.语法，对上游数据复现处理运算。7.5 数据共享工作要求数据共享应支持通过接口发布和数据转发两种方式将治理平台的数据资产以服务的形式怆出给业务应用系统等其它数据消也方.详细情况可参考DBM/T2937-2023.