电力图计算系统技术要求 第1部分 总则.docx

《电力图计算系统技术要求 第1部分 总则.docx》由会员分享，可在线阅读，更多相关《电力图计算系统技术要求 第1部分 总则.docx（12页珍藏版）》请在课桌文档上搜索。

1、ICSCCST/CEC中国电力企业联合会团体标准T/CECXXXXX-XXXX电力图计算系统技术要求 （草案）第1部分总则TechnicalrequirementsforgridgraphcomputingsystemPart1GeneralXXXX -XX-XX 发布XXXX-XX-XX实施中国电力企业联合会前言II1范围12规范性引用文件13术语和定义14图计算系统概述14.1 图计算系统14.2 图数据模型25技术架构25.1架构图25.2 存储层35.3 计算层35.4 接口层45.5 工具层45. 6应用层46技术架构56. 1基本要求56.2 存储功能要求56.3 计算功能要求56

2、.4 工具功能要求67技术特性要求67.1 容灾能力要求67.2 兼容性要求67. 3可扩展性要求67.4 运维管理能力要求67.5 性能要求78应用能力要求7错误!未定义书签。错误!未定义书签。错误!未定义书签。8. 1图挖掘8.2图表示学习8. 3图深度学习8.4 电网拓扑分析78.5 电力系统计算方法79安全技术要求79. 1基本要求79.4 身份鉴别要求79.5 访问控制要求79.6 安全审计要求89.7 5数据安全要求8-XjL.刖三本文件按照GB/T1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。电力图计算系统技术要求分为4个部分：一一第1部分：总则；

3、第2部分：数据模型与交互；一一第3部分：系统评测；一一第4部分：查询与算法接口。本部分为电力图计算系统技术要求的第1部分。本文件由中国电力企业联合会提出。本文件由中国电力企业联合会电力先进计算标准化委员会(CECTC20)归口并解释。本文件起草单位：XXXX、XXXX、XXXX。本文件主要起草人：XXX、XXX、XXXo本文件为首次发布。本文件在执行过程中的意见或建议反馈至中国电力企业联合会标准化管理中心(北京市向广路二条一号，100761)O电力图计算系统技术要求第1部分总则1范围本文件规定了电力行业图计算系统的概述、技术架构、技术功能要求、技术特性要求、应用能力要求、安全技术要求等。本文件

4、适用于电力行业图计算系统的设计、研发、测试、评估等。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件,仅该日期对应的版本适应于本文件：不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T20273信息安全技术数据库管理系统安全技术要求GB/T35273信息安全技术个人信息安全规范GB/T37722信息技术大数据存储与处理系统功能要求3术语和定义下列术语和定义适用于本文件。3. 1图计算graphcomputing以“图论”为基础的对数据的一种“图”结构的抽象表达，以及在这种数据结构上的计算模式。来源：GB/T37722-

5、20193.2图计算一种应用图理论存储实体及其之间关系信息的非关系型数据库。来源：GB/T37722-20194图计算系统概述图计算适用于电网等大规模复杂网络系统分析与优化，已在千万级设备节点规模省级电网主配一体融合建模、拓扑分析、潮流计算中得到初步应用，是电力系统高性能分析优化的一种全新技术路线。在，电网一张图，的发展目标下，结合新型电力系统特性，图计算技术在全景电网拓扑构建与数据融合及分析、大规模电气计算和电力知识图谱三大应用场景中具有优势。4.1 图计算系统图计算系统是对图结构数据进行处理的系统，图计算系统会对图结构数据进行针对性优化高效计算。图计算系统应用图形理论存储实体之间的关系信息

6、，相对于传统关系型计算模式，它也更擅于处理网状的友杂关系。最常见的例子是社会网络中人与人之间的关系。图计算系统能够自然地表示和高效地查询数据的关系信息并且易于水平扩展。图计算系统的应用场景包括：社交网络（社区发现等）、实时推荐（好友推荐、资讯推荐、智能营销等）、安全防控（风险事件预警、可信判断、防虚假交易、反套现等）、知识图谱（娱乐知识图谱、商品知识图谱、失联信息修复等）。4.2 图数据模型图计算系统基于“图”的数据结构，利用图的特性来对数据进行存储管理，并对传统图的概念进行了扩展。图计算系统以有向属性图或以主谓宾的三元组的数据模型对数据进行表示，利用实体（即“顶点”）及实体之间的关系（即“边

7、”）来对各类业务场景进行抽象。图的数据模型具备如下特征：a）应由顶点和边构成，应使用顶点来表示实体，使用边来表示实体之间的关系。b）应使用顶点属性来表示实体的属性，以及实体元数据，比如时间戳、版本号等。c）应使用边的属性来表示实体之间关系的强度、权重或质量，以及关系的元数据，比如时间戳、版本号等。d）应使用边的方向来表示实体之间关系的语义，边的方向应有一个源顶点和一个目标顶点。e）宜使用主谓宾的三元组模式表达，是由从“主语”到“宾语”的一条有向边来表示，边上的标签用谓词表示。5技术架构5.1架构图图计算系统的硬件部署架构，可分为单机部署和分布式部署，以单机部署为例:a）内存宜采用大容量，不小于

8、64GB；b）硬盘容量宜不小于内存4倍，宜使用SSD硬盘；c）CPU处理器宜不小于16核；图计算系统的技术架构图，如下图所示：应用层工具层 接口层计算层存储层应用程序用户探作界面工具图形化查询工具数据导入导出工具I查询接口 II算法接口 I高可用服务引孽 I心跳监控器II配置监控器I I状态监控器I I统计管理器I图查询引擎I直询解析器II查询优化器I I查询必理器I I更新修理器I图分析引孽I基础图论更法一|I图优化算法 I图推理算法一 I图淙度学习数据加载引一I快速队列I I实时更新器I I块加载器I I批量更新器I图存储引擎分区管理器 I 分区 I I I分区图1图计算系统架构图a）图计

9、算系统可分为应用层、工具层、接口层、计算层和存储层。b）存储层应由图存储引擎构成，其中包括分片管理器和若干个存储数据的分片，实现图数据的存储功能。C）计算层宜由高可用服务引擎、图查询引擎、图分析引擎、数据加载引擎构成，实现图计算的高可用服务、图查询计算、数据加载、图分析等功能。d）接口层宜支持主流查询接口和主流算法接口，提供二次开发能力。e）工具层宜由用户操作界面、图形化查询工具和数据导入导出工具组成。f）应用层应基于图计算的计算层和存储层的功能，来提供上层应用，比如社交网络、安全风控、知识图谱等。5.2 存储层a）存储层用于基于分片来存储图数据，应包括若干个分片，和分片管理器。b）分片用于实

10、现图数据的分布式存储。c）分片管理器用于实现对分片的管理，功能应包括寻址、负载均衡、集群管理等。5.3 计算层5.3.1 概述计算层应提供图数据的加载、查询、处理、分析等功能，包括高可用服务引擎、图查询引擎、数据加载引擎、图分析引擎。5.3.2高可用服务引擎高可用服务引擎应提供图计算的高可用服务，可包括心跳监控器、配置监控器、状态监控器、统计管理器等功能组件。a）心跳监控器用于监控图计算系统的心跳，并进行自动容错恢复。b）配置监控器用于监控图计算系统的配置情况，及时发现系统配置上的问题。c）状态监控器用于监控图计算系统的运行状态，及时发现系统运行状态的异常。d）统计管理器用于统计图计算系统的性

11、能指标，并进行可视化展示。1.3.3 图查询引擎图查询引擎应提供图计算的查询、计算等功能，应包括查询解析器、查询优化器、查询处理器、更新处理器等功能组件。a）查询解析器用于解析接收到的查询指令。b）查询优化器，用于对查询活动进行执行计划的优化。c）查询处理器用于执行解析后的查询指令，根据不同的操作，调用不同的执行器。d）更新处理器用于执行对图数据的更新操作，包括新增、修改、删除等操作。1.3.4 数据加载引擎数据加载引擎应提供数据加载功能，应包括批量生成、增量加载、实时更新等方式，可包括快速队列、实时更新器、块加载器、批量更新器等功能组件。a）快速队列用于缓存流数据源的实时数据更新请求，调用相

12、应的实时更新器，来更新这些数据。b）实时更新器用于处理流数据源的实时数据更新。c）块加载器用于实现数据块的增量加载。d）批量更新器用于实现图数据的批量生成和更新。e）说明：数据加载引擎的实现可以不限于上述功能组件。5. 3.5图分析引擎图分析引擎应提供图指标、基础图论算法、图优化模块，宜提供图推理、图深度学习等模块。a）图指标模块负责计算指标，表征图的基本状态。b）基础图论算法模块负责执行基于经典图论的算法，包含路径计算和子图挖掘相关算法等。c）图优化模块使用图论算法进行组合优化。d）图推理模块提供支持知识图谱推理的能力。e）图深度学习模块提供支持图的特征抽取能力。5.4接口层接口层应提供主流

13、软件的查询接口和主流算法接口，提供面向应用的二次开发能力。a）查询接口用于与外部接口，接收来自于外部的查询指令。b）主流查询接口应适配具有较强生态开源框架的Gremlin、OPenCyPher或SPARQL等查询语言,接收来自于外部的查询指令，宜提供存储过程的过程式接口。c）主流算法接口应适配如Prege1、GAS等图算法迭代框架，接收来自于外部的算法命令。5.5工具层工具层应提供用户操作界面工具、图形化查询工具、数据导入导出工具。5.6应用层应用层应基于图计算的计算层、存储层、工具层的功能，来提供上层应用程序。6技术架构5.1 基本要求图计算系统宜符合GB/T37722-20196.5节“分

14、布式图计算”的要求。图计算系统应符合GB/T37722-20197.4节“图计算”的要求。5.2 存储功能要求图计算系统应具备如下的存储功能要求：a）宜具备图数据的分片存储功能；b）应基于有向属性图或以主谓宾的三元组的数据模型对图数据进行存储。c）应实现存储数据的一致性管理。5.3 计算功能要求6. 3.1高可用服务功能要求图计算系统应具备如下的高可用服务功能要求：a）应支持对系统心跳的监控，和自动容错恢复。b）宜支持对系统配置的监控，并及时发现系统配置上的问题。c）应支持对系统状态的监控，及时发现系统运行状态的异常。d）应支持对系统性能指标的统计，并进行可视化展示。e）宜支持系统动态伸缩、弹

15、性扩容等。7. 3.2图查询功能要求图计算系统应具备如下的图查询功能要求：a）应支持如下的功能操作：增删改查、连接、排序、聚合。b）应支持数值函数、字符函数、时间日期函数、类型转换、条件表达式、正则表达式、循环函数、聚合函数等多种函数。c）应支持添加新的操作符和自定义函数，来扩展图查询语言的功能。d）应支持对单个顶点和边，以及其属性的精准查询。e）应支持建立范围查询的索引。f）应支持对图查询结果的可视化展现。g）应支持单顶点、多顶点多层关系扩展查询，支持最短路径、最优路径遍历搜索。h）宜支持图上的子图匹配查询。i）宜支持主流图查询语言，如IGremlin、OPenCyPher和SPARQL等。

16、8. 3.3图分析功能要求图计算系统具备如下的图分析功能要求：a）应支持常用的图指标算法，如直径半径、三角计数、计算图的中心度等；应支持常用的路径计算算法，如单源最短路径、两点最短路径、全最短路径等；应支持常用的子图挖掘算法。b）应支持常用的图优化方式，如旅行商问题（TSP）、车队路径规划问题（VRP）、图着色等。c）宜支持实体关系推理、知识消歧等知识图谱推理方式。d）应支持节点嵌入、子图嵌入等图深度学习的特征抽取方式。e）宜支持主流图算法迭代框架，如GAS、PrCgel等。f）应支持分析结果的可视化展现，宜支持分析结果的分页展示。g）宜具备可扩展多种图切分模式和调度方法的能力，宜支持多图之间

17、的分析和访问。h）宜支持复杂图分析和图计算，宜支持分析算法的用户可介入的中断和恢复。6. 3.4数据加载功能要求图计算系统宜具备如下的数据加载功能要求：a）宜支持快速队列，对流数据源的实时数据更新请求进行缓存。b）可支持对来自流数据源的数据进行实时更新。c）宜支持对数据块的增量加载。d）宜支持对图数据的批量生成和更新。6.4工具功能要求图计算系统应具备如下的工具功能要求：a）应提供用户操作界面SheIl工具，用于接收用户的命令，并调用相应的应用程序。b）应提供图形化查询工具，便于用户对图计算系统进行可视化查询。c）应提供数据导入导出工具，便于用户对数据的导入导出操作。7技术特性要求7.1 容灾

18、能力要求图计算系统应具备如下的灾备能力要求：a）应具备在出现故障（比如服务器故障、硬盘故障、网络故障、关机、重启等）后系统进行自动容灾恢复的能力，包括数据备份和恢复、各组件的主备节点切换等。b）应基于去中心化设计，且具备多机房容灾能力。c）应具备多备份共同服务能力。7.2 兼容性要求图计算系统应具备如下的兼容性要求：a）应能在主流服务器和主流操作系统上正常运行。b）应支持多数据源的批量数据导入与更新。c）应支持异构硬件平台和不同的操作系统。7.3 可扩展性要求图计算系统应具备如下的可扩展性要求：a）应支持水平线性扩展，按需扩容缩容。b）应具备将接入图计算的计算压力进行平衡的能力。c）应支持在不

19、停止服务的情况下，进行功能扩容。d）应支持实时、增量、批量更新数据。7.4 运维管理能力要求图计算系统应具备如下的运维管理能力要求：a）应具备将数据分散地存储于多台独立的机器设备的分布式部署能力。b）应具备对系统运行的重要事件、异常事件、异常状态进行自动告警的能力，并对告警信息进行实时展示。c）应具备对系统的运行状态进行统计分析的能力。d）应具备对图计算系统资源进行分组配置的能力。e）应具备对全局范围内的图计算配置参数进行在线管理的能力。f）应具备在线状态下，进行组件升级和版本升级的能力。g）应具备对图计算系统的各类日志进行查看和处理的能力。h）应具备对数据进行导入和导出的能力。i）应具备对主

20、备系统之间保持数据同步，并保持强一致性的能力。7.5 性能要求图计算系统应具备如下的性能要求：a）查询延迟应在亳秒级。b）应支持对亿级的顶点和边的图存储、图查询和图计算。8应用能力要求8.1 电网拓扑分析未来电网图计算系统需要支持亿级电网设备节点涂抹醒的实时拓扑分析，满足历史、当前、未来多时态拓扑分析时间不超过1秒。8.2 电力系统计算方法未来电网图计算系统需要支持万级电网电气节点图模型的实时优化计算，省级交直流混联电网安全约束的机组组合优化时间不超过1200秒。9安全技术要求9.1 基本要求图计算系统应符合GB/T202732006的要求。9.2 身份鉴别要求图计算系统应具备如下的身份鉴别功

21、能要求：a）应具备对接入图计算系统的用户的身份鉴别功能。b）宜支持对同一用户采用两种或两种以上组合的鉴别技术（口令验证、邮箱验证、短信验证等）实现用户身份鉴别。9.3 访问控制要求图计算系统应具备如下的访问控制功能要求：a）应具备对接入图计算系统内的用户数据操作进行权限验证的功能。b）当会话空闲超过30分钟，系统应要求用户重新验证或重新激活会话。c）宜支持对不同用户进行细粒度访问控制，如子图、点、边、属性等。9.4 安全审计要求图计算系统应具备如下的安全审计功能要求：a）应具备对接入图计算系统内的用户数据操作进行日志记录和日志审计的功能。b）系统应保存用户的操作日志。9.5 数据安全要求图计算系统应具备如下的数据安全功能要求：a）应具备对敏感数据（比如个人信息、商业数据等）进行加密传输和存储的功能。b）系统应支持多种方式（离线、在线、定时、增量、全量、压缩等）下的数据备份和恢复。c）对涉及个人信息的操作，应符合GB/T35273-2017的要求。