粮库智能化升级改造项目数据中心建设方案.docx

粮库智能化升级改造项目数据中心建设方案数据库建设是整个粮食流通管理体系中信息资源层的基础支撑和中心枢纽。通过数据交换技术，将需要共享的基础数据和业务专题数据统一采集并汇聚，形成数据仓库，同时再共享给各类用户使用。在数据基础之上，再建立统一的业务应用，包括灵活查询、报表分析、业务协同、数据挖掘等，从而逐步实现信息共享、工作协同、决策支持三个层面的有效利用。1.1.1数据采集目录数据采集主要包括数据获取、数据清洗、数据转换、数据加载等模块，需要从目前正在使用的各业务的数据库中抽取需要整合进数据仓库中的数据，经过之后的数据处理技术进入数据仓库中。对于实时数据采集，还需要使用传感器网络，通过把这些传感器感知到的数据经过数据过滤，数据融合等技术，使得这些数据进入数据仓库。其中数据获取模块可采用瘦前置端策略或胖前置端策略。仓储单位信息数据企业基本信息库点基本信息仓房基本信息廉间基本信息油罐基本信息业务管理数据计划管理客户管理合同管理出入库粮食实时库存粮情检查记录粮情监控仓储保管数量监测药剂管理设备管理多媒体数据库区监控视频、仓内监控视频、图片等基础空间地理信息数据基础空间地理信息数据1.1.2粮食数据池建立基于大数据技术的粮食数据池引擎。具备处理海量结构化和非结构化数据的能力。粮食大数据池中又按照不同的功能、专业、调查类型等分类划分相应的分类数据池，将粮食数据打碎成最小单元存放在各自对应的数据池中，便于管理和共享利用，各分类数据池之间由大数据池引擎统一管理调度，形成集中统一的池管理系统。构建集中统一的粮食资源库。以粮食标准数据库、粮食元数据库、粮食制度库、粮食应急数据库等作为支撑。充分发挥传统关系型数据库对结构化海量数据的实时存取能力以及大数据智能分析能力，集成两种数据管理机制，打通两者数据流通道，融合统一向用户提供服务。1.1.3信息资源分类粮食核心业务可划分为六类：粮食购、销、调、存、力口、应急等。主要包括(但不限于)以下数据资源：(1)业务数据：粮食系统自身各项核心业务所产生的数据，包括储备粮监管(包括视频数据、粮情数据、出入库数据)、粮食流通信息、粮食仓储信息粮食质量安全监管信息、监督检查执法信息、粮油产业信息、安全生产信息、公共服务信息(含粮油信息、物流信息、服务信息等)企业基本信息、电商交易信息、应急配送信息等；(2)部门交换：以粮食行业业务协同需求为导向，积极推进跨地区、跨部门信息共享，明确共享信息内容和程序,制定信息共享制度，保障共享信息安全；(3)实时焦点：通过互联网技术和大数据技术，收集到的各种媒体资料，反映社会公众对宏观经济关注焦点，便于更好的为党政部门和社会公众服务。其他业务有如下内容：(I)行政办公：全省粮食系统协同办公系统；(2)宣传服务：包括对内和对外宣传服务；其中对内指：粮食局内部的信息、动态、政策、任务等的发布和布置,对外指：用于对党委政府以及相关厅局进行数据提供服务，交换工作信息、动态，各相关人员可以在许可的权限下，自行对数据进行查询、分析，产生符合各自需求的数据信息；(3)辅助管理：包括人事、财务、固定资产以及其他内部管理等方面的内容；(4)资料文档：包括分散在粮食专业人员手中的各种非结构化数据，如分析、报告、公报、新闻图片、项目照片和录音、录像等；根据上述非共享和共享信息基本数据目录，建立数据信息全面完整的粮食数据资源目录。1.1.4数据管理平台1.1.4.1 元数据管理元数据管理是对系统对数据的结构管理，主要包括：公用数据元的内容范围、分类编码和数据元及其值域代码标准等。依据国家粮食行业元数据标准，设计并建立元数据管理平台，实现粮食元数据的类别管理、属性管理和内容管理，实现粮食元数据的采集、加工处理、审批、入库、数据发布的全生命周期管理，通过接口提供标准的元数据服务，支撑各类粮食应用系统建设和改造。一、元数据管理对象其中，元数据所管理的对象包括：(1)项目登记：粮食项目的登记表(2)项目内容：粮食项目的具体内容(3)粮食报表：组成粮食项目的若干报表(4)粮食指标：粮食报表中的主要组成元素(5)分类：指标的分类(6)分组：按制度对指标进行分类管理(7)目录：填报目录(8)法规：项目和制度相关的法规(9)机构：参与粮食元数据库的粮食局相关机构(10)用户：各级用户应实现对上述对象的新建、修改、管理、汇总、查询、设计等操作。提供灵活的基层表、汇总表可视化设计、编辑功能，以及审核关系的设置。二、基层表设计提供对基层表进行描述的设计工具，方便用户对粮食报表进行定制。提供直观、便捷的报表设计功能，支持表格与问卷的设计。报表设计需采用组件化的设计方式，通过在报表中加入一系列的组件，定义组件的位置和属性，来完成报表设计工作。组件包括文本、填空、选项、下拉列表、文本区域、附件、二维表格，并提供从剪贴板复制公式的功能。在报表设计过程中，需实现随时选择粮食指标，粮食分组，填报目录，计量单位，拖入报表对应位置。元数据需按类别、制度选择，也可输入关键字查询选择。在报表设计工具中要求提供保存、剪切、复制、粘贴、撤销、恢复、删除、退出等快捷操作功能。三、汇总表设计提供汇总表的设计工具，方便用户利用可视化的设计方式实现汇总表的表样设计以及汇总规则的编写。在汇总表设计工具中要求提供保存、剪切、复制、粘贴、撤销、恢复、删除、退出等快捷操作功能。汇总规则编辑，使用自然语言完成审核公式设计和汇总公式设计，需要支持SQL,任意指标和分组目录的引用，可任意设置汇总级别以及汇总范围。四、审核关系设置实现对所有审核关系进行管理功能，包括添加、删除、修改审核脚本信息功能，并可设置审核条件的报错级别，包括错误、警告两个级别。根据粮食制度预先制定的审核规则完成上报数据的审核、验收。1.1.4.2 信息资源整合粮食流通管理体系的信息化建设中最关键的一个问题是，如何将各部门、各企业、各地域的信息最大限度地集成与利用，提供快速、系统和简便的信息服务，实现信息共享、决策科学、工作高效、跨越发展。为了加快推进粮食信息化管理体系建设，必须要整合现有各类信息资源，实现资源优化配置、信息系统共建共享，减少重复建设。通过对各类视频图像资源、粮食业务数据、公共信息资源等实施全面整合，为粮食流通管理业务提供信息基础支撑，为整个粮食监管的各项业务提供信息资源支撑，实现粮食管理的监控监测、预警预测，以及情报综合、态势分析、综合研判、辅助决策、调控工作提供支撑；还为政府其他业务部门和企业单位提供可共享的数据，为后期全面开展智慧粮食和智能监管应用奠定基础。1.L4.2.1信息资源处理总体框架根据对总体架构的分析，为实现系统向政府、公众和企业提供粮食信息服务的目的，关键是要加强粮食相关信息的采集和整合，因此系统建设的核心是数据处理，从数据层面看，省粮食管理信息系统由为六大区域组成。(1)源数据区：外部数据，包括从各种渠道进入数据中心的数据。主要是为省粮食管理信息系统提供各类信息资源，数据采集主要包括储粮单位、粮食企业、加工网点、粮食供应网点等等。(2)数据缓冲区：外部数据进入后，在ETL处理之前的临时存储空间。(3)中心数据仓库区：海量数据库的主要数据生成区域，从细节数据到集成数据层层整合，每一层都可以供信息资源树使用。(4)接入与分发区：对于数据量大，或只关心实时数据而无需保留历史的数据，如视频资源，传感器资源等，可通过此渠道进行接入、整合及共享分发，当需要存储时可随时进入中心数据仓库区。(5)数据服务区：本区域重点关注业务应用，将中心数据仓库区中的数据进行业务分类，以视图、目录的方式对外展现。(6)数据应用区：将数据服务区域的信息资源形成目录索引，为各类应用及服务提供接口，通过应用系统、省粮食局门户网站等对外提供信息服务。在这些区域内，运用了多种数据仓库的技术理论支持,这些理论及技术的作用区域如下:源数据分析：涉及源数据区和数据缓冲区。数据整合：贯穿海量数据库所有层面。 存储与备份：除原始数据外，只要进入海量数据库系统架构内部，都涉及到存储与备份的问题。 数据采集:涉及到源数据区、数据缓冲区、中心数据仓库区。 资源目录管理：涉及信息资源树区、目录区。 ETL：涉及源数据区、缓冲区、中心数据仓库区、数据服务区。本功能的重点在于控制数据质量，保证数据业务统一，以及保证数据的时效性。元数据管理:涉及中心数据仓库区、数据服务区、数据应用区。 数据仓库设计：涉及中心数据仓库区。1.1.4.2.2 信息资源整合内容根据调研分析，我们梳理出现有业务的数据资源，结合各处室的业务应用，站在粮食管理角度，经过科学的分析、聚类方法，划分为业务应用主题分类，如下表所示：1.1.4.2.3 信息资源目录管理针对数据资源及其标准的管理需求，粮食流通管理系统应提供相应的系统功能，以便管理者对数据资源进行有效的配置和管理，从而使用户能够得到方便、快捷的信息服务。信息资源目录体系管理架构包括信息资源目录体系使用和管理的三个角色和六项活动。其中，三个角色是信息资源目录的提供者、管理者和使用者。六项活动包括规划、编目、注册、发布、维护、查询。提供者负责信息资源目录内容的规划和编目，管理者负责信息资源目录内容的注册、发布以及系统维护，使用者可以查询信息资源目录内容。1.1.4.3 数据存储和备份根据数据技术理念，本体系拟采用分布式数据存储的模式，通过建立一个信息聚合总中心和若干信息聚合分中心的分布式存储模式，来满足各类粮食流通管理数据信息服务的实际需要。在数据库结构的设计上，分析系统整体功能需求及响应要求，考虑了现场实际管理能力，使得系统技术能力和管理能力相匹配，不以片面追求高性能为目的，要合理设定系统响应时间、并发性、存储能力等关键指标。1.1.4.4 数据服务1.L4.4.1数据服务封装数据服务封装主要是完成数据加工处理的过程，包括数据格式转换、数据清洗、以及数据加工等数据处理功能。数据服务封装首先是适配器服务。适配器服务是外系统接入数据交换系统的桥梁，是多种异构系统之间互连互通及互操作的重要组件。适配器遵循JCA1.5标准，实现适配器的重用。服务封装是数据交换接入的最前端，无论直接交换还是“桥接交”换，都可以采用适配器服务封装实现。1.1.4.4.2 XML数据表示根据转换定义的规则，完成数据转换的处理。将原始的数据转换为需要的数据格式。统一的数据和服务表示一一标准XML。不同的系统传输数据内容和方式都可能不一样，不同的系统提供服务的方式和数据格式也不一样，为了使不同系统在互相交互时有一个统一的接口表现方式，需要定义一套统一的接口（服务方式和数据格式）表示方式，因为XML的强大描述能力，可使用XML来描述各系统的服务接口和数据传输方式。1.1.4.4.3 适配器服务不同的业务系统存储数据的方式可能各不相同，需要支持数据源的不同存储方式（如不同的数据库、文件等）。采用适配器服务技术。接入的适配器服务封装主要是为了减少开发工作量，努力实现接入部门的“零编程”目标。适配器服务是外系统接入数据交换系统的桥梁，是多种异构系统之间互连互通及互操作的重要组件。1.1.4.4.4 数据描述数据共享的主要功能是数据采集和数据应用，通过数据描述工具和数据描述方式，作为整个数据共享的基础。数据共享服务的技术实现及其表现形式可以有多种，如提供的Java服务、常用的Web服务等。能够将用户创建的Java服务、适配器服务等，发布为Web服务。且数据服务方式通过支持已有应用的快速接入及服务化封装，实现服务的快速开发向导，以便通过服务总线统一提供已有应用服务或第三方服务的接入、访问和管理。要支持Web服务的常用工业标准。1.1.4.4.5 数据自动同步数据共享服务存在着大量的数据抽取和数据同步需求，实现基本的数据自动抽取和同步功能，支持数据同步功能的快速建立。同步方式分为:全表、时间戳、触发器三种方式。1.L4.4.6数据服务库及管理使用标准接口的服务注册库进行服务注册和检索、Web服务部署后的启动/停止控制及将部署后的服务列表查询功能集成进了监控中心等，可提供完整的Web服务封装、开发、部署、运行监控、运行服务水平数据监测统计、服务注册和检索等全生命周期管理，还可通过基于标准规范的服务注册库来直接使用。1.1.4.4.7 数据服务编排基于Java的编码调试开发环境，根据具体业务，开发相应服务，或者进行服务的合成与编排。JaVa服务对外可以封装提供业务服务，供其他服务或应用消费；另外它也能够消费其他服务，将不同的业务服务进行组装，形成粒度更大的业务服务。服务编排：消费其他服务（按一定逻辑顺序消费即所谓对这些被消费服务的编排），同时对其他消费者提供服务（将多个服务编排起来完成更大任务的功能）将已经开发的业务服务和其所用到的服务建立连接关系，进行合成组装，构成一个能够打包和部署、完成某些业务功能的应用。1.1.4.4.8 数据集成机制根据业务系统需求，建立实时、定时、单向、双向机制。(1)实时机制实时机制采用触发器机制，依靠数据库自身的实时触发管理，确保数据交换的实时同步，实时同步时间在毫秒级。触发器分为INSERT>UPATEDELETE三种。即业务表在数据变化时根据三种触发条件判断属于那种数据更新方式并定位数据记录。在数据加载时通过定位信息获取数据并按照触发类型进行数据更新同步。(2)定时机制定时交换机制采用时间戳方式，依靠操作系统时间就需要在业务表中统一添加时间字段作为时间戳(如表中已有相应的时间字段，可以不必添加)，每当更新修改业务数据时，同时修改时间戳字段值。当数据加载时，通过上次运行时间、本次运行时间与时间戳字段的比较来决定进行何种数据抽取。(3)单向机制无论是定时还是实时交换机制，都可以设定为单向交换。即针对一个数据源，只是做同一种操作向其他数据源做数据同步。(4)双向机制对于实时数据同步可以支持双向交换。即针对一个数据源，在往其他数据源做数据同步的同时，该数据源又要受被其同步的数据源的变化做实时同步。1.1.4.4.9数据加工标准的数据处理模块一一过滤，格式转换、合并、拆分。需提供图形可视化的异构数据格式转换映射工具，内置丰富函数，能够将输入数据和输出数据进行不同格式间的转换(如结构化的XML非XML或Java对象数据)，从而可快速集成异构应用，无需考虑表示数据采用的格式。还可通过基于XSLT服务、JaVa服务、数据库函数三种图形可视化数据格式进行转换。1.1.4.4.10 服务流程合成将已经开发的业务服务和其所用到的服务建立连接关系，进行合成组装，构成一个能够打包和部署、完成某些业务功能的应用。合成应用，是一个组件、服务的装配过程，它创建的成果是能够打包和部署的业务应用。通过合成应用，能够发布为Web服务。1.1.4.4.11 数据服务管理监控(1)服务资源管理建立服务资源中心，主要功能是集中管理包括服务、组件、项目及相应权限等各种系统资源，它包括用户/组管理、资源管理、权限控制、资源目录服务等功能。通过SOA套件提供的客户端开发工具，可以对资源和权限进行存储、配置及相应管理，以支持团队协作开发。(2)服务流程管理服务流程管理包括节点、项目、服务、组件及业务流程等运行状况的集中管理，能够对所监控的对象进行状态参看、启动/停止等控制。(3)服务流程监控监控管理逻辑节点及部署在逻辑节点上面的项目、服务、组件及业务流程等运行状况的集中管理监控平台。通过监控管理中心，用户可以查看逻辑节点及部署在逻辑节点上面的项目、服务、组件及业务流程等运行状态、日志信息等,并能够对所监控的对象进行如启动/停止等控制。(4)服务流程日志建立运行日志，记录任何服务在任何时刻的运行信息，帮助完成系统安全运行记录。1.1.5 数据库建设方案1.1.5.1 数据库设计原则数据库设计将根据各应用系统数据的不同分类和特点及功能需求，并结合数据量，提出最适合自身业务系统的数据架构、应用架构和集成架构。数据库设计的原则是：(1)以需求为导向，以数据为基础。系统数据库的建设是以满足省“粮安工程”粮库智能化升级改造项目业务处理功能需求为主，即以满足数据的采集、审核、多角度查询处理为主，同时兼顾历史数据的清查整理。(2)统一规划，分步实施。系统数据库体系建设内容有轻重缓急之分，各项建设任务互相管理、互相影响。如果不经详细规划而轻率进行，势必因各项资源配备不足而导致混乱甚至返工。因此，必须将各项建设任务理出头绪，找出其中的规律，按照科学合理的节奏分步骤进行，才能充分保证数据库建设的有效性。(3)遵循标准，规范流程。统一规划下的分步实施必须有充分的标准化基础作保障。否则各单项任务建设后的集成工作难以进行。对于流程、数据、应用技术的标准化工作,应该在系统建设前进行；各应用系统除了遵循硬件平台、网络平台的支撑标准外，还应严格遵守流程、数据、应用技术标准，以保证系统间结合的流畅。(4)迭代法开发。采用迭代式的方法来开发和建设数据应用体系，即首先选择最核心的内容开发和部署一个满足最基本需求的功能原型。在原型的基础上根据反馈信息和业务的发展，不断总结经验，扩展数据源、不断丰富原型内容完善功能。1.1.5.2 数据库建设目标数据库建设要实现粮食局各职能部门对业务数据和粮库业务数据的采集、传输、处理、存储、共享以及使用，能够利用数据资源进行综合分析、挖掘，满足粮食管理业务各类基础信息和业务信息的需求。1.1.5.3 业务数据库设计(1)数据库建设与整合的方式采用信息资源规划的方法对现有信息资源进行科学、合理的规划，在全面理清现有数据资源基础上，按照标准、规范开展数据整合与建库。基本流程如下图所示。图数据库建设与整合流程对于新建信息数据库，按照统一的标准、规范，同步建立信息数据库，为保证新建基础数据库的质量，数据入库前须进行严格的数据检查。对于新建的业务数据库，建立统一的数据库标准、规范,通过相关业务系统的运行，同步建立业务数据库。对于现有数据库的整合，根据同构同标准、同构不同标准、异构同标准、异构不同标准四种情况按照不同的方法分别进行整合改造。但必须坚持不打破地方数据管理和存储体系，不改变各地基于数据库的应用架构为原则。(2)数据库数据类型及数据库部署本项目数据库的数据类型有数字、文本和图像，具体数据类型及相关属性涉及到每一个应用系统。数据库集中部署在自治区粮食局数据中心，粮库通过统建的应用系统上报数据或通过数据共享交换系统交换数据。1.1.5.4 数据库管理与更新维护(1)建立数据库管理系统，统一管理和维护数据库为了便于数据库的统一管理与维护，将数据存储和应用开发分开，面向不同的具体需求，开发便于数据维护和更新的基础数据库管理系统。(2)形成有效的数据更新机制数据更新依赖于基层日常数据采集的基础数据库，采用自下而上的更新方式，由下级数据管理部门负责日常数据采集更新，通过增量备份的方式定期逐级向上更新数据库。涉及到由上级部门审批的规划、计划类等数据库，数据库的更新由上而下进行，通过数据增量方式进行传送。对于管理数据库的更新，建立行政保障、业务管理系统运行、软硬件配套与数据库更新联动的机制。1.1.5.5 数据安全数据安全是要保障数据不被非法读取、非法篡改、数据恢复快速，具备数据灾难备份和恢复能力。通过网络安全可以抵御外部入侵、非法侵入对数据的破坏，通过内部管理制度和用户访问控制保障内部人员合法对数据的应用。(1)数据存储安全系统采用安全本地在线存储设备、本地备份存储和远程灾备存储三种存储方式保障数据备份和恢复能力。在线存储设备自动备份到本地以及远程备份存储设备，一旦在线存储发生硬件故障，备份存储设备可以快速接管业务，保证业务连续性。(2)数据访问安全通过对各个系统和数据库设置用户访问权限，用户需要通过授权才能获得相应资源访问权限；应用系统用户保存用户口令等关键信息时，需要将密码使用128位加密后再存储。(3)数据传输安全在远程进行数据访问和系统使用的过程中，需要考虑数据远程传输的安全性，将通过数据压缩传输，SSL加密机制传输等方法和措施，保证数据传输安全性。1.1.5.6 数据库主要构成本项目建设，统一由省粮食局建设省级数据中心。省级平台的各个应用系统各自拥有自身的业务数据库，将产生的业务数据进行存储，数据中心利用数据集成工具收取各业务数据库的主要业务数据，并整理清洗和分类存储；同时应用系统在需要其他相关业务数据时，通过数据中心进行数据调用，实现应用功能。数据中心、业务数据库、应用系统相互依存，相互调用，为大数据分析提供了数据支持。数据库主要构成情况如下图所示。1.1.6 粮食地理信息系统以基础地理信息、正射影像数据、粮食地理信息为主的基础地理空间数据库基础上，将全省相关粮食企业的基础空间信息、三维模型、全景照片数据，并且规范物联网的信息接入规则。实现同时在内、外网对全省粮食企业地图展示、查询、分析、监测和统计等功能的全面覆盖，为后期物联网实时信息的接入提供统一的接口，为粮食部门的政策制定、规划与计划的拟定提供更准确的辅助决策依据。