2022 数字档案馆接口平台建设方案（80页）.docx

数字档案馆（三期）建设接口平台建设方案（需求分析说明书）办公室（党委办公室）科学技术与数字化部XXX公司2022年12月目录1 目MM(t*M»t*M(»MM(tMMM(11.1 项目背景I1.2 项目范围21.3 项目目赤31.4 设内容31.5 编前依据52 .”“.I.1.”.1.1.”.1.1.1.I.1.-62.1 现状分析62.1.1 或务现状62.1.2 信思化熨状62.2 /求分析72.2.1 捶。平台建说窸求.72.2.2 管豌会说息统归格接口需求.82.2.3 科研项目管理累线归将接口需求一82.2.4 历史将案款据门格接口需求.102.2.5 U健条统归档接口餐余.I1.第3拿双目电设用要性和可行性分析123.1 项目建设必要性123.2 项目建设可行性13iff4目一r,r.".*.""r.r141.1 建设思路141.1.1 谀甘辣困141.1.2 现段总居161.2 技术架构171.2.1 体条结构171.2.2 技术架构181.2.3 零揖双191.2.4 文件传呦被务架梅.201.2.5 西拴般於极务菜褥.211.3 接口平台抽控站点211.3.1 业务功设计211.3.2 #/M221.3.3 对轻盘务察院管理.231.3.4 修。史Jr笊里231.3.5 於裆逸馥片理2595、，./«*«*««1.3.7 接口检赛261.3.8 条或认证与投权271.4 集中调度报分271.5 文件传输客户端281.6 文件传输服务溺291.7 四性检赛服务架291.8 状态消息股务301.9 捶口日志股务311.10 都再方式311.11 软硬件配置清单325 i卜弓口方r.".*."ar.r.”r.”"“r.”.“r.”.aar.rr5.1 归档范图345.2 归档数据项345.3 元数据拆准355.4 四性检温内容365.5 智能会议系统接口犷展375.6 智能会议系琉接口配置375.6.1 EEP名规则375.6.2 说明文件.XS1.1.375.6.3 文件目录.XM1.385.6.4 文件元数据.XW.386 目系趋Ii口力-.-.-.-.-.I-.-1.-.-.-.-.-.-.-.-.-.1.396.1 归档范图396.2 归档数第项396.3 元致据始准406.3.1 管理费将累蛛准406.3.2 文件实体元数据406.3.3 接案亚齐安惨元数据.446.4 四性检测内容456.5 科研项目管理系统接b犷展466.6 科研项目管理系统接口配置466.6.1 EEP*名规则,466.6.2 说耍文件.XM1.466.6.3 文件目录.刀乱476.6.4 文件元数据.W1.476.7 都号接口客户堵47历史若索蒙务归档挂口方案一7.1 归档范图487.2 归档我第项487.3 元数据杯准497.4 接DjEjE497.4.1 EEP年名境感497.4.2 说累文件.X庭497.4.3 文科目录.双1.497.4.4 文件元敷据.幽507.5 7暑接口客户墙50第8章自建案施数据归档对接方.1.1.1.“1“.“1.11“.1“.1.“.518.1 归档范围518.2 归档一一项518.3 元3-标准51第1章项目概述1.1 项目背景根据国家档案局办公室关于开展企业集团数字档案馆（室）建设试点工作的通知（档办函（2021）304号），为落实“十四五”全国档案事业发展规划，加快推进档案信息化战略转型，推进企业档案信息化建设，推动实现以信息化为核心的档案管理现代化，XXX公司暨中国交建（以下简称公司）持续推进数字档案馆系统建设推广，切实抓好公司档案数字资源建设和管理，按照“统一规划、统一标准、分步实施、试点先行”的数字档案馆系统建设总体思路，全面开展中国交建数字档案馆建设工作。按照集团企业信息化建设的整体规划，数字档案馆系统正按工作计划有序开展。2017年将数字档案馆建设纳入企业信息化建设的整体规划，并制定了总体建设方案，2018年数字档案馆建设在集团立项，被国家档案局列为企业数字档案馆（室）建设35家试点单位之一。2018年9月项目启动实施,2019年11月数字档案馆上线试运行，2020年7月项目系统一期正式上线。在2020年12月底，通过了国家档案局试点现场验收。2021年4月开展一期推广工作，并且组织一体化公文归档接口改造，率先在集团总部开展了一体化公文归档实施。2022年4月，又在前期推广基础上，在全集团二级单位范围内开展推广全覆盖，并升级完善了统一数据接口平台的对接接口标准，元数据管理方案，实现全部二级单位档案系统实施和一体化公文在线归档集成对接。一体化公文归档对接实施及公文归档数据处理涉及到多个复杂问题交织处理过程。包括了多系统集成对接的程序调度处理，公文数据治理，流程梳理，数据归档验证，历史数据归档等多方面工作。由于一体化公文系统和数字档案馆都是集团统建系统，全集团公文处理及归档工作，大量历史数据和日均新增已办结待归档公文数据总量，对统一数据接口平台处理能力产生了极大压力，从而导致接口平台出现传输排队，检测数据积压，阻塞归档迟滞等问题，这对接口平台在现有技术框架下的软硬件处理能力和稳定性提出更高要求。为此，依据国家档案局档案行业标准基于XV1.的电子文件封装规范及公司标准中国交通建设桀团有限公司壁中国交通建设股份有限公司电子文件封装规范中国交通建设集团有限公司暨中国交通建设股份有限公司电子档案四性检测方案，我们对当前现状进行技术分析，结合业务系统归档需求，致力于解决接口问题，满足公司业务系统数据在线归档的实际需求。1.2 项目范围围绕总体规划，中国交建数字档案馆三期项目建设需要满足国家档案局集团型企业数字档案馆验收要求，进一步完善数字档案馆系统功能，深入开展数字档案馆系统推广，持续开展电子文件归档。为此，基于本技术方案建设接口平台，实现''业务通、数据通、流程通”，不断完善统一数据接口平台和档案系统的接口接口，推进数字档案馆向“智能化、服务化、知识化、全景化”的智慧管理方向，为初步建成集团型数字档案馆打下牢固基础。接口平台的服务机构包括XXX公司各部门和所属单位各级机构。接口平台的使用对象为集团各部门和各单位业务系统数据归档人员、包括档案管理人员、专兼职档案管理人员、信息化管理部门相关人员、以及业务系统数据归档相关开发技术人员。1.3 项目目标围绕档案管理工作，开展系统集成，提供职能、生产、运营等领域业务系统电子文件归档对接服务，系统功能升级、优化、扩容服务，提供档案归档接口服务，升级统一数据接口平台功能，提供历史档案ti助接入接口，支持集团总部和各推广单位系统对接集成，完善档案系统技术支持服务。数字档案馆接口平台的建设将严格遵守国家档案局、XXX公司关于档案管理、数字档案馆接口的相关政策、法规和技术规范，在深入分析业务系统电子文件归档的实际需求基础上，实现上述项目建设目标。1.4 建设内容接口平台将秉承公司“统一规划、统一标准、分步实施、试点先行”的建设思路，稳步推进项目建设。本项目建设内容主要包括：（1）实现接口平台监控站点，作为业务系统、接口配置、归档进度、日志监控的重要用户接口。（2）实现接口平台集中调度服务、文件传输服务、四性检测服务、状态消息服务、接口日志服务等基础功能。（3）实现智能会议系统业务数据归档功能，验证接口平台的设计理念。（4）实现科研项目管理系统业务数据归档功能，验证接口平台的设计理念。（5）建设历史数据归档接口，提供历史数据归档客户端。（6）建设二级单位自建系统归档接口，提供自建系统归档客户端,开放给自建系统集成。工作任务主要包括：（I）建设接口平台监控站点监控站点是接口平台的用户窗口，用于管理配置业务系统及运行参数，监控归档进度，检查运行日志等。监控站点采用4集成认证，统一管理组织机构和用户授权。（2）建设集中调度服务集中调度服务主要负责部署和管理文件传输服务、四性检测服务、状态消息服务、接口日志服务，监测服务状态和压力，实现负载自动均衡配置。集中调度服务采用集中部署方式。（3）建设文件传输服务文件传输服务实现归档文件的切片加密传输，支持断点续传。文件传输服务采用多节点独立部署方式，由调度服务分派文件传输任务。（4）建设四性检测服务四性检测服务实现多线程并发处理，将检测项平均分派给各子线程执行。四性检测服务采用多节点独立部署方式，由调度服务分派具体检测任务。（5）建设接口日志服务接口日志服务支撑所有服务节点的日志接收和存储工作，实现日志缓存、监控、分级、存储等任务。接口日志服务采用集中部署方式。（6）建设状态消息服务状态消息服务支撑所有服务节点配置参数、状态、进度的缓存功能，并进行定期数据入库存储。状态消息服务采用集中部署方式。（7）建设客户端服务为业务系统建设独立的客户端服务，客户端服务主要负责归档EEP文件生成，从集中调度服务获取服务节点，完成归档文件传输.四性检测，并更新本地数据状态。（8）建设智能会议系统归档接口通过配置智能会议系统业务归档数据接口和运行参数，实现智能会议系统业务归档数据线上归档功能。（9）建设科研项目管理系统归档接口通过配置科研项目管理系统业务归档数据接口和运行参数，实现科研项目管理系统业务归档数据线上归档功能一1.5编制依据基于XV1.的电子文件封装规范国家档案局DA/T48-2009中国交通建设集团有限公司暨中国交通建设股份有限公司电子文件封装规范中国交建CCCC-DAZD-24中国交通建设集团有限公司暨中国交通建设股份有限公司电子档案四性检测方案中国交建CCCC-DZD-26中国交通建设集团有限公司暨中国交通建设股份有限公司管理类档案管理办法中国交建CCCC-DAZD-02中国交建数字档案馆一期档案系统对接接口标准中国交建数字档案馆一期档案系统AMS统一数据接口平台设计方案XXX公司数字档案馆一体化公文电子文件归档接口标准质量管理和质量保证标准第三部分：在软件开发、供应和维护中的使用指南IS09000-3第2章现状及需求分析2.1 现状分析本节针对数字档案馆归档管理工作的业务现状和信息化现状进行分析。2.1.1 业务现状根据XXX公司数字档案馆建设规划，目前集团统笫安排分批次开展统建数字档案馆应用推广，同时，需要参与统建的各部门、各单位，共同配合完成包括贯彻落实集团档案管理制度标准规范、系统应用或对接，以及档案资源数字化工作。当前存在如下问题：一是公司符合成熟对接条件的统建业务系统实现集成对接归档的数量不足；虽然数字档案馆巳与财务管理系统、安全质量奖评审系统等成熟业务系统进行集成对接，但还有其他业务管理信息系统对接工作有待集成。根据国费委办公厅（2020年国家电子文件管理工作要点，今后还要根据集团其他业务系统建设情况，适时纳入数字档案馆系统的建设范围，逐步实现全业务系统贯通集成，充分发掘电子文件资源价值。二是自建档案的各单位的档案系统与集团统建系统实现存量历史档案和增量档案移交的系统对接尚未完全实现，为此需要尽快推进档案系统应用或业务系统集成对接接口工作。2.1.2 信息化现状按照数字档案馆推广工作实施策划安排，项目组于已完成统一数据接口平台改造工作，支持多厂商协同推广实施一体化公文系统归档对接，并已上线一体化公文系统集成对接数据归档，积累了接口平台的建设经脸。同时也发现了存在的一些问题，如现有统一数据接口平台，由于技术架构的限制，存在接口接入能力不足的问题。在面对一体化公文系统统建后，全集团公文在线归档的数量激增的情况下，很难再支持接入更多的业务系统在线接口。2.2 需求分析本节针对数字档案馆接口平台建设及实施工作具体内容进行需求分析，主要包括基础服务建设需求、智能会议系统归档接口需求、科研项目管理系统归档接口需求、历史档案归档接口需求及自建系统归档接口需求。2.2.1 接口平台建设需求建设数字档案馆接口平台，实现归档文件的稳定可靠传输，提升四性检测执行效率，提高业务系统接口可扩展性。接口平台应提供业务系统接入用户监控站点，管理、配置和扩展业务系统，监控文件归档进度，检查运行日志等。并统一管理组织机构和用户授权，实现集成认证。接口平台应统一管理和调度各服务节点，实现传输任务、四性检测服务的统一调配和负载均衡。同时，作为对外统一入口，完成状态查询、安全认证、加密约定等工作。接口平台应提供独立的文件传输服务，接口平台应支持断点续传,在大文件、远程传捡、网络带宽受限等条件下，满足文件传输的稳定性、安全性、可靠性。接口平台应提供独立的四性检测服务，提升四性检测的执行效率,降低四性检测执行时间。接口平台应密切监控各服务节点的实时状态、执行进度，并在监控站点上进行呈现。接口平台应集中记录各服务节点的操作日志，提供日志监控窗口，提供分级查询历史日志功能。2.2.2 羯能会议系统归档接口需求目前会议资料归档以纸质载体和电子目录为主，未开展电子档案的移交工作。集团已经建成了智能会议管理系统，系统记录了会议的基本信息、签到表、会议材料、表决结果等信息。需要进行智能会议管理系统与数字档案馆系统进行对接，实现会议资料电子文件在线归档。归档需求如下：（1）业务系统审批流程数据。业务系统应具备全流程管理与审核功能，电子文件从形成到最终定稿、发布、生效，均必须有完整的审核流程，能够详细记录审核过程，包括审核人、审核时间、审核意见。（2）元数据捕获。电子文件从形成到归档过程中的所有元数据,均能够通过业务系统自动捕获。（3）文件固化。智能会议管理系统应具体审批单固化功能，将表单信息固化为版式文件（PDF或OFD）进行归档。（4）电子文件格式转换。按照国家档案局相关要求，智能会议管理系统要具备格式转换功能，将系统中电子文件的非通用格式转换为通用格式后，向数字档案馆系统移交。（5）四性检测。智能会议管理系统进行电子文件归档时，应调用接口四性检测工具，保证电子文件的真实性、完整性、安全性、可用性，系统可根据需求细化检测内容，对于检测未通过的电子文件将反馈给智能会议管理系统，需要智能会议管理系统修正后重新归档，（6） EEP封装。按照XXX公司暨中国交建电子文件封装规范（中交办发（2020）200号），业务系统向数字档案馆系统归档时,应将电子文件及元数据生成EEP数据包，满足封装要求。2.2.3 科研项目管理系统归档接口需求目前科研项目档案归档以纸质载体和电子目录为主，未开展电子档案的移交工作。集团已经建成了科研项目管理系统，系统主要对集团科研项目从立项、合同、执行、变更、验收进行全过程管理，各个管控环节都会上传相关附件并形成审批记录。需要进行科研项目管理系统与数字档案馆系统进行对接，实现科研档案电子文件在线归档。（1）纸质档案科研项目管理系统建设前，在科研项目完成验收后，由项目组负责整理纸质实体档案进行归档。科研项目管理系统建设完成后，在系统中运行的项目的档案需要同科研项目管理系统生成的电子文件相匹配，其他档案需要通过数字化加工形成电子档案。（2）电子档案归档要求科研项目管理系统主要对集团科研项目从立项、合同、执行、变更、验收进行全过程管理，各个管控环节都会上传相关附件并形成审批记录，根据数字档案馆建设相关标准，科研项目管理系统与数字档案馆系统集成实现在线归档。1）业务系统审批流程数据。业务系统应具备全流程管理与审核功能，电子文件从形成到最终定稿、发布、生效，均必须有完整的审核流程，能够详细记录审核过程，包括审核人、审核时间、审核意见。2）元数据获取。电子文件从形成到归档过程中的所有元数据，均能够通过业务系统自动捕获。3）审批单固化。科研项目管理系统应具体审批单固化功能，将表单信息固化为版式文件（PDF或OFD）进行归档。4）电子文件格式转换。按照电子文件归档与电子档案管理规范（GB/T18894）,提出了电子文件归档格式的要求：“电子文件应以通用格式形成、收集并归档，或在归档前转换为通用格式”。因此,科研项目管理系统要具备格式转换功能，将系统中电子文件的非通用格式转换为通用格式后，向数字档案馆系统移交。5)进行四性检测。科研项目管理系统进行电子文件归档前，应调用接口四性检测工具，保证电子文件的真实性、完整性、安全性、可用性，系统可根据需求细化检测内容，对于检测未通过的电子文件将反馈给科研项目管理系统，需要科研项目管理系统修正后重新归档。6)完成EEP封装。按照XXX公司要中国交建电子文件封装规范(中交办发(2020)200号)，业务系统向数字档案馆系统归档时，应将电子文件及元数据生成EEP数据包，满足封装要求。2.2.4 历史档案数据归档接口需求目前公司存在大量历史档案数据，载体形式包括纸质、电子文件，尚未开展档案移交工作。根据历史档案数据载体和现状，具有不同的归档需求。(1)纸质档案归档需求纸质档案需要根据当前数字档案馆业务分类进行分类整理，统一填制档案条目；根据标准扫描文件，并进行统一封包处理，生成EEP文件。纸质档案归档需要的加工处理、形成封包文件不在本项目建设范围内。整理后的电子档案进行EEP封包，EEP文件需要通过本系统的传输客户端进行归档。(2)电子档案归档需求对于已有电子档案，无论是通过专业或非专业档案软件进行管理，都需要首先根据数字档案馆归档标准进行整理。不符合数字档案馆元数据标准的，应进行整理和补充信息；扫描件不符合管理标准的，应进行重新扫描。整理后的电子档案进行EEP封包，EEP文件需要通过本系统的传输客户端进行归档。2.2.5 自建系统归档接口需求目前部分二级单位独立建设有数字档案馆（称为二级单位自建系统），自建系统具有将档案数据归档至集团数字档案馆的需求。（1）导出归档数据需求自建系统的档案数据相对完整，电子文件和扫描件比较齐备。需要完成的工作是根据集团数字档案馆的元数据规范导出统一的EEP文件包。该部分功能由自建系统通过二次开发完成，不在本项目建设范围内。（2）EEP包归档需求EEp文件包需要通过本项目的传输客户端完成。自建系统二次开发时，可以结合传输客户端提供的开发接口实现归档及结果查询的功能。第3章项目建设必要性和可行性分析3.1 项目建设必要性根据XXX公司数字档案馆建设规划，第三阶段的主要任务，持续开展业务系统电子文件归档对接，是按照管理类电子档案单套制管理进行建设的必然要求。集团信息化建设不断深入发展，建设大量业务管理信息化系统，这些系统产生的大量电子文件，需要纳入数字档案馆管理范畴，与业务系统对接有待进一步深化，还要报据集团其他业务系统建设情况，适时纳入数字档案馆系统的建设范围，逐步实现业务系统归档对接集成，充分发掘电子文件资源价值。公司已经建设运行了众多业务系统，存在着大量的待归档的电子文件及业务数据。文档类型包括文书、实物、声像、工程类等多种文件；电子文件格式众多，包括WORD、EXCE1.、OFD、PDF及相关专业文件等。这些电子文档根据公司归档标准，应通过系统时接进行文件传输、通过四性检测后进行数据归档。公司通过统一数据接口平台开发实施了一体化公文系统在线归档功能，实现了文书类档案归档至数字档案馆。经测算，全集团当前一体化公文系统日均产生近6000条待归档已办结公文，数据量（按一文一件数量）还在不断增长，实施过程出现了SFTP传输卡顿、无法断点续传、四性检测程序运行效率低、接收的电子文件排队等候检测、接口服务系统扩容难等实际问题。虽然巳通过优化业务系统推送策略,升级接口平台服务器硬件资源，优化接口磁盘缓存管理，限制文件传输服务连接数，暂时保证平稳对接。但现有统一接口平台由于技术方案的限制，仅能维持一体化公文推送接收能力，接口平台处理能力很难长期保证跟上公文推送速度。为了更好的支持今后开展深入推广工作，响应集团及各单位提出的业务系统对接归档需求，继续与数字档案馆系统集成对接。有必要提升接口接入能力。因此，更好地支持各类系统集成接入，提升接口能力，解决数字档案馆归档的实际问题，引入新技术更优技术方案，建设接口平台是非常必要的。3.2 项目建设可行性2021年12月，国家档案局办公室发布了关于开展企业集团数字档案馆（室）建设试点工作的通知（简称通知），提出深入贯彻落实习近平总书记关于做好新时代档案工作的重要指示批示精神，以“十四五”全国档案事业发展规划提出的企业档案信息化建设任务为目标，推动企业集团建设覆盖主要业务、贯通各级所属单位的企业集团数字档案馆（室），进一步提升传统载体档案数字化率，实羽企业档案工作数字化转型和高质量发展。公司巳经完成了数字档案馆的基础建设，并实现了一体化公文系统在线归档集成接口，这为进一步改进归档接口设计，建设接口平台打下了较好的基础。公司结合档案行业相关规范，制定了数字档案馆归档相关接口技术规范、元数据规范、四性检测项目规范。为建设接口平台提供良好的业务支撑。随着网络技术的发展和成熟，很多新的技术经过了深入应用和完善，验证了其强大的性能和稳定性，为接口平台建设提供了很多的技术可选项。综上所述，建设数字档案馆接口平台，具有现实需求的必要性和迫切性。同时，目前规范先行、业务储备、技术成熟性也为提供了项目建设的可行性。第4章项目建设方案本章主要包括建设思路、技术架构、系统核心设计思想、部署方式等内容。4.1 建设思路4.1.1 设计原则在公司信息化总体规划的要求下，接口平台建设符合以下原则：(1)可扩展性接口平台需要重点关注其业务系统接口的可扩展性，否则将造成较多的重复投资。系统在技术架构、服务设计、功能设计、数据库设计等方面，应优先考虑复用性，降低耦合度耦合度，便于将来业务系统接口部署和实施。(2)稳定性和可靠性接口平台需要实现亿万级归档文件的传输和检测，程序的稳定性和可靠性要求比较高。在系统设计、功能测试、性能测试方面应优先关注稳定性和可靠性。(3)商效性归档文件普遍存在数据量大的显著特点，所以设计应在每个细节考虑程序执行效率，各环节尽可能支持并发处理。性能测试过程中也关注各环节执行效率的提高。(4)规范性系统的设计和开发在严格遵循国家档案局制定的各项规范和政策的同时，在软件部署和模型结构上要与XXX公司相关计算机软、硬件规划一致。(5)适用性把规范化、标准化作为工作的出发点和落脚点，以业务需求为导向和动力，合理采用先进的技术手段，通过改进、优化和完善，建设商效实用的信息管理系统，简化用户操作，降低系统使用难度，满足公司归档管理的业务需求。(6)经济性系统充分利用XXX公司网络基础设施和信息化成果，依托现有技术体系，减少建设系统的费用开销。(7)安全性系统将处理大量归档数据，保证数据的安全性是本系统有效运行的必要条件，将通过严格的法规、有效的管理、严密的组织、先进的技术等多方面措施确保系统网络和数据的安全性。(8)先进性和成熟性系统设计适应技术发展的潮流，采用主流技术体系，既保证系统的先进性，又能兼顾技术上的成熟性，降低由于新技术和新产品不成熟因素带来的风险。(9)易维护性系统将提供运行检测、维护工具和完备的系统异常应急处置方案，便于维护人员开展日常维护工作。(10)准确性通过对业务流程的关键环节和关键功能的数据入口设置数据校验功能，对数据进行严密的数据校验，确保系统数据的完整性和准确性。(11)兼容性通过与OA系统进行系统集成，实现数据共享和业务融合，提高本系统在XXX公司信息化框架下的兼容性。(12)性能规范在网络稳定的环境下操作性界面单一操作的系统响应时间小于5秒；单条数据库记录保存、修改、删除等操作的响应时间最大不超过3秒：可以保证系统在指定网络和软硬件条件下支持100个用户同时使用，系统性能不会显著下降。4.1.2 建设思路公司接口平台项目建设将严格遵循国家档案局、XXX公司的相关政策、法规，在深入分析数字档案馆归档管理需求的基础上进行建设。项目主要包括以下工作阶段：(I)需求分析。分析数字档案馆接口平台当前业务现状和信息化现状，深入分析归档管理业务需求和技术需求，提供贴合实际需求的信息化解决方案。(2)系统设计。针对需求分析的结果，制定系统的软件架构和设计方案，设计接口平台监控站点、集中调度服务、文件传输服务、四性检测服务、状态消息服务及日志服务。(3)系统研发。采用先进的技术架构和开发平台，运用计算机信息化技术，编码实现各项功能模块。同时进行系统功能测试、性能测试。（4）系统试运行。在其实数据环境下进行试运行，脸证系统的正确性、稳定性和高效性。（5）系统验收。在系统试运行工作的基础上，通过专家组对系统进行建收，确保系统的质量。4.2 技术架构主要包括总体架构、接口服务平台技术架构、零拷贝原理、文件传输服务架构、四性检测服务架构等内容。4.2.1 体系结构从公司数字档案馆建设规划总体角度来看，接口平台位于数据归档的纽带位置，体系结构图如下所示:S4-1体系结构图接口平台将提供给前端业务系统、自建档案系统、历史数据采集程序一套归档客户端（譬如可独立运行的JAR包服务），用于将生成好的归档文件包发送给接口平台，接口平台接收归档文件包后，完成四性检测，将档案条目信息放到共享数据库中，并将归档文件包存储件传输服务和四性检测服务服务节点可以配置多个，用于实现复用和负载均衡。状态消息服务和接口日志服务主要协助各服务节点进行信息和日志的统一接收、存储和接受查询的工作。4.2.3零措贝零拷贝(ZeroCopy)技术对于提升数据传输效率具有重要作用,在文件传输、消息处理、日志处理等方面有出色的性能表现。传统数据拷贝工作原理图如下:图4-3传统数据姆贝图零拷贝工作原理图如下：图47字拷贝原理图从理论上讲，零拷贝技术使得数据拷贝次数比传统拷贝减少了一半。减少的步骤都是CPU的读写操作，可以大幅度降低阻塞，提升数据传输效率。本方案将基于零拷贝技术原理实现各服务设计研发工作。4.2.4 文件传输服务架枸文件传输服务架构图如下所示:图4-5文件枝输服务架用图文件传输服务客户端部署在业务系统端，各客户端独立部署，主要负责发起文件传输请求、文件切片、切片加密、发送切片、发送结果确认。如果发送中断或失败，从头开始重新请求上传，服务端会返回上次断点，作为切片的起点。接口平台文件传输服务端，采用分布式节点部署，服务节点由集中调度服务统一管理和分派，服务端节点只接受集中调度服务分派的客户端传输需求。建立连接后，依次接收切片，解密（或验证）切片，写入至输出文件，更新传输进度，直至传输完毕，验证整体文件完整性。传输中断时，缓存最后一次成功接收的切片编号，在客户端下次请求时通知其重传起点。传输失败的文件在监控站点将发送消息提醒,并显示进度和错误原因。4.2.5 四性检测服务架构四性检测服务架构图如下所示:图4-6四性检测服多架用图业务系统归档客户端在文件上传成功后，再次请求集中调度服务对已上传文件进行检测。收到检测结果后，更新本地状态。检测失败的归档文件一般需要业务系统修改后，重新归档。接口平台四性检测服务端，采用分布式节点部署，服务节点由集中调度服务统一分派四性检测任务。四性检测服务完成解压后，启动多线程并行完成检测项目，全部检测通过后通知客户端检测通过。并完成条目进入共享数据库。检测不通过的归档文件将在监控站点进行消息提醒，管理员可以清理检测不通过的归档文件。4.3接口平台监控站点本节主要完成接口监控站点的功能设计。4.3.1 业务功能设计接口平台监控站点主要包括对接系统管理、接口配置管理、归档进度监控、日志监控查询、安全管理等模块。整体功能设计图如下所示：国4-7接口平台监控站点功能困监控实时日志4.3.2 监控站点首页监控站点首页包括系统菜单、统计、图表、消息、警告、进度、动态等内容。部分内容描述如下：(1)统计条块首页采用色彩较为鲜明的条块，显示几个重要的统计摘要信息，比如业务系统接口数量、完成归档文件数量、已归档数据条目数等。(2)消息提醒接收状态消息服务的最新消息，并实时滚动显示消息内容。主要包括：归档文件接收完毕、归档文件四性检测通过等。(3)幡误警告主要显示服务运行过程中发生的中断、错误等信息，方便监控用户第一时间发现问题。主要包括：归档文件传输失败、归档文件四性检测未通过等。<4)进度报告首页主要以业务系统为单元，显示各业务系统已归档文件数量。点击业务系统进入详细页面，已天为单位显示每天归档成功的文件数量。4.3.3 对接业务系统管理（1）业务系统扩展包括新增业务系统功能，重要业务系统属性包括：系统唯一编码、系统名称、归档文件目录、归档编码、启停标志、备注等内容。业务系统归档文件目录应对所有文件传输服务节点、四性检测服务节点开放读写权限。目录空间大小应满足归档业务需要。（2）开启归档业务系统的归档标志开启后，集中调度服务才会给客户沸传输清求分配接收服务节点，完成传输任务。（3）停止归档业务系统的归档标志关闭后，客户端再请求传输归档文件，则返回服务已关闭的错误通知。4.3.4 接口配置管理（1） EEP命名规则封装包名称主要由系统名称、批次名称、封装日期等内容组成，具体根据业务系统情况定义。命名规则配置到接口中，用于校验文件名。文件名应保持全局唯一性。（2）接口文件列表根据中国交通建设集团有限公司赞中国交通建设股份有限公司电子文件封装规范，将接口文档列表中核心文件列表内置在接口配置中，主要包括：说明文件.XV1.（参见附件1）、目录文件XV1.（参见附件2）、文件元数据.XM1.（参见附件3）,用于规范接口配置。检测服务（4）参数配置考虑到不同的业务系统业务数据特点和网络条件差异，体现出来就是归档文件包单个大小、数量多少、网络带宽的差异，因此需要调整接口配置参数进行适应。接口参数包括，一个业务系统最多支持的文件传输节点数、四性检测服务节点数。一般情况下，单个文件包越大、数量越多、网络越差，配置的节点数量越多。网络条件好时，当个切片可以配置的比较大（比如4Mb）,网络条件差时配置的网络包比较小（比如2Kb）。局域网内，可以考虑不加密切片，以提高效率；远程传输、境外传输时，需要采用较受杂的加密方式，以保障数据安全。每个服务节点，可以设置并发处理任务数，避免服务器压力过大I）4.3.5 归档进度管理（1）文件传输进度网站从状态消息服务中获取正在传揄的归档文件实时状态，分业务系统和文件维度进行进度图表展示，并定时更新。（2）四性检测进度网站从状态消息服务中获取正在执行四性检测的归档文件实时状态，分业务系统和文件维度进行进度图表展示，并定时更新。（3）归档文件统计统计已归档历史数据，按照业务系统、日期、条目数据、文件类型等维度进行统计和展示。4.3.6 归档日志监控（1）实时日志监控连接接口日志服务，通知日志服务将最新日志推送至展示网页，4.3.8 集成认证与授权（1）集成认证接口平台监控站点采用公司统一认证，机构、部门、用户信息与统一认证保持同步一致。本系统提供机构、部门、用户的数据缓存，提供页面展示和手工同步的功能。（2）用户授权管理接口平台监控站点基于痈色进行授权管理。主要角色包括：系统管理员、归档业务管理人员、归档接口开发人员。4.4集中调度服务（1）及务节点配置集中调度服务启动时，通过配置文件加载个服务节点列表及其地址、路径等参数，然后校验各服务节点运行状杰，如果服务节点尚未启动，则自动启动该服务节点。集中调度服务将节点状态和参数发送到状态消息服务进行缓存。（2）调度请求首先，客户端请求调度服务分派一个服务节点，完成具体业务操作。调度服务会根据客户端的业务系统、请求类型等情况生成一个任务编号；然后查询服务节点列表，找到一个空闲的服务节点，通知其客户端请求；再告知客户端与选定的服务节点进行业务操作。1.1 负载均衡调度服务需要实时更新各服务节点运行进度和情况。一旦服务节点进入空闲状态，调度任务将及时将服务节点加入等待分派任务的列表。调度服务通过优先选择空闲服务的的方式实现服务负载均衡。每个服务节点并发处理的业务多余一个时，调度服务根据待处理文件总数的多少确定分派给那个服务节点。如果每个服务节点都达到了最大并发数，通知客户端等待。4.5 文件传输客户端业务系统归档文件生成后，交由文件传输客户端完成后续归档业务操作。(1)请求传输客户端提供本地业务系统编码及名称、归档文件包大小及名称等信息，向调度服务请求分派一个服务节点。如果调度服务返回等待标记，则10秒后重新请求。直到调度服务分派一个传输任务，包括服务节点地址、任务号、切片大小、加密策略等内容。(2)建立连接客户端以任务编号请求连接服务节点，建立连接。如果连接失败，重新尝试3次，仍不成功时，重新请求调度服务。(3)生成切片客户端根据要求，读取指定大小的文件片段。<4)加密切片如需加密，客户端将文件片段按照指定的加密方式进行加密处理。(5)发送切片客户端对欠理后的文件片段以SOCKET包方式发送给服务节点。循环执行文件切片读取、加密、发送，直到文件尾部。(6)发送结果客户端发送请求文件完整性校胺请求，服务端返回正确标志后，客户端更新发送成功标志。如果返回失败，同样更新失败标志。在全部发送完成后，客户端自动对发送失败的归档文件执行一次重新发送尝试，最多尝试发送3次。4.6 文件传输服务端(1)准备接收文件传输服务端接收调度服务发来的客户端请求信息，根据传输任务信息等待客户端连接，客户端发送的任务编号正确时，连接成功。如果超过1小时未收到客户端请求，则标记传输失败。连接成功后，服务端创建待接收的文件。(2)接收切片服务端通过SOCKET读取切片数据包。(3)解密切片如需解密，服务端根据加密方式进行切片解密处理。(4)写入切片服务端将处理后的切片写入文件。(5)结尾校验接收到文件结尾标记后，关闭文件。检测巳接收文件大小、格式、