树维信息数字化校园技术白皮书V4.0.docx

SUPWISDOM树维数字化校园基础平台技术白皮书Version4.0WrittenByShanghaiSupWisdomInformationTechnologyCo.zLtd.上海树维信息科技有限公司©2016AllRightsReserved文档标识:造：刷维信恚SUPWISDOM上海树维信息科技有限公司文档名称树维数字化校园基础平台技术白皮书文档版本号V4.0状况审核通过版权所有者上海树维信息科技有限公司修订历史文档版本号生成日期描述撰写人V4.02016-9-13按照产品部发出的最新的认证和门户产品的功能清单进行方案修改。菅子君WrittenByShanghaiSupWisdomInformationTechnologyCo.,Ltd.上海树维信息科技有限公司©2016AllRightsReserved本文档声明版权所有：上海树维信息科技有限公司（以下简称：树维公司）。本技术方案书及其附件（“本文档”）和本文档所述的树维公司软件以及前述物品之知识产权专属于树维公司或其关联公司。未经树维公司书面同意，本文档任何部分均不得复制、转录、传送、存储、翻译成任何语言或通过任何手段以任何形式进行传播。树维公司在本文档中不做任何担保、表述或暗示。任何情况下树维公司对因使用本文档或本文档信息而造成的任何损害概不负责。保密声明：本文档所包含的信息均为机密信息，为树维公司或其关联公司所有。接受本文档，即表明您同意：（1）如果您或贵公司与树维公司在此之前签有与揭露和使用限制有关的任何合同，则您与贵公司使用该信息时应遵守任何上述合同之条款；或者（2）如果您或贵公司与树维公司间无契约关系，您与贵公司同意保护该信息，不得以任何方式复制、揭露或使用该信息，但法律另有规定的除外。您与贵公司及其员工将对机密信息予以保密，不会全部或部分复制或向第三方披露信息，并根据树维公司要求对其进行使用。其它声明：本文档包含了客户和树维公司之间可形成合同的主要商务和技术信息,该等信息基于树维公司标准合同条款而提供，并由树维公司标准合同条款进行细化，一旦树维公司标准合同条款商定签署，本文档将被其取代。软硬件：本技术方案中所涉及的硬件设备和第三方软件非树维公司所设计、加工、组装、生产或采购，其为第三方硬件厂商或第三方软件厂商产品，第三方硬件厂商或第三方软件厂商对其相应的硬件设备或软件拥有商标权、专利权、版权或其他相应权利。本技术方案中所涉及软硬件的所有参数、数据、性能、技术标准等信息仅供参考，可能随实际情况而发生调整、变更或不适用J目录第一章产品概述61.1 行业背景61.2 产品内容61.3 产品定位71.4 产品目标9第二章产品特性102.1 技术特性优势102.1.1 先进的总体架构102.1.2 灵活的核心数据模型设计.102.1.3 强大的适配器(AdaPter)技术102.1.4 先进的门户支撑平台102.1.5 国家级安全算法技术102.1.6 数据传输技术112.1.7 信息可溯源技术H2.1.8 基于关键字的内容过滤技术.Il2.2 功能特性优势112.2.1 人性化信息服务112.2.2 可视化监控管理122.2.3 高效的数据同步方案122.2.4 灵活的权限控制模式132.2.5 强大的用户管理132.2.6 统一的认证服务132.3 产品性能体系132.3.1 跨平台132.3.2 高性能132.3.3 健壮性132.3.4 可扩展性132.3.5 高可靠性142.3.6 安全性142.3.7 开放性142.3.8 灵活性14第三章产品技术架构163.1 总体架构163.2 技术支撑层架构183.2.1 硬件支撑平台架构183.2.2 软件支撑平台架构193.2.3 数据库设计193.2.4 数据建模203.2.5 数据库优化233.2.6 数据库扩展25第四章产品功能体系274.1 统一信息标准274.1.1 概述274.1.2 设计理念274.1.3 信息标准内容274.2 公共数据平台504.2.1 概述504.2.2 设计理念504.2.3 系统内容514.3 数据交换平台644.3.1 概述644.3.2 设计理念654.3.3 系统内容664.4 统一身份认证714.4.1 系统目标774.4.2 系统框架714.4.3 平台功能724.4.4 系统特点914.5 统一信息门户924.5.1 概述924.5.2 门户应用功能944.5.3 支撑平台功能1064.5.4 系统特点1344.6 决策中心1374.6.1 概述1374.6.2 设计理念1374.6.3 系统内容1384.7 应用系统集成1474.7.1 认证集成1474.7.2 页面集成1494.7.3 数据集成151第一章产品概述1.1 行业背景数字化产业已经由原来的注重产品价格向着注重产品质量和服务方向转型，尤其是教育用户，教育信息化已成为为人民群众提供公平的受教育机会，解决教育资源分配不均，满足群众对发展教育的期望，推动教育在更高起点上实现更大发展的重要力量。加快教育信息化建设已成为我国教育事业改革与发展的必然选择。从总体上看，我国教育信息化建设取得了重大历史性突破，但同时面临着一系列突出的问题。一是信息化基础设施建设仍处于低水平状态，缺乏统筹有效的投入机制。信息化基础设施不能有效满足各级各类教育的发展需求。在投入内容上，重建设轻应用的现象也普遍存在。国家教育信息化十年发展规划2011-2020年为高校信息化发展指明了方向。规划提出：到2020年信息技术与高等教育融合，发展的水平显著提升，教育管理信息化水平显著提升，形成与国家教育现代化发展目标相适应的教育信息化体系。通过数字化校园项目建设，构造能够满足数字化校园应用长期持续发展的基础平台，通过这一稳定、可扩展的基础平台为应用系统建设提供良好的支撑和服务。该基础平台将充分支持于高校的应用需求和未来发展，同时考虑到系统的总体拥有成本，必须采用先进的理念和思路，辅以成熟的、主流的、符合未来发展趋势的技术，运用现代系统工程和项目管理规范标准，科学合理的进行建设。1.2 产品内容 基于以上行业背景，树维数字化校园产品紧跟用户需求应运而生，为高校提供整体数字化校园建设解决方案。 产品采用顶层设计思路，从标准建设，到运行环境与安全，软件支撑平台，SOA架构等信息技术，协同化业务处理，师生综合信息服务等总体规划、设计与实施，最终达到为高校用户提供一站式信息化服务的建设目标。其内容主要包括： 校园信息化标准：以教育部教育管理信息化标准为基础，结合学校的实际情况，制定校园信息化数据标准（数据标准和代码标准）。 公共数据平台：实现异构信息系统之间的数据交换和共享，明确业务系统与数据中心平台的接口规范，保证数据的准确一致；建立可以提供为整个学校综合查询和决策支持所需的数据信息，为学校的将来决策支持系统积累分析数据。 数据交换平台：实现公共数据平台的数据采集与分发，提供对被交换信息进行清洗、转换、装载入库等数据交换服务，确保数据一致性、完整性和正确性。各业务系统通过数据交换平台与公共数据平台进行数据交换与共享，各业务系统独立运行，互不影响，某一业务系统故障不会造成对其它系统的影响。 数据交换监控平台：实现对数据交换过进行全方位的监控，提供数据交换平台实时状况和历史状况统计，方便用户快速定位问题，减轻定位问题的难度，为快速解决问题提供了权威、便捷的手段。 统一身份认证平台：以目录服务和认证服务为基础的统一用户管理、授权管理和身份认证体系，将组织信息、用户信息统一存储，进行分级授权和集中身份认证，规范应用系统的用户认证方式。提高应用系统的安全性和用户使用的方便性，实现全部应用的单点登录。 统一信息门户：学校通过建设校园信息门户实现统一的访问服务，信息门户可以提供应用系统的信息集成、文档管理、内容搜索、个性化定制等功能，为各类用户提供一个风格一致、功能齐全的交互平台,校园信息门户是学校信息资源的综合展现。它在表现层整合各个应用系统，为学校用户提供一站式的信息服务。通过信息门户建设，为全校师生的工作、学习、生活等带来极大便利。 应用系统集成：将学校已有的应用系统进行深度集成和整合，纳入数字化校园基础平台。1.3 产品定位数字化校园建设旨在面向全校师生提供信息化一站式服务平台。通过对数字化校园的建设，对现有的应用服务和资源进行整合，面向学生、教职工、职能部门、学校领导、校友、交流学校等用户，建立具有数据共享、统一门户、单点登录、统一身份认证的具有综合性、个性化和交互性的信息化服务平台，同时重点考虑学校急需的应用系统需求,实现重点、核心的应用全面信息化。数字化校园的建设核心是“以人为本二在校园环境中，不同的用户拥有不同的用户类型，也就是角色。图1-1简单地描述了数字化校园中涉及的主要角色类型:图1-1校园主要角色列表 由于不同学校的组织架构不尽相同，图IT只是列出了最基本的、具有共性的角色，并未进行更细的划分，如将教师再划分为“专职教师”和“兼职教师”等。在实际的数字化校园建设中，可根据学校自身的实际情况，再进行更细致的角色设置。 在数字化校园中，角色的划分具有重要意义。首先，不同的角色将面对数字化校园中的不同应用功能，使用不同的应用系统，产生不同的数据；第二，不同的角色在应用系统中具有不同的权限。在基于角色的访问控制(RBAC,RoleBasedAccessCOntrOI)策略中，用户在系统中的功能集合将由角色来确定。 角色具有两大特性：继承性和复合性。继承性从图IT中可以很明显地看出来：下层角色是从上层角色中派生而来，从而继承了上层角色的功能与权限；复合性则是指一个用户可能同时具有多个角色，如在许多学校中，行政领导同时也是一名教师，因此他将同时具有行政领导和教师角色，可以访问这两个角色对应的应用功能。 在目前传统的高校信息化建设中，角色的划分与权限控制都是由具体应用来管理的，缺乏统一的规划与设计，同时也不支持复合角色，必须设置一个新角色保存多个角色的功能，导致角色数量激增，管理麻烦，扩展困难。 这一切将在树维数字化校园中得到改变。统一的角色管理为不同应用提供访问控制服务，角色的继承和复合将得到完善的支持，这些良好的改进将大大改善数字化校园建设的效率和合理性。因此，根据校园现有的各种信息系统和受众群体分类，主要包括以下三个方面的服务：服务内容用户对象基于校园应用系统的信息服务包括一卡通系统、图书馆系统、教务系统、OA系统等校内固有应用系统提供的功能学生、教职工校园生活的信息服务提供校内、校外消息通告等信息服务学生、教职工基于互联网的信息服务提供天气预报、出行查询、校园地图定位等信息服务学生、教职工 将用户真正“圈入”到数字化校园体系中来，把用户每天的学习、工作、交流、心情、动态都纳入到数字化校园中，建立属于学校的数字化校园生态圈，体现数字化校园建设的最核心的价值。1.4产品目标随着信息化的建设，数字化校园建设已刻不容缓，树维数字化校园产品目标是帮助高校建设完整统一、技术先进，覆盖全面、应用深入，高效稳定、安全可靠的数字化校园，消除信息孤岛和应用孤岛，建立校级统一信息系统，实现部门间流程通畅，可平滑过渡到新一代技术，对校园的各项服务管理工作和广大教职工提供无所不在的一站式服务。最终实现数字化的管理环境、数字化的教学环境、数字化的生活环境、数字化的科研环境，实现全校范围的信息共享和业务协同，扩展传统校园的功能，实现教育过程的全面信息化，提高学校教学质量、科研和管理水平与效率。最终提高学校的核心竞争力，实现学校的跨越式发展。第二章产品特性2.1 技术特性优势2.1.1 先进的总体架构充分参考了国内外高校信息化发展的现状和趋势，结合SoA体系架构的理念，提出了全局服务模型架构，既能够满足目前的数字化校园建设需要，同时能适应未来的扩展。2.1.2 灵活的核心数据模型设计参照教育部标准和学校需求，建立学校信息化标准。同时，采用元数据管理思路，制定灵活的数据模型设计策略，使业务系统变化不会对核心数据模型产生大冲击。2.1.3 强大的适配器(AdaPter)技术应用接入的对象主要包括平台建设之前的遗留系统和后来购买的一些不满足平台规范的第三方系统。如何方便有效地将这些系统接入到平台中，接受平台的统一管理与服务，是应用接入需要解决的问题。树维数字化校园产品采用了“适配器(AdaPter)”技术，分析数字化校园应用接入的不同级别，应用不同的适配器技术，尽量实现更大范围的、更方便的应用接入。2.1.4 先进的门户支撑平台统一信息门户基于先进的门户支撑平台，与统一身份认证平台结合实现学校的单点登录，是学校全面的信息集合，支持多元信息的展现与查询，将分散学校在各网站、系统上的新闻、数据、服务等内容集合一体，统一呈现，具有个性化界面定制;众多的Wcb2.0应用功能支撑(Wiki、Blog、RSS、问吧、群组等)；遵从业界标准以及灵活的应用集成策略等特点。2.1.5 国家级安全算法技术数据交换平台通过可选择的方式，来为系统间的数据交换提供加密方法，这些加密方法包括BLOWFISH,RC4,DES3,RC2,IDEA,RC5,CAST,DES等。而加密过程的建立，采用公钥与私钥密码对的方式完成密码交换的过程，在一定程度上，保证了数据传输的安全。数据交换平台所采用的安全算法得到了国家安全认证机构（公安部第三研究所）的认可，并获得了信息安全的相关证书。2.1.6 数据传输技术数据交换平台提供了数据压缩和发送校验等技术，为数据交换的每个环节提供成功传输保障。当任何一点的网络或系统出现故障时，记录当前数据传输的状态和中断点，保证在故障恢复后自动将缓冲数据传输到目的地，实现可靠的存储转发，保证数据传输完整性。整个过程是自动实现，无须手工干涉。2.1.7 信息可溯源技术数字化校园产品对在平台发布或推送的所有信息，可跟踪溯源信息的发送方和接收方，实现了在数字化校园平台中的用户对发送信息和接收信息的不可抵赖。2.1.8 基于关键字的内容过滤技术为了防范垃圾信息、违反法律法规的信息借助数字化校园平台传播，影响学校声誉,扰乱学校的正常教学秩序。树维数字化校园产品采用了对发送的各类信息进行关键字过滤技术，阻止有害信息在校园传播，保障学校的各类活动正常开展。2.2 功能特性优势2.2.1 人性化信息服务2211一站式服务只需要访问数字化校园产品之统一信息门户平台，即可在自己身份权限范围内查询到来自不同信息子系统的信息，处理相关事务，无需重复地登录到不同的信息子系统。2212全方位服务数字化校园产品服务提供涵盖学习、生活、工作等方方面面的服务，为校园不同用户带来各种各样的便利。2211个性化服务根据校园用户在学校中的不同角色，提供不同的服务，如：面向学生提供教务、学生工作信息、就业兼职等信息服务；面向教师提供教务信息、辅助办公等服务；面向图书馆馆员提供图书馆管理相关服务；面向所有校园人提供公共信息服务，同时可自行定制需要的服务。2.2.2 4主动式服务根据用户定制的个性化服务，主动向用户提供信息服务，可以发送短信、即时消息等。2.2.3 可视化监控管理产品提供集中的系统监控平台，使系统管理人员能实时监控到整个系统的运行状态。1.1.1 可控型数据交互方式树维数字化校园产品能够对数据流程提供强有力的应用监控。它提供成熟的方便的数据流转监控工具，对数据交换进行实时监控，及时发现故障，便于用户进行信息跟踪和系统维护。1.1.2 图形化配置工具产品提供图形化配置工具，用户只需通过简单的拖拉拽、选择等方式就可以确定传输内容和方式，让用户从复杂的脚本语言中解脱出来，降低用户的使用难度和运维成本。1.1.3 高效的数据同步方案利用数据交换平台，实现用户、权限的高效同步，减少人工干预。产品支持应有系统间的异步、同步；定时、实时；增量、批量等数据交换方式，能够方便的实现复杂网络的互联，支持高强度的加密、压缩/解压缩、传输内容验证等方式解决多个校区、不同网络之间的系统通讯问题，保障数据安全可靠高效的传输。1.1.4 灵活的权限控制模式产品提供了基于角色的分级权限控制模式，学校可以方便地根据实际情况确定权限控制策略。1.1.5 强大的用户管理产品实现了用户信息的统一管理，建立组织机构树，实现了用户与组织机构的动态维护，用户身份信息支持LDAP和数据库的同时存储。1.1.6 统一的认证服务针对不同平台提供统一的身份认证接口，认证接口可动态扩展。支持cc+接口、CoM接口和JaVa接口。支持包括用户名/口令、智能卡、数字证书在内的多种认证集成模式，满足不同应用的认证集成。2.3产品性能体系2.3.1 跨平台支持多种平台，支持跨平台的部署。2.3.2 高性能公共数据平台采用多种数据校验方法，保证数据的一致性，利用数据库技术、CACHE技术和并行处理技术保证数据处理系统性能，可在保障服务器压力负荷的前提下尽量提高信息交互的速度。2.3.3 健壮性在输入校验、出错友好性等方面做了充分的考虑。2.3.4 可扩展性公共数据平台与数据交换平台的无缝连接，适应高校业务和数据的不断变化和增加;同时，建立了统一的数据服务机制，保证向应用系统提供数据服务的可扩充。2.3.5 高可靠性针对较大的并发访问，除可对硬件服务器进行集群管理外。在软件层面，系统还提供的软路由功能,既web端被多次部署,系统可根据服务器的负载进行分流。支持集群、热备、负载均衡集成。2.3.6 安全性采用热备份机制，能够保证系统在最短的时间内恢复正常，将损失降低到最低限度。同时，融合业界各种加密技术，保证数据传输安全。2.3.7 开放性支持异构平台、异构数据库、异构系统的数据交换和集成。数据交换平台支持各类平台和数据源之间的信息共享和交互，可自动实现OraCIe、DB2、SQLSerVer、InformiX等各种主流数据库或格式非格式文件之间的数据转换和交互，该转换过程对用户和应用透明。因此，各应用系统在通过交换中心进行数据交互时，只需考虑交换数据的内容，类型和格式，而无须考虑异构平台，数据库之间的差异。2.3.8 灵活性 支持实时、定时、状态触发等各种数据访问、交换方式数据交换平台可支持常连接、偶连接两种数据访问方式，并在此基础上提供实时、定时.、状态出发等多种数据访问和传输方式。用户可根据需求选择基于消息、基于日志、基于事物等各种同步，异步数据传输方式，充分满足各类用户数据交换的需求。 传输内容可精确定义，提高传输速度，减少冗余数据交换平台采用的是基于增量和变换的数据传输方式，并提供了灵活的传输数据定义工具和语言，用户可根据业务需求灵活定义传输数据的内容，可对数据进行横向或纵向划分，确保接收方只能获取与他们的工作有关的定制数据。减少数据冗余，可大大减轻网络负载，减少通讯量和通讯费用，提高传输效率。 可实现一对一、一对多、多对一、多对多等多种数据交换方式数据交换平台为每个参与数据交换的应用提供标准接口，可支持网状，层次等多种网络拓扑结构，对接入系统的数目没有限制，并对一对一、一对多、多对一、多对多等各种状况提供专用和通用解决方案。用户可根据需要自行选择不同构建方式。第三章产品技术架构41总体架构基于SOA体系架构的全局服务模型来构建数字化校园总体架构，将学校的资源、数据、信息和应用流程，按照基于服务的方式整合起来，使它们之间彼此互相关联、数据共享、融通。门户展示与服务交付层校园门户个人信息一站式服务决策分析系统决策支持系统综创S警系统业务应用服务层（职能专展应用公共服务应用运维监控服务体系教务、学工管理、人事管理，国际合作信息系统，财务管理、科研管理、费产管理、图书馆樊源服务等站群系统、邮件系统、即时通讯、公文传输系统、办公（M系统、会议系统等应用支撑服务层应用部署/应用运行环境企业服务总线BI/报表应用服务构件系统工作淡境一支付平台视频平台统一认证系统数据资源服务层数据交换服务平台（基嚼（据库'）（主献据库）（业领据库）（数据仓库基础设施月艮务层IT基砒设福:-计算资源）（存储/灾备资源）（1）信息基础设施层一一数字化校园建设的基础IT基础设施为数字化校园建设打下硬件基础。主要包括校园网、服务器、存储设备等硬件以及数据库、中间件等系统软件。(2)基础支撑平台层一一数字化校园建设的支撑数字化校园基础平台是为各应用系统提供支撑的技术平台，通过构建各种基础性的技术平台，使各应用系统建设能够遵循统一的技术规范和标准，实现应用之间的数据整合、应用整合、门户整合，从而形成一体化的数字化校园。 通过数据交换平台，实现学校各应用系统之间的实时和批量数据交换，实现应用系统到公共数据平台之间的数据采集和同步，从而建立学校统一的数据交换渠道。 通过公共数据平台，对学校的公共的核心数据进行统一管理，形成统一的信息标准，实现数据层面的整合和一体化。 通过服务整合平台，建立SoA架构的技术标准，采用ESB等成熟技术，实现各应用系统之间的业务流程整合和跨部门的业务协同，实现服务层面的整合和一体化。 通过身份认证平台，建立学校统一的用户管理、权限控制以及用户身份认证，实现身份管理的整合和一体化。 通过校园门户平台，利用成熟的门户技术，使各应用系统能在前台形成一体，实现单点登陆和个性化服务，为学生、教师提供统一的教学、科研、校园生活等方面的服务和信息，实现校园服务的整合和一体化。(3)全局应用系统层一一数字化校园建设的成果应用系统是直接提供支持学校各项工作的各种应用系统，覆盖了学校在教学、科研、管理、服务等各个领域，是数字化校园成果的最终体现。按照主要使用对象和使用目的的不同，可以将数字化校园应用系统划分为三大类型： 业务管理类应用系统。主要面向学校的各级管理部门，为其日常的业务管理提供支持，是数字化校园的后台核心业务系统。主要包括：教务管理系统、科研管理系统、学生管理系统、资产管理系统、人事管理系统、财务管理系统等。 师生服务类应用系统。主要面向全体师生，为其提供教学、科研、生活、交流等各种服务，这些服务系统有的是管理类应用系统的延伸，有的则是需要协同多个管理系统提供全局性服务。 决策支持类应用系统。主要面向学校各级领导，它通过充分利用公共数据平台的核心数据，利用主题查询、报表分析工具、商业智能工具等技术，灵活构建为学校领导决策提供支持。Z2技术支撑层架构3.2.1 硬件支撑平台架构3.2.1.1 数据库服务器组公共数据平台服务器和应用数据库服务器是学校最核心的资源之一，主要承担公共数据平台和应用系统以及门户的数据存储、管理和数据处理等工作，其选型直接影响投资规模和系统成败。由于服务器中存放了整个系统的业务数据、运行数据、各种全局参数，数据存储量大，必须确保数据的安全和数据处理能力。因此，对该设备的安全性、稳定性、扩展性和性能都具有较高要求。对数据库服务器在技术上有如下要求： 具有高性能处理器，可进行多CPU扩展； 内存具有较高扩展性； 具有较高的内存总线速度； 可靠性支持：自动再引导，散热控制，冗余供电系统，带纠错码（ECe）的高速缓存和内存； 可用性支持：对于主机硬件设备、应用程序错误、数据库系统故障、网络端口故障、网线接触故障、主机响应故障等，应用系统应配备CIUSter高可用备份软件，做到不停机应用切换，确保系统平稳运行； 具有内置的RAID支持借以低成本高效率地组织用户磁盘上的数据； 提供可靠的操作系统支持下列应用软件：网络应用、科学计算、数据库等。1.1.1 1.2数据交换平台服务器数据交换平台完成学校各系统之间的数据交换，需要部署在数据交换服务器上，建议采用2台刀片服务器，安装LinUX操作系统，集群部署。另外数据交换平台的部署还需要适配器工作站，由于适配器采用了精内核技术、不保留业务数据、不进行业务处理，其客户端只使用很小的系统资源，只需要低档PC即可。适配器的部署数量根据学校实际的网络情况设计，如果所集成业务系统都在同一网段，部署一台适配器服务器即可。1.1.2 身份认证服务器完成学校平台应用及各应用系统的统一身份认证工作，具有访问量大的特点，是校园网应用的基础，建议采用2台服务器，安装LinUX操作系统，集群部署，正常情况下，2台服务器同时提供目录访问服务，当其中1台发生故障时，所有服务由1台提供，保障门户应用的不间断服务。1.1.3 软件支撑平台架构树维信息选择Oracle成熟的商业软件平台来搭建学校的数据中心平台系统，在本章节中，基于上述系统体系框架，树维信息给出层次模型中各功能域与Orade产品的映射关系，从宏观上理解在数据中心平台系统建设所要使用到的Oracle主要产品或产品功能模块有哪些及其所要部署的位置及其要实现的主要功能。1.1.4 数据库设计对于统一数据库平台，无论是现阶段的数据中心建设还是未来的数据仓库建设，数据库设计都是其核心内容之一，本期工程建设虽然以ODS为主，但在数据模型设计时要需要充分考虑到未来向数据仓库发展的要求。在这里树维信息结合公司多年积累的数据库设计经验，参照高校业务和管理模式，对本期及后期工程的数据库设计中涉及到的建模原则、建模技术、模型结构、优化、扩展等方面进行了统一考虑，可以作为系统建设时的依据。1.1.5 数据建模1241建模原则数据建模一般在业务需求分析之后开始，是数据中心和数据仓库构造工作正式开始的第一步，正确而完备的数据模型是用户业务需求的体现，是项目成功与否最重要的技术因素。高校的信息系统具有业务复杂、机构复杂、系统庞大的特点，因此，在数据建模时必须注意以下几个方面， 满足不同层次用户的需求高校的业务流程十分复杂，统一数据库平台涉及的用户众多，在进行数据模型设计的时候必须兼顾不同业务部门、不同层次、不同级别用户的信息需求。统一数据库平台应该支持学校的各种业务，不同的业务部门对信息的需求各有不同,应考虑各个部门的需要；不同层次的组织所关心的信息不同，数据模型应支持不同级别的信息需求。 兼顾效率与数据粒度的需要数据粒度和查询效率从来都是矛盾的，细小的数据粒度可以保证信息访问的灵活性,但同时却降低了查询的效率并占用大量的存储空间，数据模型的设计必须在这矛盾的两者中取得平衡，优秀的数据模型设计既可以提供足够详细的数据支持又能够保证查询的效率。 支持需求的变化用户的信息需求随着市场的变化而变化，所以需求的变化只有在市场竞争停顿的时候才会停止，而且随着竞争的激化，需求变化会越来越频繁。数据模型的设计必须考虑如何适应和满足需求的变化。 避免对业务运营系统造成影响共享数据中心的容量随时都在增加，它的运行很容易占用很多的资源，比如网络资源、系统资源，在进行数据模型设计的时候也需要考虑如何减少对业务系统性能的影响。 考虑未来的可扩展性共享数据中心是一个与学校同步发展的有机体，数据模型作为数据库的灵魂必须提供可扩展的能力，在进行数据模型设计时必须考虑未来的发展，更多的非核心业务数据必须可以方便的加入到核心数据库中，而不需要对原有的数据模型进行大规模的修改。同时，还要充分考虑到共享数据中心向数据仓库的扩展问题。工242建模技术共享数据中心扮演两个不同角色，它既具有业务处理的特征又具有决策支持系统(DSS)的特征。DSS特征是通过其集成和主题取向来定义的。操作特征是指其高可用性和快速响应时间，因此共享数据中心可以充当关键任务应用程序的基础。有两种不同的数据建模方法可以满足共享数据中心的需要：实体关系模型(ERM)维度建模(星型)12.4.2.1ERM建模由于ERM可用于理解和简化商业领域和复杂系统环境中的模糊数据关系，因此它是一种抽取工具。ERM建模方法可使用以下两个基本概念产生特定兴趣领域的数据模型: 实体实体可定义为人、地点、事情，以及商业或组织的相关事件一例如"产品，实体代表一类对象，它们是现实世界中可以按属性和特征进行观察和分类的一些事物。 关系关系描述模型中各实体之间的结构性交互和关联，它显示了实体间的相关性。共享数据中心采用3NF模型。这类模型最初是为最小化数据冗余而设计的，因为该模型在值发生改变时，可使数据库中的更新数量达到最小。此功能说明了它对OLTP数据库的价值以及现在更新共享数据中心时的价值。TtlI2维度建模维度建模是一种将数据模型概念化和形象化为一组可用一般商业概念描述的度量的技术。在总结和重新整理数据以及显示数据视图以支持数据分析时，该技术特别有用。维度建模主要处理数字数据，比如值、计数、重量、平衡和出现次数。维度模型的基本概念为： 事实事实是相关数据项的集合，包含度量和环境数据。每个事实一般代表商业项、商业事物或可以在商业或商业过程分析中使用的事件。 维度维度是从特定角度描述事实数据的一组成员或单位。在图表中，维度通常是用轴来表示的。在维度模型中，事实表中的每个数据点都与多维中每个维度的一个成员相关联。维度决定了事实的环境背景。 度量度量是事实的数字属性，表示商业相对于维度的性能和行为。其实际成员称为变量。例如，度量为销售额、销售量、供应量等等。度量由维度的成员组合来决定，并定位到事实中。12.4.2.n确定建模技术根据经验，在选择建模技术时，采用组合的方法比采用单纯的方法更好。如果使用得当，这两种方法都有好处，共享数据中心一般会同时使用两种方法。这两种数据建模技术有时看上去有很大的不同，但它们也有很多相似之处。维度建模可以使用相同的符号，比如实体、关系、属性和主关键字。而且，通常您可以说事实就是一个实体，其主关键字为外关键字的组合，而外关键字又引用维度。因此，树维信息可以说维度建模是ERM建模的一种特殊形式。但是，传统的ERM有着平均而平衡的实体风格以及实体间复杂的关系，而维度模型却非常不对称。优先使用哪种技术取决于共享数据中心的目的；但一般来说，如果共享数据中心用作单纯的业务处理，则优先使用ERM技术。在业务处理中，树维信息通常只是对非常特殊的任务请求少量数据。这些任务一般由ERM的实体来表示。在业务处理中，您同样需要来自源系统的非常快的数据。由于ERM中没有数据或只有少量的冗余数据，因此您可以从源系统或通过应用程序非常快地进行更新。快速更新功能的另一个原因是现有系统通常也是使用ERM设计的。因此在更新过程中的转换需要可能会非常小。如果共享数据中心更多地用作数据访问系统，那么就优先使用维度建模方法。在这种情况下，您通常已安排了数据更新。在更新数据的过程中，可进行许多转换，并可安排数据以满足数据访问应用程序的需要。这也意味着更高的数据冗余可使用于分析的复杂查询更快速地进行。树维信息使用维度建模的原因如下： 分析的类型导致使用维度建模。 所用的查询工具要求使用维度建模或可从中受益。 用户更乐于以维度方式思考。 从维度数据存储（如数据集市）加载数据。对于大量使用维度的访问来说，分析所需访问是更加高效的。成功数据模型的基础是对商业需求非常准确的分析。根据商业问题的情况，建模的中间形式可能会多种多样。如果统一数据库平台要实现多个目的，则必须决定针对每个目的使用咖种技术。就统一数据库平台的物理数据库设计而言，不需要特殊的技术。可以使用所有已知技术（比如以物理方法合并表、使用索引或定义清除条件）从数据库中抽取数据。3.2.5数据库优化本系统需要进行海量数据处理，因此性能优化将是系统运行过程中的一个主要问题,从下面几个方面来考虑数据库的性能优化。42«1结构设计优化 索引设计设计好的、适当数量的索引，以大幅度提高常用查询的速度。主要针对常用的查询条件设计索引，索引的数量要适度，每个表的索引数量为2至5个，最多不超过8个。 适当冗余为了提高性能，设计适当冗余，不强求遵循关系数据库第三范式，但必须遵循第二范式。 使用物理视图对经常使用的视图或者一些简单的统计，可以考虑使用物理视图，可以提高系统的响应性能，也能在一定程度上减少维护的工作量。R2S2物理设计优化可以将数据划分为不同种类来简化设计的考虑。根据数据量大小分为大表（Ie）O万条以上记录）、中表（10至100万条记录）、小表（10万条以下记录），同时要综合考虑表的字段长度。根据增长情况分为稳定型表、递增型表。为了方便数据的管理和数据的备份，根据入库数据的时间属性将数据库逻辑的划分为当日数据层和历史数据层（通过SCHEMA）0 表空间设计根据数据量估算结果设计表空间，一般来讲，大表是每个表一个表空间，每个表空间的容器散布在多个并行磁盘上；中表可以多个表使用一个表空间，表空间的容器散布在多个并行磁盘上；小表可以很多表使用一个表空间，且表空间可以不用散布在不同的磁盘上，放在一个磁盘上即可。对递增的表空间，可以按照预算规模，先分配一定时间（比如半年）的容量，待容量扩充时再进行扩充。进一步，还可以对数据的使用时间进行分析，经常在同一时间被使用的数据，应该注意避免放在同一表空间或同一组磁盘上，以获取最好的并行性能。 数据分区数据分区能够极大地提高那些对并行性要求高的数据的性能。树维信息根据表的大小、并行性的要求确定哪些表需要分区存放，根据各表的主键特性确定其分区方案。Oracle提供了多种分区方式，可以根据不同表的特点选择使用。424?运行中的优化 数据库参数设置和优化根据数据量、内存和CPU数、进程数、用户数、应用程序数，先设定经验值。在运行中间监视性能变化情况，根据发现的情况进行适当的调整，或者根据需要增加相应的配置。 定期更新统计信息定期对所有数据表更新其统计信息，以便系统在对SQL语句生成存取计划时依据最新的统计信息选择正确的做法，从而获得优化的性能。 使用适当的隔离级别要求应用程序中使用适当的隔离级别，减少锁的产生，避免死锁。3.2.6数据库扩展1261存储设备扩展一般系统初建时，由于种种原因，不一定也不必要一步到位地购置足够的存储设备,可以等到需要时再行购置。另外，无论最初购买的存储设备有多大，随着数据量的增长，总会有不够用的可能性。这都要求能对存储设备进行扩展。在本系统设计的框架下，很容易对存储设备进行扩展。可以购买同样型号的存储设备，或者根据策略的变化购买较低档次或其它品牌的存储设备。对存储容量进行线性扩展，最简