几种常用关系型数据库架构和实现原理.docx

Oracle()Oracle架构OracleServer包括数据库(Database)和实例(Instance)两大部分,两者相互独立。数据库由数据文件、控制文件和日志文件组成，实例由内存池和后台进程组成，示意图如下：procPasswordDatabase一台OracleServer可创建多个Database,不同的DatabaSe之间相互独立。每个Database有属于自己的全套相关文件，如：密码文件，参数文件，数据文件，控制文件和日志文件Database由一系列物理文件(如二维表文件)组成,用户不能亘接读取Database中的内容，必须通过OraCIeinstance才能读取,一个Instance只能连接一个Database,但是一个DatabaSe可以较多个InStanCe连接。各功能组件说明如下：1、用户连接进程用户连接进程是连接用户和OradeInstance的桥梁.包括：用户进程、服务进程和PGA用户进程UserProcess当一个DatabaseUser请求连接到OraCIeServer时QraCIeServer创建的UserProcess.ServerProcess服务进程用于处理DatabaseUSer和OradeSerVer之间的连接.程序全局区PGAPGA:由ServerProcess分配，用于当前UserSession的内存区，不同的用户拥有不同的PGA.PGA包含了SerVerPr。CeSS数据和控制信息的内存区域.包括钱空间、Sessioninfo,私有SQ1.区.2、SGA(SystemGlobalArea)SGA与Oraele性能息息相关，在Instance启动时被分配,关闭时技释放.主要包含如下几种数据结构：数据库缓冲区(Databasebuffercache)oracle执行SQ1.语句的区域.当进行数据更新或数据直询时，用户执行的SQ1.语句不会直接对磁盘上的数据文件进行更改操作，而是首先将数据文件复制到数据南缓冲区缓存，再更改或套询缓存中的副本.此外，被烦繁访问的数据块会存在于数据库缓冲区缓存中.日志缓冲区(RedologBuffer)用于短期存储redolog.共享池(SharedPool)用于缓存所有频繁执行的代码和频繁访问的对演定义.共享池内有下列三种数据结构：库缓冲(librarycache):存惆最近执行的代码数据字典缓存(datadictionarycache):存储最近使用的对象定义PuSQ1.缓冲区(P1./SQ1.buffer):用于存储过程、函数、打包的过程、打包的函数、对象类型定义和触发器.大型池(1.argeBuffer)用于共享的服务器进程.JAVA池(JavaBuffer):只有当应用程序需要在数据库中运行java存储程序时，才需要java池.3、后台进程后台进程主要用于数据库管理，是OradeInstance和OradeDatabase的联系纽带，分为核心进程和非核心进程.D核心进程：数据库写入进程(DBWn)SerVerpr。CeSS连接Orade后通过数据库写进程(DBWn)将数据缓冲区中的“脏缓冲区”的数据块写入到数据文件；检音点进程(CKPDCheckpoint(CKPT)检查点进程主要用于更新数据文件头,更新控制文件和触发DBWn数据库写进程.进程监视进程（PMON）当后台进程执行失败后负责清理数据库缓存和闲置资源，是OraCIe的自动维护机制.系统监视进程（SMON）用途如下：当数据库实例崩溃时，用于数据库实例的自动恢豆.清除作废的排序临时段，回收整理碎片，合并空闲空间，释放临时段，维护闪回的时间点.里做日志文件和日志写入进程用于记录数据库的改变和记录数据库被改变之前的原始状态，当满足以下条件时.激活1.GWR:提交指令日志缓冲区超过1/3每三秒每次DBWn执行之前2)非核心进程归档进程(ARCn)是可选的后台进程，当数据库处于Archive1.og模式时，自动归档redolog,并保存数据库的所有修改记录.SGA(SystemGlobalArea)和后台进程组成Instance.4、存储结构存储结构可从物理结构和逻辑结构两方面理解。1) 物理结构Database物理结构：是Database在操作系统中的文件集合，即：碳盘上的物理文件，主要由数据文件、控制文件、重做日志文件、归档日志文件、参数文件、口令文件组成。数据文件、再做日志文件、控制文件、跟踪文件、警告文件属于数据库文件DataFiles数据文件是数据的存储仓座,数据被使用时才被调入内存中的.Redo1.ogFiles至做日志文件包含对数据库所做的更改操作记录，在Orade发生故障时能够恢豆数据。ControlFiles控制文件包含维护和验证数据库完整性的必要的信息,例如，控制文件用于识别数据文件和里做日志文件，一个数据库至少需要一个控制文件.跟踪文件(TraceFiles)在instance中运行的每一个后台进程都有一个跟踪文件(tracefile)与之相连.Tracefile记载后台进程所遇到的重大事件的信息。警告日志(Alert1.og)是一种特殊的跟踪文件，每个数据库都有一个跟踪文件，同步记载数据库的消息和错误.参数文件、口令文件、归档文件属于非数据库文件.ParameterFile实例参数文件，当启动oracle实例时，SGA结构会根据此参数文件的设置内存，后台进程会据此启动.PasswordFile用户通过提交username/password来建立会话，Oracle根据存储在数据字典的用户定义对用户名和口令进行验证.归档文件是重做日志文件的脱机副本，这些副本可能对于从介质失败中进行恢复很必要。2) 逻辑结构表空间用于存储数据库对象的逻辑空间，是信息存储的最大逻担单位，是一系列数据文件的集合.一个数据库可以由多个表空间组成，每个表空间包括多个段.是对象在数据库中占用的空间.段是区的集合区：是为数据一次性预留的一个较大的存储空间，区是块的集合块：ORAC1.E最基本的存储单位，在建立数据库的时候指定，井被映射到磁盘块。3) 逻辑空间到物理空间的映射Oracle6（/6*i逻Z柏*rj1结A构理物对软（&、视图等）数据段本/段1NttKIKJ索“IXfuJ数切块数据块N物理文件物JT.站构物理块（二）OracleRDBMS的运行过程1. User访问OradeServer之前提交一个请求（包含了db_name.password.instance_name、username等信息）;2. OracleSerVer接收到请求并通过PasswordFile的验证后，分配SGA内存池，启动后台进程同时创建并启动实例；3. 启动实例之后，UserProcess与ServerProcess建立Connect;4. Serverprocess和OradeInStanCe建立Sesscion,随后接收用户请求，执行相关或作；(三)写SQ1.语句的执行过程1 .用户执行SQ1.语句，Serverprocess收到后，将SQ1.语句送到Instance,再将SQ1.语句载入数据库缓冲区.2 .ServerProcess通知OracleDatabase将与SQ1.语句相关的数据块副本加载到缓冲区中。3 .在数据库缓存区执行SQ1.语句，修改数据文件副本，形成"脏缓冲区”4 .CKPT检查到“脏缓冲区”,调用DBWn数据库写进程,5 .在DBWn运行之前，先运行了1.GWR,将数据文件的原始状态和数据库的改变记录到Redo1.ogFiles6 .运行DBWn1将“脏缓冲区的内容写入到数据文件"7 .同时CKPT修改控制文件和数据文件头8 .SMON回收不必要的空闲资源9 .返回结果给用户(四)OraCIe的高可用性架构1) OracleRAC(RealApplicationClusters)RAC是Orade数据厮的一个群集解决方案包括计算层和存储层.如下图所示:计算层储层节点1节点nRedologUndo叁数文件11归档日志共享存储<XFS,s,0CFS2.RAW.ASM)D存储层一共享存储OracleRAC的核心是共享破盘子系统，集群中所有节点必须能够访问所有数据文件、页做日志文件、控制文件和参数文件，因此，这些文件必须存放在共享存储中.常用的共享存储方式有OCFS、OCFS2、RAW、NFS、ASM等.说明如下：OCFS(OracleClusterFileSystem)IQOCFS2都是文件系统，和NFS一样，提供集群环境共享存储的文件系统.RAW裸设备也是一种存储方式.把共享存储映射到RAWDevice,Oracle在存储数据时，选择RAWdevice存储即可.但相对于文件系统来说，RAW不直观,不便于管理，而且有数量的限制，现已被OCFS取代.ASM是一种数据库存储的方案，并不是cluster的方案，使用ASM时,还需使用OCFS/0CFS2或RAW.2) 计算层计箕层至少需要两台以上的服务器，在每台服务器上安装集群软件和OraCIe的RAC组件，从逻辑结构上看，每个节点都有一个独立的实例，这些实例访问同一个数据库.节点之间通过集群软件的通信层(Communication1.ayer)进行通信，利用高速缓存合并技术，实现集群中各节点缓存的高速同步，使得集群中的每个实例，都保留了一份相同的数据库cache,从而嵌大限度地低降低磁盘I/O.因此，RAC有如下特点：每一个节点的实例都有自己的SGA;每一个节点的实例都有自己的后台进程每一个节点的实力都有自己的redologs每一个节点的实例都有自己的undo表空间所有节点都共享一份datafiles和controlfiles2、DataGuard在DataGUrad环境中,至少有两个数据库，一个主库(PrimaryDatabase)处于Open状态,另一个备席(StandbyDatabase)处于standby状态.备库又分物理库和逻箱库.物理库和主库完全一样，通过RED。应用来保持与主库的数据一致性，支持只读服务；逻辑库通过SQ1.应用，在备库端执行和主库同样的SQ1.语句，以此来保持与主库的数据一致，因此文件的物理结构(甚至数据的逻娼结构)都可以与主库不一致.逻辑库支持读写服务.DataGuard适合多机房方案，实际部罟时，主库部署在主机第,备库部署在其他机房。二、MySQ1.(一)MySQ1.架构连接翳(Connectors)连接池(CnectionPool)存储引率(PluggableStorageEngines)F文件系统(NTFS,gM=S、SAX,NAS)文件4日志Redo、Indo,Data、IndexEtc.1、连接器(Connectors)MySQ1.向外提供的接口，如java,.netfphp等语言可以通过该组件来操作SQ1.语句，实现与SQ1.的交互.2、苣理服务组件和工具组件(ManagementService&Utilities)提供对MySQ1.的集成管理,如备份(BaCkUP),恢复(Rec。Very),安全管理(SeCUrity)等3、连接池组件(ConneCtionPool)负责监听对客户端向MySQ1.SerVer端的各种请求，接收诘求，转发谙求到目标模块。每个成功连接MySQ1.Server的客户请求都会孩创建或分配一个线程，该线程负责客户端与MySQ1.SerVer端的通信,接收客户端发送的命令,传递服务端的结果信息等.4、SQ1.接口组件(SQ1.lnterfaCe)接收用户SQ1.命令，如DM1.1DD1.和存储过程等，并将展终结果返回给用户。5、查询分析器组件(ParSer)首先分析SQ1.命令语法的合法性，并尝试将SQ1.命令分解成数据结构，若分解失败,则提示SQ1.语句不合理。6、优化器组件(OPtimiZer)对SQ1.命令按照标准流程进行优化分析.7、缓存主件(Caches&Buffers)缓存和缓冲组件8、MySQ1.存储引擎MySQ1.属于关系型数据库，而关系型数据库的存储是以表的形式进行的，对于表的创建，数据的存储，检索，更新等都是由MySQ1.存储引擎完成的。因MySQ1.的开源性，允许第三方基于MySQ1.骨架，开发适合自己业务需求的存储引擎.因此，MySQ1.支持的存储引擎种类较多,可以分为官方存储引擎和第三方存储引擎。当前，MySQ1.的存储引厚有MyISAM、InnoDB、NDB,Archive.Federated.Memory.Merge、Parter、Community.Custom等.其中.比较常用的存储引擎包括InnoDB,MyISAM和Momery.9、物理文件(FileSystem)实际存储MySQ1.数据库文件和一些日志文件等的系统,如1.inux,Unix1Windows等.(二)一个查询流程图()MySQ1.的高可用架构因MySQ1.的开源属性，其高可用架构非常灵活，目前启用的主要有以下几种：1、主从复制模式这是MySQ1.自身提供的一种高可用解决方案，数据同步方法采用的是MySQ1.replication技术.为了达到史高的可用性，在实际的应用环境中，需要配合高可用集群软件keepalived来实现自动failover,否则，需要手工切换.2、MHA（MasterHighAvailability）MHA是相对成熟的高可用解决方案，该软件由两部分组成：MHAManager（管理节点）和MHANode（数据节点）.搭建MHA时，要求一个集群必须最少有三台数据库服务器1.主二从（即一台master,一台备用master另外一台slaveMHAManager可以单独部署在一台独立的机器上管理多个master-slave集群，或部署在一台slave节点上,MHANode运行在每台MySQ1.服务器上.运行时，MHAManager会定时探测集群中的master节点，当master故障时，会自动将最新数据的slave提升为新的master,然后将其他所有slave市新指向新的master,整个故障转移过程对应用程序完全透明。整个切换过程如下：从宕机崩溃的master保存二进制日志事件(binlogevents);识别含有最新更新的slave;应用差异的中继日志(relaylog)到其他的slave;应用从master保存的二进制日志事件(binlogevents);提升一个slave为新的master;使其他的slave连接新的master进行复制;3、MGR(MySQ1.GroupReplication)MGR是MySQI.官方推荐的另一种高可用架构，算制组间的数据同步基于Paxos协议.当客户端发起更新事务时，该束务先在本地执行，执行完成之后就要发起对事务的提交操作。在还没有真正提交之前，需要将产生的系制写集广播出去，复制到其它成员.如果冲突检测成功，组内决定该事务可以提交，其它成员可以应用，否则就回滚.组豆制可以在两种模式下运行：单主模式下，组复制具有自动选主功能，每次只有一个Server成员接受更新，其它成员只提供读服务。多主模式下，所有的Server成员都可以同时接受更新，没有主从之分，成员角色是完全对等的.三、PostgreSQ1.(一)PostgreSQ1.的体系架构PostgreSQ1.使用C/S模式提供服务。客户端和服务器可以在不同的主机上，通过TCP/IP进行网络连接，架构如下:Postgresrostgres共享内存本地内存ClientProcessmanintanct.workmBackgroundProcess（启台进程）（三5O®BackendProcess（后线进程）数据缓冲区WA1.缓冲区ClOg线冲区文件存储数据文件WA1.文件控制文件1、主进程Postgres（常驻进程）主进程是P。StgreSQ1.启动时，第一个启动的进程Postgres4启动时,他会执行恢食、初始化共享内存，启动后台进程.当有客户端发起链接请求时，Postgres会生成子进程，同时创建后端进程.是整个数据摩实例的总控进程，负责启动和关闭该数据而实例.2、P。StgreS（子进程），子迸程Postgres接受前端请求，对数据库进行检索，最后返回结果.如请求是对数据麻进行更新，会先记录日志（PostgreSQ1.称为WA1.日志），以便宕机电启时的数据恢豆.另外，日志会定期归档保存，以便需要时进行数据恢豆.3»后台进程(BackgroundProcess)Syslogger（系统日志）进程将错误信息写到Iog日志中.BgWriter（后台）进程周期性的将脏内存块写入文件。Checkpointer当检直点出现时，将脏内存块写到数据文件WalWrite（预写式日志）进程将WA1.（WriteAhead1.og预写式日志）缓存写入WA1.文件。PgArch（归档）进程在归档模式下时，豆制WA1.文件到特定的路径下.WA1.日志会被循环使用，PgArCh在归档前会把WA1.日志备份出来。通过PITY（PointinTimeRecovery）技术，可以对数据库进行一次全量备份后，该技术将备份时间点之后的WA1.日志通过归档进行备份使用数据库的全量备份再加上后面产生的WA1.日志，即可把数据库向前推到全量备份后的任意一个时间点.AutoVacuum（自动清理）进程当自动VaCUUm被启用时，用来派生autovacuum工作进程.autovacuum进程的作用是在需要时自动对膨胀表执行vacuum操作.在PostgreSQ1.数据库中，对表进行DE1.ETE操作后，旧的数据并不会立即被删除，并且，在更新数据时，也并不会在旧的数据上做更新，而是新生成一行数据.旧的数据只是被标识为删除状态，只有在没有并发的其他事务读到这些就数据时,它们才会被清楚,这个清除工作就有AutoVacuum进程完成。PgStat（统计数据收集）进程用来收集数据库统计信息.4、共享内存和本地内存示意图如下：共享内存PostgreSQ1.启动后，会生成一块共享内存，用于做数据块的缓冲区，以便提高读写性能.WA1.日志缓冲区和Clog缓冲区也存在共享内存中，除此之外还有全局信息比如进程、锁、全局统计等信息也保存在共享内存中.数据缓冲区通过BgWrite进程，定期将数据写入数据文件.WA1.缓冲区通过WA1.Write进程写入WA1.文件，并通过PgArch定期进行归档，写入归档日志本地内存非全同存储的数据都存在本地内存中，主要包括：临时缓冲区：用于临时表.默认值为8MBwork.mem:用于排序、位图索引、哈希链接和合并链接操作.默认值为4MB.manintance_work_mem:用于VaCUUm和创建索引操作，默认值为64MB.（二）数据结构1. 数据库相关概念：PostgreSQ1.由一系列数据库组成.一套PostgreSQ1.程序称之为一个数据库群集.当initdb()命令执行后，temlate,template】，和ostgres数据库被创建。template。和templatel数据库是创建用户数据库时使用的模版数据库，他们包含系统元数据表.initdb()度完成后，template。和templatel数据库中的表是一样的.但是templatel数据库可以根据用户需要创建对象。用户数据库是通过克隆templatel数据而来创建的；2. 表空间相关概念：initdb()后,创建pg.default和pg.global表空间.建表时如果没有指定特定的表空间，表默认被存在pg_default表空间中.用于管理整个数据鹰集群的表默认被存储在pg.global表空间中.pg_default表空间的物理位苣为$PGDATAbaSe目录.pg_global表空间的物理位置为$PGDATAglobal目录。一个表空间可以被多个数据库同时使用.此时，每一个数据库都会在表空间路径下创建为一个新的子路径.创建一个用户表空间会在$PGDATAPg_tblspc目录下面创建一个软连接，连接到表空间制定的目录位百。3. 表相关概念：每个表有三个数据文件：一个文件用于存储数据（文件名是表的OID）;一个文件用于管理表的空闲空间（文件名是OID.fsm）.一个文件用于管理表的块是否可见（文件名是OIDjzm）.索引没有一Vm文件,只有OID和OlD_fsm两个文件（三）后端进程的处理流程接收前端发送过来的直询（SQ1.文）构文解析,将SQ1.文（单纯的文字）转换成构文树parsertree.构文树解析完以后，换为查询树.这时会访问数据库，检查表是否存在，如果存在的话，则把表名转换为OID.这个处理称为分析处理（AnaIyze）.因P。StgreSQ1.还通过声询语句的市写实现视图（VieW）和规则（rule）所以需要时,此阶段会对声询语句进行重写.解析直询树后，可生成计划树.按照执行计划里面的步嘿可以完成杳询要达到的目的.执行结果返回给前端。返回到步骤一蚤豆执行。四、国产关系型数据库Sa产关系型数据库较多，此处以GaussDBT为例(一)GaUSSDBT架构1 .内存结构内存结构分为4部分，如下图：JDBC/C1.I1.istenerAgentPoolsSGA1.SNR)(AgenAgent)AgenFC1.SNR)DaemonThreads1.istener:包括TCP1.SNR和IPC1.SNR,用于侦听用户的连接请求AgentPool:代理的连接池(1.OGW)(CKPT>(SMON)jQBS.<ARCH>SGA:1.ogBuffer:全局日志缓冲区，缓存redo日志DataBUffer:全局数据页缓冲区，用于缓存表索引等数据SQ1.CaChe:全局执行计划缓冲区SortArea:全局排序/物化缓冲区DictionaryCache:全局数据字典（元数据）缓冲区1.argepool,大池,存放较大的SQ1.SessionPool,全局Session池,用于存放Session后台迸程1.OGW:日志写线程，负责将logbuffer中的日志写到磁盘.CKPT:负责将脏页(DirtyPage)刷到磁盘，保证WA1.,并史新ControlFile.SMON:负责监测系统的状态，比如检测死锁，修豆异常的session.JOBS:应用定制的后台任务调度.1.OGR:日志复制，用于HA和GR.ARCH:用于日志文件归档.2 .存储结构数据以文件方式存储，主要有三种文件：DATAFI1.E,数据文件，用于存放各种数据,单库最多1024个数据文件，每个数据文件展大8T(undo除外，undo最大32G)1.OGFI1.E,日志文件，用于存放redo日志，可以击且使用，最少3组，每个redo日志文件一般建议5-20GCONTRO1.FI1.E,控制文件，用于数据库名、数据文件位置等信息，在数据库启动到mount阶段时会检直.（二）GaUSSDBT关舞技术DataBuffer内存PagelPage2WdewPdXTabcw镜像页机制磁盘1.ogBufferInsertdeCheCkPoint刷盘RedO刷盘Redolog当进行事务提交时，必须先将RedoIog刷盘.脏页数据刷盘后，可用Redo日志可回收.如果数据未刷盘前掉电，加电后需要重做Redo,保持数据的一致性.脏页队列：脏页按时序组成链表，即脏页队列，CheckPoint按该队列顺序分组刷盘；CheCkPOint任务调度：CheCkPOint后台服务线程通过定时、脏页员、Redo1.og满，三个策略满足之一会触发刷盘操作；Redo任务调度：Red。后台服务线程通过定时、Redobuffer事务提交满足之一时会触发Redo1.ogBuffer刷盘操作；镜像页机制：刷盘时间相对较长，为避免I/O阻塞，Checkpoint通过一个镜像页面缓存来完成刷盘.采用MVeC机制提高事务并发能力。（三）GaussDBT的高可用部署模式/11大可用）«1*2（文保）主苗JB÷mt三*M“帆性磔"攵求if况下,撼供游J用1、单机和主备部署模式，AM本era花式,针对JI试环境，或可IrU本校田IR2、分布式部署模式«分布式出"I：敷三50rd0分.N负曲*.观星大恻剜!务量场量分布WM可用：支捋带高可用部罟（四）典型的分布式部署架构各组件说明如下：OM(OperationManager):运维管理模块.提供集群日常运维、配百管理的省理接口、工具.CM(ClusterManager):集群管理模块。管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行.CN(CoordinatorNode):协同调度节点.负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行.集群中，CN有多个且CN的角色是平等的.DN(Datanode):数据节点.负责存储业务数据，执行数据面询任务以及向CN返回执行结果。在集群中，DN有多个.每个DN支持设百多个存储备机.GTS(GlobalTimeServer):全局时钟服务器.用于强一致场景下，为各个节点提供逻辑时钟.五、主流关系型数据库特点分析数据您名称，优点“缺点-Oracle'> 可运行于所有主流平台上运行（包括windows）,支持所有工业标准：，> 采用进程模式，对多CPU利用率高.性能好Iy> 支持非常复杂的杳询和所有类型的连接与合并；9> 有基成本的SQ1.优化器，可以对SQ1.进行分析、取写和简化、并基于成本选界索引、确定对表的慢作等：*j> 是一款优秀的商业软件，.安全性较高，使用广泛：口> 计算能力强，可期于处理复条的业务逻辑>对硬件的要求较高I÷j>IisenSw成本高.*3PostgreSQl>>是一款开源、免费，同时又是强大的关系型数据管理系统11>附带有许多强大的、开源的第三方工具来辅助系统的设计、管理和使用：*j> 采用进程模式，对多CPV利用率高，性能好1> 计算诙力强,可用于处理女杂的业务逻辑.>>不适合警隶的读操作；>国内社区活状度不如MySQ1.2MySQW> 开源,提供的接口支持多种语,7连接攥作：*j> 可在所有主流平台上运行（包括windows）：一> 采用多线程模式.可支持更多的连接；口> 使用广泛，有大量的案例支持；> 在开源数据库社区中.活妖度域高.>安全机制较差,不建汉用于安全性要求很高的系统I->对存储过程和触发器支持不然良好,不建议业务逻辑在数据座上实现的系统;1> 只支持部分SQ1.语法，不支持递归查询、分析函数等：，> 1.l被OraCIe收购.3国产数据庵>自主研发，符合监管自主可控要求；Q>具有较强的计算能力,数据库可用于处理业务逻>目前主要蒙容OraCIeA>产品推出市场时间不长.产品的成熟度有待M场验证；>应用案例较少7