该系统体系结构包括通信体系结构、主体体系结构、多媒体数据库体系结构及应用体系结构。要求系统支持并行机制,以加速系统运行,支持可扩展的海量资源存储,支持海量资源快速搜索和调度:在资源达到相当规模以后,资源会以分布的方式存储,其元数据也不再采用集中的模式,因此需要高性能的系统快速调度资源,快速搜索分布式资源,以及将查询检索结果快速整合后提供给用户。
本方案通过资源建设工作的组织与实施,建成超大规模、高质量的分布式中文数字资源库群并提供多种服务;联合引进若干国外专题资源库并实现共享;实现图书馆文献资源的联合目录系统。力争建设一个布局合理、覆盖全国、资源共享、管理现代化、且具有可持续发展能力的数字资源建设体系。
系统解决方案
系统结构
硬件系统要求具有高扩展性,高可用性,及高性能数据处理能力,例如对国家级数字图书馆建议使用机群技术来构建数字图书馆系统平台。机群的节点可选择PC服务器或Unix服务器,节点间通过高速网络互联。在系统规模不断扩大时,只需相应地增加节点,使系统不但具有良好的扩展性,还可以保护客户以前的投资,使客户的投资发挥最大的功能。
系统组成
对于大型综合类图书馆的机群系统,可以分为8个逻辑分区,每个逻辑分区完成不同的功能。
服务节点分区
中心数据处理节点分区
系统设置大量中心数据并行处理节点,配置并行计算环境,支持并行算法的搜索引擎等其它如资源加工等并行处理应用程序。
机群监控管理节点
通过机群监控管理节点,可以监测机群中所有节点地运行状况,在该节点上通过机群管理软件对机群所有分区的节点进行管理。
元数据节点分区
该分区由运行并行数据库的节点构成,由于所有的资源容量非常巨大,而且资源的对象数据库采用分布式结构,元数据库节点提供资源对象数据库所在位置。
数据库操作节点分区
数据库操作节点分区主要处理分布式资源对象数据库,承担数据库中间件的功能。对所有资源对象数据库的操作都应该通过数据库操作节点分区来执行。
数据库操作节点分区同样可由多个节点构成,并在各个节点之间进行负载均衡,分区内所有节点互为备份,使数据库操作不会成为系统的瓶颈或系统的单一故障点。
对象数据库节点分区
该分区由运行并行数据库的节点构成,储存资源的所有数据。
存储节点分区
该分区所有节点用光纤连接,构造存储区域网络(StorageAreaNetwork,即SAN)。
备份节点分区
备份中心数据的分区,通过广域网进行数据的备份。
存储系统
采用存储区域网解决方案是较好方法。其规划是,图书馆根据自身信息化网络和应用系统的复杂程度,关键数据信息量的多少,以及信息共享和管理的迫切程度,可以分两步走。第一步,先采用例如双机容错高可用服务器/主机直联外置存储系统(从保护投资和发展的角度来看最好采用FC(光纤通道)存储磁盘阵列系统)等高可用性应用系统做为过渡。第二步,待网络和应用系统变复杂后,再统一存储空间,并以存储区域网(SAN)保证图书馆多平台复杂应用系统的高可用性能。这样即节省投资,又可以在发展的同时保障信息系统的高度可用性能。
多个服务器主机通过光纤接口设备连接到光纤互连设备,而光通道的互连设备又通过光纤与多个光纤接口的磁盘设备或磁带库设备相连。这种存储网络的直接结果是,主机系统和存储设备均可以双向灵活扩展,整个系统可以形成存储共享的有机整体。同时,光纤的通道又为数据访问提供了单通道100MB/s的访问能力,大大高于传统的SCSI技术所提供的通道能力。SAN实际上为客户信息存储和管理提供了最有效的解决方案。
容灾备份
将备份分区布置在选定的中心,数据中心与容灾中心可通过局域网,城域网,广域网连接。联想为用户提供了易于实施维护的联想远程容灾系统,为客户提供了一套以SAN网络环境和异地集群系统为基础的,高效、可靠的远程容灾解决方案。
一个完整的容灾系统包括数据容灾和应用容灾两个部分:就存储系统的容灾方案而言,主要是实现异地的数据实时复制,保证在灾难发生时数据的完整性和对应用系统的可持续提供性。一般的容灾系统分为两个层面,磁盘设备硬件数据复制技术和系统虚拟磁盘卷的软件数据复制技术。
联想的SureFibre810/820系列存储系统支持硬件一级的数据快照(SnapShot)和数据镜像(DataMirroring),通过专线,很方便实现物理存储设备之间的数据交换,一般成为同步数据容灾系统。软件的数据复制技术,是指通过逻辑磁盘的复制技术实现本地逻辑磁盘和远程逻辑磁盘的数据同步,通过第三方数据复制软件,可建立基于SureFibre400磁盘存储系统和SAN交换机的软件容灾系统,一般称为异步数据容灾系统。基于存储硬件系统的容灾方案将数据容灾与应用容灾相对分离,数据复制实时性高,安全系数高,但相对的成本较高。软件数据复制技术基于操作系统实现,成本较低,对传输网络要求不是很高,该种方式对主机的开销略大,数据复制的实时性稍弱。用户可以根据其业务关键程度、安全级别,网络状况等因素来选择不同方式的容灾系统。
联想异步数据远程容灾系统
联想异步数据远程容灾系统着重针对大型公司、组织或政府部门对远程灾难恢复系统的需求,提供支持各种操作系统平台、数据库应用和网络应用的系统容灾服务。该方案具有以下特点:
基于SureFibre810/820系列的企业级存储系统,通过支持LUNMASK功能的管理软件及数据快照和数据镜像,可构建高可靠性的硬件实时数据复制系统,实现同步数据复制功能的容灾系统。
结合数据备份软件,可实现多种通讯方式的数据备份,存储设备之间的直接数据完整拷贝,一方面提高了数据的安全性及完整性,同时保证系统的快速恢复能力。
可以支持多种网络传输协议的转换,以专用的存储区域网络(SAN)环境和专用的远程数据备份线路为基础,采用先进可靠的SAN和电信网络交换设备,从而为数据的高效使用和管理提供有力的保障。
利用SureFibre磁盘阵列柜产品优异的容量扩展性能,结合容灾软件丰富的策略定制和管理能力,实现针对不同用户环境的多种远程容灾方案的实现方式和平滑的系统扩展。
应用体系结构
针对大型综合类数字图书馆应用需求,联想可以在以下几个方面做出进一步的扩展及深化: