浅谈山东高速收费系统的数据存储、备份及恢复
浅谈山东高速收费系统的数据存储、备份及恢复
孙勇徐清峻
山东省交通厅高速公路收费结算中心济南 250002
摘要：山东省高速公路联网收费系统实现了全省高速公路IC卡收费“一卡通”，收费总中心作为该系统的数据中心，其数据存储、备份及恢复的性能和安全性成为至关重要的问题。本文针对该问题，对该系统的数据存储、备份和恢复方案设计、系统结构和特点以及主要的配置内容进行了说明和分析，并对DB2分区数据库的备份和恢复步骤作了概要介绍。
关键词：高速公路收费系统；存储；备份；虚拟磁带库；DB2数据库
Introduction and analysis of the storage and backup system of ShanDong
Highway Toll System
Sunyong Xuqingjun
Highway Tolling and Accounting Center of Shandong Provincial Communications Bureau Jinan 250002
Abstract: This article introduces and analyses the architecture and configuration of the storage and backup system of ShanDong Highway Toll System, especially on its performance and reliability. Also, it describes the main process of recovery of partitioned DB2 database.
Keywords: highway toll system; storage; backup; VTL; DB2
1 引言
山东省高速公路联网收费系统是山东省高速公路信息管理系统的重要组成部分之一，它实现了山东省高速公路全路网的IC卡联网收费“一卡通”，即在全省范围内实现高速公路“入口发卡，出口收费”，统一结算，并在各运营管理单位之间按路段长度合理、准确地进行帐务分割，解决以往各路段分别收费、手工撕票的问题，提高收费效率和服务质量。
该系统自2001年11月开始安装运行以来，截至目前为止，已覆盖全省通车里程2700多公里，其联网范围内包括一个收费结算中心、4个收费中心、43个分中心，182个收费站，1171个收费车道。
该系统采用了IBM MQ消息传输中间件作为数据传输的工具，收费总中心采用IBM DB2 V8.2数据库软件，各收费站将接收的车道业务数据直接上传总中心，这样，收费总中心成为了整个收费系统的数据中心，它负责存储全路网所有的原始业务数据，完成通行费的拆分以及大量的查询、统计、分析工作，其重要性不言而喻。
目前，全路网每天的正常收费业务数据约为40万笔，数据量约为250MB，因此，该系统的数据量是非常大的，其数据的存储、备份和恢复也成为一个关系到整个路网数据处理和安全性的重要问题。
山东省交通厅根据当前收费、监控系统的业务需求，在收费结算中心建立了收费和监控总中心，并采购了IBM P595/P570小型机、DS6800/DS4800磁盘阵列、虚拟磁带库等先进设备，搭建了全路网的数据中心，以满足其对数据处理性能和安全性的要求。
2 存储、备份系统架构
山东高速收费结算中心（含收费总中心和监控总中心）数据存储、备份系统拓扑结构图如下页所示。
该存储、备份系统包括两台IBM B32光纤通道交换机、一台IBM DS6800磁盘阵列、两台IBM DS4800磁盘阵列、一台备份服务器、一台NetStor VTL 300F虚拟磁带库和一台ADIC Scalar 100磁带库，备份软件采用Veritas NetBackup 6.0。
图1 山东高速收费结算中心存储、备份系统拓扑结构示意图上图中，DS6800与两台P595小型机组成清分主机集，一台DS4800与两台P570小型机组成数据接收主机集，另一台DS4800与两台P570小型机组成监控主机集。数据接收主机上安装MQ消息传输中间件，负责接收各收费站上传的业务数据，清分主机上安装DB2数据库，负责存储、处理接收的业务数据。
本系统中，每台小型机配置两块HBA卡，分别与两台B32光纤通道交换机连接；每台DS6800、DS4800磁盘阵列配置双控制器，每个控制器上均具备4个主机接口，并分别与两台光纤通道交换机连接，这样，就组成了一个冗余光纤路径的高性能、高可靠SAN网络。
3 存储系统配置说明及分析
3.1 系统特点
男主多次强女主的日剧叫
该系统的最大特点为高性能和高可靠性。
在性能方面，DS6800和DS4800均具有较高的I/O处理能力（DS6800随机Cache I/O 性能指标为322,000 IOPS，顺序Cache I/O性能指标为1600MB/s；DS4800随机Cache I/O 性能指标为550,000 IOPS，顺序Cache I/O性能指标为3,200 MB/s，），适合于对突发IO的访问处理能力要求高的业务系统。另外，DS6800和DS4800均配置8个主机通道和8个存储通道，使其具备很高的并发处理能力。
在可靠性方面，DS6800和DS4800磁盘阵列均采用双控制器、双电源配置，且与两台主机之间分别通过两台光纤通道交换机提供两条或四条光纤链路连接，并提供冗余路径支持（DS6800为MSDD，DS4800为RDAC），再加上磁盘阵列本身的Raid功能，使单电源、单硬盘、单控制器、单光纤通道交换机及单条光纤链路故障均不会影响主机对存储系统的访问，使数据存储具备极高的可靠性。
上述特点使该系统能够满足山东高速收费系统对数据处理速度和可靠性的要求。
3.2 系统配置简介
3.2.1 Zone的划分
本系统中，在两台B32光纤通道交换机上分别划分Zone，划分原则如下：
（1）每台主机的每块HBA卡与同一交换机上对应磁盘阵列的主机接口（来自两个控制器）划分为一个Zone，如P595小型机的第一块HBA卡与DS6800磁盘阵列控制器A和控制器B上的第一个主机接口划分为一个Zone；
（2）每台主机的每块HBA卡与同一交换机上虚拟磁带库的主机接口划分为一个Zone；
（3）备份服务器的HBA卡与虚拟磁带库的主机接口划分为一个Zone；
这样，每台主机只能访问各自的磁盘阵列以及虚拟磁带库，保证了该存储系统的安全性。
3.2.2 DS6800磁盘阵列配置简介
DS6800的配置主要是指Array、V olume以及V olume Group的逻辑配置，是利用DS6800的虚拟化存
储特性将其磁盘空间进行分割、组合，形成可供主机识别、使用的存储空间，虚拟化存储的特点是存储空间可以灵活的进行调整，并可最大限度的实现其在控制器之间的负载均衡。
清分系统DS6800磁盘阵列的配置如下：
（1）每个磁盘柜的16块硬盘组成2个Array，Raid级别为Raid 5或Raid 10，其中Raid 10可以提供较高的存储性能，而Raid 5则具有较高的性价比，适合各种应用系统的存储要求；
（2）每个Array（即Rank）组成一个Extent Pool，即本系统中Rank与Extent Pool是一一对应的，其中偶数位和奇数位的Extent Pool分别与控制器0和1绑定，这样可以实现两个控制器之间的负载均衡；
（3）每个Extent Pool被划分为多个73-110GB大小不等的逻辑卷，每个逻辑卷将被两台P595主机作为硬盘（物理卷）使用；
（4）所有的逻辑卷组成一个卷组，并被映射给两台P595主机，使其存储共享，以便配置为HACMP集系统；
这样，整个DS6800的存储空间被灵活的分割、分配给两台P595主机，并可实现两个控制器之间的负载均衡，提高整个存储系统的效能。此外，DS6800目前尚空余一定的存储空间未划分，可以为将来系统的扩容使用。
3.2.3 DS4800磁盘阵列配置简介
与DS6800类似，DS4800也有虚拟化存储的概念，不同的只是所采用的术语不同。收费数据接收系统DS4800磁盘阵列的配置如下：
将每个磁盘扩展柜的13块硬盘组成一个Array，Raid级别为Raid 5，第14块硬盘作为系统热备盘。在Raid上建立数个容量为150G的Logical Drive，并根据这些Logical Drive 的访问负载将其与不同的控制器绑定，然后将所有Logical Drive映射给一个Host Group，该Host Group中包含两台P570主机上的4块HBA卡，即两台P570主机都可以访问这些Logical Drive，以便配置为HACMP集系统；
DS4800磁盘阵列上同样保留有部分未划分存储空间，可供将来系统扩容使用。
4 备份系统配置说明及分析
4.1 系统特点
该备份系统最大的特点同样是高性能和高可靠性。
首先，该系统使用虚拟磁带库代替传统的物理磁带库作为近线备份设备，同时使用物理磁带库作为离线备份设备，实现了先进的D2D2T的备份方式，既提高了备份/恢复的性能，又提高了系统的可靠性。
其次，虚拟磁带库直接接入SAN网络，并在接入SAN网络的各小型机上安装Veritas 的SAN Media Server组件，而SAN Media Server是可以直接将备份数据写入磁带库的，这样，各主机的数据备份方式是LAN-Free的，即数据流是通过SAN网络直接写入虚拟磁带库的，从而利用SAN的高性能提高了数据备份/恢复速度；
该系统之所以采用虚拟磁带库，主要是考虑到使用传统物理磁带库的备份方式所面临的以下几方面的问题：
（1）性能受限，备份时间窗口较长。使用物理磁带库的备份、恢复时需要抓带、加载、
机械定位文件等机械动作，等待时间长；此外，虽然磁带本身的读写速度已有长足提高，但其读、写速度仍然难以与磁盘匹敌，因此，该方式的备份时间窗口相对较长。在面临备份数据量越来越大而备份时间窗口却有严格限制的环境下，该方式就显得力不从心了。
（2）可靠性差，维护负担高。由于物理磁带库属于精密的机械电子设备，其整体可靠性较低，尤其是磁带库的核心部件（机械手和磁带驱动器）为非封闭机械部件，在长时间运转后容易发生故障，因此其长期使用的可靠性较差。
（3）备份失效率高。采用磁带库进行数据保护的磁带为非封闭介质，且磁带库中的磁带之间没有容
错保护。备份业务涉及到的磁带组中任一盘磨损、卡带、霉点、粘连等，均会导致整个备份无法恢复，尤其是长时间使用后，更容易出现磁带的备份失效。
山东高速收费系统的数据量大，增长速度较快，且需要连续运转，对备份时间窗口有严格要求，而作为全路网的数据中心，对数据备份的可靠性和可恢复性的要求较高，因此，我们选择了使用虚拟磁带库的备份方式，该方式优点如下：
（1）备份、恢复性能高，备份窗口时间短。虚拟磁带库采用SATA磁盘阵列作为备份介质，从而提高了数据访问速度。此外，虚拟磁带库可以同时模拟多个磁带机/磁带库，能够并发处理多个备份任务，提高了备份效率，通常其备份速度相当于物理磁带库产品备份速度的4-5倍。
（2）可靠性高，维护负担低。虚拟磁带库用电子化的“机械手”和“磁带驱动器”，代替了机械磁带库中裸露、易损的机械装置，从而大大降低了故障发生率，尤其是长时间运转的可靠性大大提高。
（3）备份失效率低。虚拟磁带库采用基于RAID保护的磁盘阵列，具自动报警和在线热恢复能力，从而将备份的可靠性较常规磁带备份提高了若干量级，基本免除了数据丢失的可能性。
（4）易于实施和部署。由于虚拟磁带库能够仿真出多台物理磁带库和磁带机设备，且与传统的备份软件完全兼容，因此可以直接利用备份软件的各种配置和特性，提供了多种备份系统的优化能力。
梁静茹 勇气
在使用虚拟磁带库的同时，该系统还采用了一台ADIC Scalar 100物理磁带库作为离线备份设备，从而实现了D2D2T的备份方式。在需要对数据进行离线备份时，只需在虚拟磁带库上使用export命令，即可将数据倒入物理磁带并可进行异地保存，当灾难发生时，可以利用离线备份的磁带进行数据恢复，从而使该系统的数据安全性得到进一步的提高。4.2 备份系统配置简介
该备份系统采用了Veritas NetBackup 6.0备份软件，其主要配置内容如下：
（1）备份服务器上安装Master Server，各小型机上安装SAN Media Server，实现LAN-Free的备份；
（2）与大部分备份系统不同的是，Master Server和Media Server上未激活SSO（Shared Storage Option）选项，而是激活了虚拟带库选项。同时，将虚拟磁带库虚拟为ADIC Scalar 100（与物理磁带库相同），但其可虚拟的磁带机数量不受物理磁带库的限制，甚至可以超过物理磁带库的最大可支持驱动器数量，这也是虚拟带库的一个优势。利用这种特性，我们为每台小型机分配了专用的虚拟磁带机，从而使备份作业的并发性和备份效率提高。
（3）清分系统DB2数据库备份策略配置为周一至周六每天备份DB2归档日志，周日对数据库进行完全备份，这样，只有完全备份时备份时间窗口较长，从而尽量减少对数据库的影响。
4.3 DB2分区数据库的备份和恢复
济南旅游为了充分利用P595强大的主机性能，提高数据库处理能力，清分系统DB2数据库采用了分区方式。在分区方式下，对DB2数据库的备份和恢复与常规方式下有所不同，主要有
以下几点：
（1）分区方式下，需要首先对编目分区进行备份或恢复，然后才能对其他分区进行操作；
收看网络电视
谢金燕和猪哥亮（2）备份有顺序和并行两种方式，顺序备份是指按照数据库分区的顺序依次对各分区进行备份，并行备份是指在编目分区的备份完成后，对其他分区同时进行备份，从而缩短备份时间，当然，采用并行方式需要多个磁带驱动器的支持；
（3）对分区数据库进行恢复时，一定要先恢复编目分区，再恢复其他分区，最后执行前滚。虽然某些情况下只有个别分区的数据文件损坏，但仍需要对所有数据库分区执行restore，然后才能执行前滚。
情人节浪漫短句5 结束语
山东高速收费系统采用IBM B32光纤通道交换机、DS6800磁盘阵列、DS4800磁盘阵列、虚拟磁带库和ADIC Scalar 100物理磁带库以及Vetitas Netbackup备份软件搭建了一个高性能、高可靠性的存储、备份系统，并实现了先进的D2D2T的备份方式，从而保证了收费数据的安全性，为收费系统的稳定、
可靠运行奠定了基础。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。