作者haizdl·2023-03-10 14:41

技术经理·大连

浅谈数据备份系统设计思路

字数 4031阅读 1218评论 0赞 10

内容摘要：

备份系统设计思路包括确定备份对象及数据特性、备份策略、备份工具及介质、备份系统架构和作业调度优化等方面。备份是企业数据保护的最后防线，备份管理思路决定了最终结果，需要重视。

当前摘要为AI生成

# **浅谈数据备份系统设计思路**

## 0. **引言**

对于企业来讲，数据备份是信息系统容灾的基础，它是指为防止逻辑错误以及物理错误导致数据丢失，而将数据集合从应用主机的存储系统复制到其它的存储介质。数据备份对于任何企业都是IT的关键性工作，它直接决定企业对数据威胁及事故的应对灵活性和应对水平。近些年来，随着互联网相关科技的飞速发展，数据本身发生了极大的变化，从数据量级、数据形态、数据关联等多方面都发生了翻天覆地的变化。这无疑对数据备份系统的设计规划提出了极大的挑战。因此，有必要明确数据备份系统设计的清晰逻辑思路以及必要的分析步骤。

## 1. **确定备份对象及数据特性**

首先，所谓确定备份对象就是要决定哪些数据需要备份。

我们需要确定数据的重要性程度。本文通过结果导向的思路从以下维度来分析企业数据的重要性，最终决定哪些数据需要备份，哪些数据可以不备份，哪些数据需要根据企业的实际业务情况来决定。首先我们假定一个结果，那就是某个应用系统的某类型数据由于硬件故障或者其他原因导致数据丢失掉了。那么就看企业对该结果的容忍程度，假设不能容忍，那么就没什么好商量的了，肯定要做备份。有行业监管标准的通常会按照监管标准确定数据的重要性，没有行业监管的通常需要按照数据对企业的经济影响和社会影响程度来确定。无论是哪一种方式，最终都要以量化的形式确定下来数据的分级标准。

接下来，就是要根据确定下来的备份对象来分析它的IT特性和业务特性。

所谓IT特性就是数据在量级、形态、发展等方面展现出来的特性。近些年来，企业的数据逐渐呈现多元化格局，传统分析方法可能会以简单粗暴的方式，将数据分为结构化、半结构化、非结构化。但是近些年来随着互联网的不断发展和扩展，数据已不能简单地以数据模型特点来划分了。很多数据展示出来混合模式的特点，并且在半结构化和非结构化归类当中需要更加细分，例如：

(1). NOSQL&NewSQL数据库中的文档、JSON、键值等类型数据。

(2). 以ASC方式记录的文本、PDF、XML等文件形式的数据。

(3). 以二进制方式记录形成的图片、网页等数据。

(4). 以视频流方式记录形成的媒体类数据。

所谓数据的业务特性就是不同数据之间的业务关联性，割裂了业务的关联性，及时数据备份可以很好地完成，但是数据恢复是无法完成的，因为多种数据只有通过业务的维度联系起来才能形成业务层面可以识别的业务信息。因此以应用系统为单位的数据关联性分析也是必不可少的步骤。

## 2. **确定数据备份策略**

所谓数据备份的策略，从大的维度要确定哪些数据全量备份？哪些数据增量备份？哪些数据需要差量备份？从细的维度要确定备份的频度、模式、窗口等各种必要因素。这部分内容需要考虑到数据本身的量级、数据的具体类型、极端条件下对数据恢复时间及数据丢失量的容忍程度、数据备份系统以及备份介质本身的性能特性、业务发展的规模及趋势判断等等。同样会从以下几个维度进行评估：

(1). 数据库里面的结构化表数据，这部分数据通常是比较重要的。一般来讲既要有全量的备份，也要有事务日志的差量备份。全量备份的频度需要、副本数量、时间需要综合数据的量级、变化的速度、业务的繁忙窗口等综合考虑。归档日志的备份频度、备份源选择、备份作业发起的时间、备份的窗口需要根据归档速度以及业务要求的RTO目标等来进行综合评估。

(2). 可单独利用的文件类型数据，主要包括一些可以单独恢复利用的的日志、图片、PDF等。该类数据一般情况下数据量级较大，但是重要性相对而言偏弱。因此需要结合现有备份工具确定全量备份和增量备份的相关因素。

(3). 需要结合结构化信息利用的文件类数据，一般是通过业务系统端有序将结构化信息和非结构化文件读取、校验、转化等最终转化成业务端可以识别的有效信息。这类数据的备份不仅仅要考虑通常的策略因素，还需要综合所有涉及到的数据，以恢复目标为依据来决定最终的备份策略。

## 3. **确定数据备份工具及备份介质**

所谓数据备份的工具，就是采用什么样的备份软件。

备份软件有很多，市场上备份软件非常多，传统的备份软件有 EMC Networker、SYMANTIC NBU、COMMVAULT等，近些年来随着云计算的不断发展，一些新型的面向云计算领域的备份软件也不断涌现。

但是作为企业来讲，选择备份工具更重要的是要根据备份数据的特性来选择，在符合数据特性的基础之上再来选择工具的技术标准（备份速度、恢复速度、实现功能、兼容性、稳定性等）。通常对于事务性的数据备份工具，要考虑到备份工具本身对数据恢复时的事务支持。对于海量非结构化数据的备份要考虑到备份工具的效率问题，备份软件底层对数据的识别原理决定了其本质效率。可以采用具备快照功能、对象识别功能的工具来大幅提升备份效率。

所谓数据备份的介质，就是采用什么样的存储设备。

传统备份介质包含磁带设备、通用Nas存储、物理或虚拟带库、光存储、DataDomain等。近些年来随着云计算的发展出现了很多具备数据备份功能的分布式对象存储，还有公有云上的一些具备备份功能的资源池资源。企业选择什么样的备份介质同样取决于数据的情况。主要决定备份介质的因素包括其备份的效率、空间以及成本。数据的恢复目标决定了备份介质的存取效率要求，数据的量级决定了备份介质的空间要求以及扩展要求，数据的重要性及安全要求决定了存储介质是否可以采用公有云资源。在符合以上原则的前提下，遵循最优的性价比。

## 4. **确定数据备份系统架构**

企业的备份系统不是单一的备份工具，它是包含了数据、工具、介质、恢复等各方面的有机整体，需要将选择的各类元素进行有机整合，形成完备的数据备份和恢复系统。在进行整体规划之前，需要先解决以下几个问题：

(1). 备份系统的网络架构是私有还是混合？取决于是否利用外部云资源。

(2). 备份系统是否有双备份域的要求？却决于数据中心整体容灾要求。

在解决了以上了个重要问题之后，接下来就是对于备份系统当中各个元素以及其组合方式的规划和设计工作了，具体说来包含以下几个方面：

(1). 数据客户端层：要备份的数据保存在哪些服务器？保存在哪些位置下？需要安装哪些客户端代理或者部署哪些软件脚本？安装部署的具体方式是不是要采用集中管理的模式？

(2). 数据备份过程控制层：主要包括备份主服务器和备份作业服务器，主服务器根据配置好的调度策略以及整体架构中的备份元素发送作业调度指令，并且将存储片的元数据存储到主服务器上的数据库当中。然后作业服务器可以通过与客户端的交互完成具体备份作业。这里除了需要考虑到功能上的基本元素配置问题，还需要考虑到高可用及性能要求，通常采用分布式架构可以解决。

(3). 数据存储层：备份数据最终要存储的地方，可以通过光纤网络或者以太网络实现其与备份控制层的连接。传统模式一般会是光纤网络和虚拟带库的组合模式，其优点在于备份速度和容量的性价比上。但是近些年来随着以太网技术的发展，利用高速网络实现的备份数据传输同样可以保障其备份速度，同时具备更好的灵活性。另外，数据存储层还需要考虑到归档、离线、在线等数据生命周期和存储介质的映射关系以及数据的流动顺序。

(4). 数据恢复层：通常数据恢复实际发生的概率非常低，数据恢复也基本上是在数据的原始存放位置进行恢复。但是为了保障危急时刻的有效性，很多企业的IT部分要对备份系统功能进行定期验证，这个事后就需要异机恢复。因此考虑好具备有效性验证的数据恢复资源，并且将其融入（网络、空间、配置、应用）到备份系统当中也是必须考虑的重要一环。

## 5. **优化备份作业调度**

通常按照编制好的作业备份表进行备份调度之后，会产生一些问题。比如：备份作业过度集中于某一个时间段，备份作业频繁挂起，备份作业影响网络性能等等。引起着一系列问题的原因在于以下几个方面：

(1). 业务RTO目标与备份作业频度的不平衡。按照业务RTO的过高要求，数据备份的频度和数据备份的效率无法满足，这个时候需要考虑结合数据库本身的归档配置参数、数据备份工具的效率参数、承载业务本身的硬件性能等多个方面进行调整，从而达到平衡状态。

(2). 全量备份作业的时间窗口没有周期性进行调整。通常来讲全量备份的作业时间必须在规定的时间窗口内完成，否则就会影响网络性能。但是全量备份作业的作业量会呈现不断增长的态势，最初设计的时间窗口已经无法满足要求，这个时候就需要根据备份作业的实际情况进行调优。一方面要从应用层面调整数据量的暴增，该离线离线该归档归档。另外一方面要及时调整作业的启动时间和分布。

(3). 业务高峰期的作业分布不够科学合理。通常我们应该针对某些业务高峰期的备份作业日志进行观察、统计、梳理，在这些特殊的业务高峰期，尽可能减少备份作业数量。一方面让备份作业在相邻周期段内趋于平衡分布，另外一方面要保障业务高峰期的备份作业适度减少。

总而言之，备份作业的调度是一个长期的过程，需要管理人员经常调阅作业调度日志进行分析，从作业分布、重点时间窗口、作业调度失败情况、作业平均持续时间等多个维度梳理分析，并且需要定制合理周期将其作为常规数据备份管理工作。

## 6. **结语**

对于企业来讲，数据 是企业得以生存发展的关键资源，备份是保护企业数据的最后防火墙。数据备份直接决定企业IT应对重大风险的能力和水平。今天又是一个数据大爆炸的时代，带给数据备份的挑战也会呈现蜂拥而至的状况，作为企业的数据管理人员，用什么样的工具不重要，重要的是有明确的数据备份管理思路，思路决定最终的结果 。 望所思有所触，以上。

备份数据备份

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

浅谈数据备份系统设计思路

添加新评论0 条评论

文章目录展开目录

本文隶属于专栏

作者其他文章

相关文章

相关问题

相关资料