广电媒体云存储的数据迁移方案与应用

　　摘要：媒体云存储是广电素材媒资库的核心设备，其为电视节目的制作及存储提供了物理支持。目前，在媒体融合及县级融媒体技术中心的持续推进下，单集群存储的容量急剧下降。本文利用灾备技术和灾备策略提出采用双集群基于存储的远程复制功能来解决单集群容量不断下降的难题，应用结果表明，该方案完全可以解决存储集群不通过节点扩容而采用迁移的方式进行集群存储容量回收，同时缓解了现有生产环境存储的压力。

　　关键词：存储迁移远程复制备份异步复制目录快照

　　1引言

　　在县级融媒体技术中心持续推进与传统广电业务上云的需求背景下，对广电云平台的计算与存储资源需求都大幅增长，尤其是以视频、音频、图片为主的非结构化大文件类型数据，更是出现了指数级的增长。因此，对目前所使用的分布式存储集群的要求也就更加严格，当大量核心媒资数据需要进行多重备份时，这将再次加剧对存储容量的大幅需求。在保证现有媒体云存储集群业务数据安全的同时，集群存储容量需要不断被扩容或者进行数据迁移，这已然成为广电媒体云存储需要迫切解决的问题。

　　2需求分析

　　广电媒体云平台目前所使用的媒体存储系统基本是分布式存储集群[1]，因其具备良好的扩展性、安全可靠性、轻量级的运维管理以及支持多协议访问优点，从而被广泛使用。尽管如此，分布式存储集群产品也会存在生命周期限制。比如，单集群跨多型号节点产品会有兼容性限制、相同型号备品备件不足和存储版本不支持新型号存储节点等问题，这些都有可能导致现有生产分布式存储集群不能及时进行节点扩容以提升集群容量。

　　媒体方向论文： 融媒体环境下网络文学的传播与发展探究

　　因此，只能通过部署使用更高性能存储节点用以重建新的分布式存储集群，以此来解决存储容量被日益增长的媒体素材消耗殆尽的问题。由于现有生产环境存储集群直接扩容方案受到限制，而业务也在不断进行写操作，存储容量将进一步压缩，因此，需要将现有存储集群中的数据迁移至新建的高性能节点存储集群中，而新建的存储集群由于备品备件较为充足，是能够进行大量节点直接扩容的，这将恰当解决生产集群存储容量不足的问题。其中，占用容量较大的冷数据视频素材将是数据迁移的首选，其次是业务读写量不是特别大的热数据。

　　3方案研究

　　3.1整体架构

　　3.1.1灾备技术及灾备策略

　　灾备技术是指利用技术、管理手段以及相关资源确保关键数据、关键数据处理系统和关键业务在灾难发生后可以快速恢复的过程。目前，灾备策略主要分为完全备份与增量备份，而主流的复制策略则分为异步复制与同步复制[2]。

　　3.1.2快照技术

　　随着计算机技术的快速发展，产生的数据量正在快速增加。对于重要数据，通常会进行数据备份以免造成数据丢失。在早期的数据备份方式中，恢复时间目标(RTO)和恢复点目标(RPO)无法满足业务的要求，而且数据备份过程中可能会影响业务性能，甚至导致业务中断。当数据量快速增加且数据增长速度也同步加快时，如何减少备份时间窗口期成为运维人员重点关注的问题。因此，数据备份、数据保护技术开始逐步出现。快照技术是数据备份技术中最常见的一种方式，一般被定义为一组文件、卷或者存储目录在某个特定的时间点上的副本。它所能捕获到的是一些特定数据在特定时间点上的映像。

　　其原理与人们使用手机拍照类似，通过拍照可以快速记录下某一瞬间被拍照对象的状态。由于可以快速生成快照，通过此技术，运维人员能够实现数据的零备份窗口，从而满足企业对业务连续性和数据可靠性的要求。而针对存储目录快照的常规应用场景包括以下两个方面。

　　(1)用于数据持续保护、快速备份和恢复快照占用存储空间小，所以，在通过配置定时快照策略时，可以在不同时间点为源目录创建多个快照版本。当源目录下的文件数据遭到人为意外删除、覆盖或病毒入侵等非物理介质损坏时，可以通过故障前的快照恢复数据，从而保证用户数据的可用性和可恢复性。对于一些重要的时间点或者重要的数据，用户可以手动创建快照进行备份，用于在文件损坏或误操作后的快速恢复。

　　(2)用于远程复制场景远程复制依赖于快照技术。远程复制任务启动后按照设定的时间间隔定时创建快照，然后将快照时刻的数据同步至远端集群，每次只需要复制当前快照与前一个快照之间的增量数据。当远程复制的本地和远端目录间数据同步完成时，会在远端集群建立一致性目录快照，用于数据一致性对比。当远端集群也存在当前同步后的一致性目录快照时，即可判断当前同步已完成。经过对以上两种应用场景的分析以及结合实际生产环境，本文围绕远程复制场景进行深入研究。

　　3.2采用双集群基于存储的远程复制功能

　　3.2.1不同类型数据的远程复制方式

　　远程复制[3]是容灾备份的核心技术。远程复制要想将本地站点集群的目录数据复制到远端站点集群，首先需要在集群间创建复制链路，然后为需要同步的目录创建远程复制Pair。远程复制Pair是一条数据复制关系，通过它指定了数据复制的来源和目标以及数据复制的频率等相关规则，不同类型的数据使用不同的策略。

　　针对冷数据，创建远程复制Pair后，需要用户手动触发初始同步，初始同步即为全量同步，属于完全备份策略，所以，初始同步会将本地目录中的所有数据一次性复制到远端目录中，这在复制迁移链路上会占用大量的带宽，耗费时间也相对较长，对存储服务系统性能影响较大。所以，需要在业务不繁忙的时段进行初始同步操作。

　　针对热数据，首次全量数据同步完成后，当业务人员再次对本地目录进行读写数据时，如果此时启动同步操作，则其同步方式均是增量同步的方式，属于增量备份策略，即只对全量同步之后的差异数据进行同步，能够缩短数据远程复制时间，同时也提高了数据传输效率。当业务人员在本地目录中删除数据并启动目录同步后，远端目录中的相应数据也会被删除。总的来说，初始同步完成后的每次同步都是增量同步。增量同步只复制增加、删除和修改的数据，数据量较小，占用网络带宽比全量同步小，复制传输数据量的时间也会少很多。相对于全量同步，增量同步对系统性能的影响要小。

　　3.2.2热数据基于目录快照进行的数据异步复制

　　本地和远端目录间的数据同步是基于目录快照进行的数据异步复制。对远程复制Pair启动初次同步时，存储系统自动为本地目录创建一份该时间点的快照，定义为本次数据同步的基准快照。而后续每次进行数据增量同步时，系统则再次为本地目录创建一份快照，并分析两次目录快照同步期间的差异数据，最后将差异部分的数据同步至远端目录，这样系统不需要扫描整个目录的数据，也能提高增量同步的效率。

　　值得注意的是，产生的差异数据需要在下次同步启动时才 能同步到远端目录当中，这样能够保证数据的一致性。当数据完成同步后，系统通过远程复制Pair在远端集群为远端目录创建一份一致性快照。因此，可以通过直接对比本地目录和远端目录是否存在当前同步的一致性快照数据来判断同步是否已经全部完成。

　　为了防止在数据同步过程中因意外中断而导致数据丢失的情况发生，本地、远端集群都各自保留最新的两份快照数据。后续每次同步结束后，都将会保存最新的快照数据，并删除“老”的快照数据。而删除“老”快照数据的时间间隔可根据远端集群中对目录快照的保存时间功能进行设置，若超过设置时间，则系统会自动删除快照数据。

　　4方案应用

　　根据上述的需求分析与方案研究，我们本次采用基于目录快照数据异步复制的策略进行单向数据迁移。为了缓解现有生产存储集群中的容量被快速消耗以及保证前端业务的正常读写，本方案将优先对占据大容量的冷备媒体视频素材进行全量同步，全量同步结束后，在生产环境存储集群中回收相应的媒体素材以释放存储空间，而后再对生产环境中的热数据采取先全量同步再增量同步的策略，最后选择一个业务空窗期进行业务的完全迁移与切换。双存储集群中远程复制流程按照下列方式进行配置。

　　(1)配置复制区域每个存储集群默认只有一个复制区域，只能进行修改，无法进行创建和删除操作。同时，需要在本地和远端存储集群的复制区域中配置相同的存储节点数量，如果节点数量差距较大，将会导致复制区域通道链路不对等，可能会导致复制性能下降，本次实际环境各配置4个存储节点。

　　(2)创建复制区域通道在获取到远端集群的复制区域名称和其集群内任一节点的静态前端业务IP地址之后，即可通过复制区域通道建立起本地与远端集群的远程复制链路，用于数据复制传输。

　　(3)创建远程复制Pair除本地与远端集群都创建了复制区域通道且通信正常之外，两端集群还必须具有远程复制功能，并且要求远端集群目录为空。在远程复制Pair创建成功后，确保Pair中的本地和远端目录不被删除、移动或更改，否则将会导致整个远程复制过程异常，造成数据丢失。

　　(4)同步远程复制Pair在本地、远端存储集群远程复制功能上，当显示“远程复制Pair健康状态”均为“正常”，且远程复制Pair的“远端目录写保护状态”为“只读”时，才能进行同步操作，初始同步必须手动同步。

　　(5)分裂远程复制Pair当人为想中断同步时，可以对正在同步的Pair进行分裂，系统将中止数据复制操作，远端目录数据与本地目录数据为不完整状态。当再次同步该Pair时，系统会继续上次未完成的同步任务(也称为“断点续传”)，直至上次任务对应的数据全部同步完成。实际上，数据迁移目前已从现有生产集群存储中总共迁移了大约800T数据容量至新分布式存储集群中，这 缓解了旧的生产环境存储容量的压力。整个过程较为顺利，迁移速率最大达到800MB/s。

　　5结语

　　本方案结合中国蓝云平台现有分布式存储集群在实际生产环境中遇到的问题，着重介绍了当生产环境中的分布式集群存储面临因不具备节点扩容而导致可用容量枯竭时的一种数据迁移方案。该方案以灾备技术、灾备策略以及快照技术为基础，根据业务对不同目录的读写频率分成冷热两种数据类型，并根据不同数据类型制定不同的迁移策略来实现整个数据复制迁移过程，缓解了本地端存储的存储压力，同时解决了挂载在本地端存储业务系统能够持续稳定的进行读写。最后，希望此分布式存储数据迁移方案能够为广电行业业务的稳定运行提供一种参考。

　　参考文献：

　　[1]陆蕴超.分布式存储技术在虚拟化架构中的应用[J].有线电视技术,2017(7):54-56.

　　[2]李旺,王韵.基于存储的远程异步复制灾备方案设计与应用[J].信息技术与信息化,2013(5):106-108+158.

　　[3]阙志兴,许雄凌,陈飞.云存储下的容灾备份技术研究与部署[J].科技创新与应用,2017(21):34-35.

　　作者：浙江广播电视集团张胜龙蔡晶晶史姣姣

转载请注明来自发表学术论文网：http://www.fbxslw.com/jjlw/29764.html