数仓GaussDB(DWS)全量备份总结数据备份恢复是保护数据安全的重要手段之一。Roach工具支持多种备份恢复类型,例

数据备份恢复是保护数据安全的重要手段之一。Roach工具支持多种备份恢复类型,例如集群级的物理备份,表级备份的逻辑备份;分别支持DISK/NBU/OBS/EISOO几种备份介质;支持双集群间的容灾方案等,从而提供数据的可靠性保障机制。

Roach支持如下功能:

本文将梳理Roach全量恢复的整体流程,描述Roach集群全量备份场景的运转机制,PITR、增量备份、断点续做、双集群、表级备份等功能不做阐述。

其优点是:物理备份速度快,通过合理规划,可以低成本进行备份和恢复;

Roach备份采用生产者-消费者模式,下图展现了备份流程各个线程及IO交互图。exec线程作为生产者,同时为减轻exec线程的压力,增加并行的reader线程读取小文件;sender线程作为消费者;中间则是通过一个256MB(可设置)的大buffer衔接。

GaussDB内核的备份组件为GaussRoach.py和gs_roach,需在集群内拉起备份任务。

GaussRoach.py:Roach单集群全量备份入口为GaussRoach.py。每次命令行输入“pythonGaussRoach.py–tbackup…”后,roach的python语言模式就开始运行了。

任意节点均可作为主节点拉起GaussRoach.py,然后每个节点都启动gs_roach进程负责本节点备份,各节点并行备份,节点内各DN并行备份。

根据Gauss数据库的功能结构,全量备份按照以下顺序备份所需要的文件:

·行存全部数据:GaussDBA数据库支持行存。

·xlog日志文件:Roach支持在线业务的备份,则通过备份xlog日志文件可在恢复时将备份期间的业务Redo,保证数据一致性。

·列存全部数据:GaussDBA数据库支持列存。

·备份的数据按照每个节点为单位进行备份,所以每个节点都只存储当前节点的备份。

结合Roach工具备份调度流图和日志信息分析如下:

整个备份流程的上层代码为python代码,即GaussRoach.py,master进程的创建和agent进程的拉起都是由python侧完成的。备份的配置和参数部分检查过程同样是由python侧代码完成。各个节点agent进程被拉起之后,C侧代码进行具体的业务操作。C侧代码运行起来之后,可以通过psux到gs_roach进程查看进程状态。

·只要没有走到③,备份是没有开始的;·②:metadata清单即此次备份的文件清单;

·只要没有打印出④,说明备份还没有结束,即使进度显示是100%;

·⑤:在此参数开启后,所有的ddl语句会在逻辑上执行,对物理文件的操作不会立即生效;

·⑥:createbarrier之后的数据变化,将通过xlog记录来备份;

·⑨:关闭延迟DDL参数后,所有被延迟的对物理文件的操作,将会立即执行;

·备份的数据会进行压缩后写入到rch文件后存储到备份路径下的实例文件夹下,且每个rch文件大小是4GB;

·Roach压缩文件*.rch的内部结构:

·控制备份的元数据,元数据存储路径为备份命令中指定的--metadata-destination的值,其路径下内容如下:

·ini文件中记录着每次备份的元信息

{"BackupCount":1,"BackupDetails":[{"S_NO":1,"BackupKey":"20190814_163625","BackupType":"FULL",…….}

·roach文件夹存储的为特定某个备份的元信息

日志是查看代码运行状态和错误定位的重要文件,Roach内核的回收日志只能保证一个日志回收点:$GAUSSLOG/roach/。

Roach日志的管理可分为三类:

·agent文件夹保存了内核侧生成的日志;

·controller文件夹保存了python侧的调度信息;

·frame文件夹保存了双集群容灾过程中python侧代码生成的日志。

(1)内核日志

·缺省情况下,内核日志仅记录警告及以上级别的消息。Roach工具支持的日志级别,及默认只有ERROR和Warning级别日志。执行命令可开启INFO级别日志,--logging–logging-levelINFO

·如果备份或恢复操作失败,可查看控制台中显示的错误汇总,识别发生错误的主机。

(2)系统日志

·Linux记录系统事件至系统日志中。Roach工具将FATAL及ERROR消息记入相同的系统日志文件。例如,在运行SUSELinux操作系统的设备上,Roach写日志到/var/log/messages文件。

(3)安全日志

(4)控制器日志

·控制器日志为python脚本运行日志,用户可以保存控制器日志信息到文件中。

·控制器日志文件的格式如下:

roach-controller-YYYY-MM-DD_HHMMSS.log。例如:roach-controller-2015-12-15_203415.log遇到故障时,结合打屏信息和相应位置的日志文件,可以快速定位到出错位置,提高解决问题效率。

备份能解决数据丢失的找回、数据损坏的找回和历史数据找回等功能,是构建容灾方案的基础,如何快速、有效实现大数据备份功能是这个时代一个非常重要的课题。

THE END
1.备份保管库概述本文介绍备份保管库的功能。 备份保管库是 Azure 中的一个存储实体,用于保存 Azure 备份支持的某些更新的工作负荷的备份数据。 可以使用备份保管库来保存各种 Azure 服务(例如 Azure Blob、Azure Database for PostgreSQL 服务器以及 Azure 备份会支持的更新的工作负荷)的备份数据。 备份保管库便于组织备份数据,并最https://docs.microsoft.com/azure/backup/backup-vault-overview
2.服务器怎么备份,全面指南与最佳实践,服务器怎么备份数据在当今数字化时代,数据已成为企业和个人最宝贵的资产之一,无论是业务文档、客户信息还是应用程序数据,一旦丢失或损坏,都可能带来不可估量的损失,定期对服务器进行备份至关重要,本文将深入探讨服务器备份的各种方法、策略以及最佳实践,帮助您确保数据的安全与完整性。 https://www.asoulu.com/post/119093.html
3.数据备份与恢复技术实践:构建稳健的数据安全防线数据备份策略是数据备份与恢复技术的基石。一个合理的备份策略能够确保数据在发生丢失或损坏时能够迅速恢复,同时又能有效控制备份成本。在选择备份策略时,企业需要考虑以下因素: 1.1 备份频率 备份频率是指数据备份的周期。不同的数据类型和业务需求决定了不同的备份频率。对于关键业务数据,如数据库、交易记录等,通常需要https://www.ctyun.cn/developer/article/624389409783877
4.数据备份最佳实践:最大限度地减少数据丢失的风险(数据备份最佳数据备份最佳实践:最大限度地减少备份到云存储服务。 异地备份:将数据备份到与原始数据位置不同的位置。 选择最适合您需求的方法很重要。 执行定期测试 定期测试您的备份至关重要,以确保它们有效且可恢复。测试应包括: 还原操作:尝试从备份中还原数据以验证其完整性和可访问性。 https://www.ulidc.com/2024/12/15/%E6%95%B0%E6%8D%AE%E5%A4%87%E4%BB%BD%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5%EF%BC%9A%E6%9C%80%E5%A4%A7%E9%99%90%E5%BA%A6%E5%9C%B0%E5%87%8F%E5%B0%91%E6%95%B0%E6%8D%AE%E4%B8%A2%E5%A4%B1%E7%9A%84%E9%A3%8E/
5.数据库备份(三种方式)数据库怎么备份? 关于数据库备份的常见方式有哪些,网络文献说法不一,这里取牛客上的《小红书24秋招后端开发》第4题中,官方解析中提供的说法:常见的备份方式有三种:完全备份、差异备份、增量备份。 一、完全备份(全量备份) 完全备份(Full Backup)就是指对某一个时间点上的所有数据或应用进行的一个完全拷贝。备份全部选中的文件https://blog.csdn.net/T278lk/article/details/142928091
6.常见的数据库备份方法,常用的数据库备份方法有哪三种离线备份通常使用DBMS提供的导出功能,如MySQL的MySQLdump指令。 选择哪种数据库备份取决于具体的业务需求和环境。全备份、增量备份、差异备份和在线备份各有优缺点,必须根据实际情况进行选择。无论选择哪种方式,定期数据库备份都是维护数据安全的主要过程。 在数字化时代,数据安全是我们不容忽视的问题。云呐容灾备份系统https://www.bilibili.com/read/mobile?id=25969532
7.如何有效进行数据备份以确保信息安全应用程序数据丢失的原因有很多,包括硬件故障、软件错误、病毒攻击、自然灾害等。无论原因是什么,数据丢失都可能对个人和企业造成巨大的损失。以下是数据备份的重要性: 保护数据安全 备份可以防止数据丢失,确保重要信息的安全。无论是工作文件、个人照片还是财务记录,定期备份都能降低数据丢失的风险。 https://www.163.com/dy/article/JFQUMHAV0556A727.html
8.数据中心管理制度(通用15篇)2、一旦发生数据丢失或数据破坏等情况,必须由网管员进行备份数据的恢复,以免造成不必要的麻烦或更大的损失。 3、数据备份的主要内容为:网络服务器端操作系统、系统及应用软件、数据库信息、网站信息、文档数据库、共享资源平台。 4、备份具体工作为将以上信息存储于磁介质及光盘上。 https://www.unjs.com/fanwenwang/gzzd/20230523182753_7155924.html
9.PostgreSQL之pgdump备份恢复操作PostgreSQL逻辑备份在恢复时,介于逻辑备份与故障时间点之间的数据难以恢复,故一般不采取逻辑备份方式进行数据库备份,但逻辑适用于跨平台跨版本的数据迁移; 逻辑备份恢复主要以下三种: pg_dump pg_dumpall copy 本小节主要讲解pg_dump pg_dump备份 只能备份单个数据库,不会导出角色和表空间相关的信息 https://www.jb51.net/article/203046.htm
10.劳动和社会保障部关于印发《企业年金基金管理运作流程》《企业系统应当采用大型关系型数据库软件,支持企业级海量数据访问。 6.3 数据管理 为保证企业年金业务数据安全,应当配备安全可靠的备份设备,可将数据备份到不同介质。 备份介质可采用硬盘、光盘和磁带等,至少应当有两种不同存储介质的数据备份。 备份数据应当异地保存。备份数据保管地点应当具有防火、防热、防潮、防尘、防磁和防https://hrss.suzhou.gov.cn/jsszhrss/zxfgk/200504/906d2375110348adaa8e0efa42974fbe.shtml
11.dbmysqlerrorlist/mysqltools/mysqlerrorlist1011:删除数据库文件失败 1012 无法读取配置注册表主键。 1012:不能读取系统表中的记录 1013 无法写入配置注册表主键。 1014 必须使用日志文件或其他副本来恢复注册表数据库中的某个文件。恢复成功。 1015 注册表已损坏。可能是一个包含注册表数据文件的结构已损坏,也可能内存中该文件的系统映像已损坏,或者因为备份副https://www.iteye.com/blog/lindows-256572
12.核心银行系统之十七批量任务围绕日终批量关键路径,可主要包括如下优化点: 1、增加上一日日结业务的收口 收口如昨日日结收口的作业包括如下: 日切后,日志解析前必须完成的业务; 日志解析; 补账处理,总账更新; 总分核对、试算平衡处理。 2、提前数据备份处理时间 上一日日结业务之后,即开始数交的备份恢复,将数交批量的处理进一步提前。 https://www.jianshu.com/p/3d4f9591abfa
13.技术标准高等学校数字校园建设规范(试行)基础设施主要包括校园网络、数据中心、教学环境等,是数字校园的物理基础。 信息资源包括以结构化数据为主的基础数据和业务数据,以非结构化数据为主的数字化教学资源、科研资源、文化资源等,是数字校园的核心资源。 信息素养是数字校园各类用户应具备的运用信息与技术的素养和能力,是充分发挥数字校园功能,获取数字校园服务https://nsio.tjufe.edu.cn/info/1064/1149.htm
14.数据备份架构图片数据备份包括三种类型数据备份架构图片 数据备份包括三种类型 如大家所知,网络安全越来越被重视,而在数据库方面我们不仅要在部署的时候做好相应的配置,还需要有一套容灾机制,即备份还原。下面我就分享一下在学习达梦数据库中关于备份还原的一些经验。 一、概念: 备份:数据库备份是在某个时间点做的副本,为了防止数据丢失。https://blog.51cto.com/u_12831/8448499
15.医疗行业超融合架构解决方案——架构方案设计篇s6dong2、医疗管理系统。也是核心业务系统,主要包括门诊、急诊管理系统(HIS),影像文件系统(PCAS)、病案管理系统,医疗统计系统,血库管理系统等。 3、决策支持系统。包括医疗质量评价系统,医疗质量控制系统等。 4、各种辅助系统。如医疗情报检索系统,医疗数据库系统等。 https://redhat.talkwithtrend.com/Article/244291