如何手动备份Doris数据库的数据文件？

MySQL 数据库手动备份数据文件

手动备份步骤

1、使用mysqldump 工具：

mysqldump 是 MySQL 提供的一个用于数据库备份的工具，可以导出数据库结构和数据。

基本语法：mysqldump u [username] p[password] databases [database_name] > [backup_file].sql

示例：mysqldump uroot p databases testindex > /path/to/backup/testindex.sql。

2、备份单个数据库：

要备份单个数据库及其所有表和数据，可以使用如下命令：mysqldump u [username] p[password] [database_name] > [backup_file].sql

示例：mysqldump uroot p testindex > /var/lib/mysql/backup/testindex.sql。

3、备份多个数据库：

如果要备份多个数据库，可以使用databases 参数：mysqldump u [username] p[password] databases [dbname1] [dbname2] > [backup_file].sql

示例：mysqldump uroot p databases db1 db2 > /var/lib/mysql/backup/mydb.sql。

4、备份指定表：

只备份特定表的数据和结构：mysqldump u [username] p[password] [database_name] [table_name] > [backup_file].sql

示例：mysqldump uroot p testindex tb_sys_user > user_part_id5_low_bak.sql。

5、备份部分数据：

使用where 选项来备份表中的部分数据：mysqldump u [username] p[password] [database_name] [table_name] where="condition"> [backup_file].sql

示例：mysqldump uroot p testindex tb_sys_user where="id<5" > user_part_id5_low_bak.sql。

6、排除某些表的备份：

使用ignoretable 选项来排除某些表：mysqldump u [username] p[password] [database_name] ignoretable=[database_name].[table_name] > [backup_file].sql

示例：mysqldump uroot p testindex ignoretable=testindex.tb_sys_user > no_user_bak.sql。

7、仅备份结构或数据：

仅备份表结构：mysqldump u [username] p[password] [database_name] nodata > [backup_file].sql

示例：mysqldump uroot p testindex nodata > no_data.sql。

仅备份数据：mysqldump u [username] p[password] [database_name] nocreateinfo > [backup_file].sql

示例：mysqldump uroot p testindex nocreateinfo > no_create_info.sql。

8、恢复数据：

使用mysql 命令恢复数据：mysql u [username] p[password] [database_name] < [backup_file].sql

示例：mysql uroot p testindex < /var/lib/mysql/backup/testindex.sql。

Doris 数据手动备份

数据导入和导出

1、数据导入

Broker Load：通过 Broker 进程访问并读取外部数据源（如 HDFS）导入到 Doris，用户通过 Mysql 协议提交导入作业后，异步执行，通过 SHOW LOAD 命令查看导入结果。

Stream Load：用户通过 HTTP 协议提交请求并携带原始数据创建导入，主要用于快速将本地文件或数据流中的数据导入到 Doris，导入命令同步返回导入结果，目前 Stream Load 支持两种数据格式：CSV（文本）和 JSON。

Insert Into：类似 MySQL 中的 Insert 语句，Doris 提供INSERT INTO tbl SELECT …; 的方式从 Doris 的表中读取数据并导入到另一张表，或者通过INSERT INTO tbl VALUES(…); 插入单条数据。

Multi Load：通过 HTTP 协议提交多个导入作业，Multi Load 可以保证多个导入作业的原子生效。

Routine Load：通过 MySQL 协议提交例行导入作业，生成一个常驻线程，不间断地从数据源（如 Kafka）中读取数据并导入到 Doris。

Binlog Load：提供了一种使 Doris 增量同步用户在 MySQL 数据库上对数据更新操作的 CDC（Change Data Capture）功能，需要依赖 canal 作为中间媒介。

2、数据导出

Export 导出：将查询结果导出为多种格式，如 CSV、JSON 等。

mysqldump 导出：类似于 MySQL，可以将 Doris 中的表结构和数据导出为 SQL 文件，便于迁移和备份。

查询结果导出：将查询结果以指定格式导出到文件中，方便数据分析和处理。

数据备份及恢复

1、简要原理说明

备份：定期将数据复制到另一个存储位置，以防止数据丢失或损坏。

恢复：当数据出现问题时，从备份中恢复数据，确保数据的完整性和可用性。

2、删除远端仓库

在进行数据备份之前，建议先删除远端仓库中的历史数据，以节省存储空间，可以通过 SQL 命令或界面操作来完成此步骤。

3、数据导入和导出

数据导入：将备份的数据导入到 Doris 中，可以通过上述提到的各种导入方式来实现。

数据导出：将 Doris 中的数据导出到其他存储系统中，以便进行离线分析和处理。

4、数据备份及恢复

备份：定期将 Doris 中的数据和元数据备份到可靠的存储系统中，以防止数据丢失或损坏。

恢复：当 Doris 集群出现问题时，可以从备份中恢复数据，确保业务的连续性和稳定性。