如何进行MySQL分片及分片变更？

MySQL分片变更操作详解

在现代应用中，数据量和访问量的快速增长对数据库系统提出了更高的要求，为了应对这种挑战，分片（Sharding）技术应运而生，分片通过将数据水平拆分到多个节点上，以提高系统的扩展性和性能，本文将详细介绍MySQL的分片变更操作，包括其背景、步骤、常见问题及解决方法。

什么是分片变更？

分片变更是分布式数据库中间件（Distributed Database Middleware，简称DDM）的一项核心功能，旨在通过增加数据节点数或分片数来提高数据存储能力和并发支持能力，此过程可以在不影响业务使用的情况下快速解决数据库扩展性的问题，从而减轻运维压力。

分片变更的前提条件

在进行分片变更之前，需要满足以下前提条件：

1、DDM实例中已创建逻辑库。

2、已有RDS for MySQL实例与DDM实例处于相同的VPC，且该RDS实例未被其他DDM实例使用，如果需增加DN实例，则该实例也需要与DDM实例处于相同的VPC。

3、DDM内核版本需大于等于3.0.8.3，建议使用最新的内核版本进行分片变更。

4、DDM实例关联的数据节点不能处于只读状态。

5、拆分模式为“非拆分”的逻辑库暂不支持分片变更功能。

6、分片变更不支持无主键表。

7、逻辑库在单数据节点上的物理分片数不超过64，如果因业务需要分片数超过64，请联系DDM客服人员。

8、数据库账号需具备足够的权限，包括SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, RELOAD, PROCESS, REFERENCES, INDEX, ALTER, SHOW DATABASES, CREATE TEMPORARY TABLES, LOCK TABLES, EXECUTE, REPLICATION SLAVE, REPLICATION CLIENT, CREATE VIEW, SHOW VIEW, CREATE ROUTINE, ALTER ROUTINE, CREATE USER, EVENT, TRIGGER WITH GRANT OPTION等。

分片变更的操作步骤

分片变更操作涉及多个步骤，具体如下：

步骤一：登录分布式数据库中间件控制台

用户需要登录到分布式数据库中间件的控制台。

步骤二：选择目标DDM实例

在实例管理列表页面，选择需要进行分片变更的目标DDM实例，并单击实例名称，进入实例基本信息页面。

步骤三：进入逻辑库管理页面

在实例基本信息页面左侧导航栏，选择“逻辑库管理”选项卡，查看DDM实例逻辑库。

步骤四：启动分片变更操作

在逻辑库列表页面，单击“操作”列中的“分片变更”，进入分片变更页面。

步骤五：填写参数并进行测试

在“分片变更”页面，根据需求填写相应的参数，如已有的实例和分片信息、变更后的逻辑库总分片数、变更模式、切换策略等，然后单击“测试”按钮进行连接测试。

参数名称	说明
已有实例和分片	展示已有实例和分片数的信息。
变更后逻辑库总分片数	默认显示的是当前已有的总分片数，如果需要增加分片，请填写增加后的总分片数，DDM会尽量均匀分配到数据节点上。
变更模式	默认为共享式变更模式，您可以根据业务需要选择变更模式。 共享式：节点资源同时用于业务与分片变更，分片变更性能将受到较大影响。 独占式：独占式将从默认读写组中随机选择正常节点来变更，选择的节点资源全部用于分片变更，可以提高分片变更的性能，如果您担心节点独占影响您的业务，可以先进行计算节点扩容。 选择独占式变更模式时，默认组要开启负载均衡，且节点数大于1个。
切换策略	支持手动切换和自动切换两种方式。 切换任务会将读写流量切换到新增的实例上，在切换过程中，会有一到两次闪断，服务不受影响，建议在业务低峰期执行切换。
选择实例	默认选中的是已有的实例，您可以根据业务需要选择是否增加数据库实例。 数据库实例需要填写账号密码进行连接测试，测试连接成功后才可进行下一步操作。

步骤六：预检查

测试通过后，单击“下一步”，进入预检查页面，预检查时，实际还未开始真正的变更，只有单击“确定”下发任务后才开始，检查项中如果出现风险项，请确保该风险项不会影响业务后，再单击“忽略此风险”，建议先解决风险项，再进行变更。

步骤七：开始分片变更

检查完成后，单击“开始分片变更”，分片变更任务进行中，数据迁移分为全量迁移和增量待处理两个阶段，您可以通过“任务中心”的进度条查看迁移进度，也可以通过在SQL客户端执行“show migrate status”命令来查看分片变更的精准进度。

步骤八：监控任务进度

一个源RDS实例查询出一条记录，存在N个源RDS实例会查询出N条记录，可以通过以下命令查看进度：

SHOW MIGRATE STATUS;

返回结果包括以下字段：

SOURCE_RDS: 源RDS实例。

MIGRATE_ID: 扩容ID。

SUCCEED_TABLE_STRUCTURE: 已经迁移成功的表结构数。

TOTAL_TABLE_STRUCTURE: 需要迁移的表结构总数。

SUCCEED_TABLE_DATA: 已经迁移成功的表数据的数量，以表为计量单位。

TOTAL_TABLE_DATA: 需要迁移表数据的总数量，以表为计量单位。

SUCCEED_INDEX_DATA: 已经迁移成功的索引的数量，以表为计量单位。

TOTAL_INDEX_DATA: 需要迁移索引的总数量，以表为计量单位。

FULL_SUCCEED_COUNT: 当前扩容子任务的已完成全量迁移的对象总量。

FULL_TOTAL_COUNT: 当前扩容子任务的全部全量迁移对象总量。

FULL_PERCENTAGE: 当前扩容子任务的全量迁移完成百分比。

步骤九：切换策略调整

在“任务中心”单击操作栏的“更多 > 修改切换策略”可以对分片变更的切换策略进行修改。

步骤十：查看运行日志

在“任务中心”单击操作栏的“更多 > 查看运行日志”可以查看任务的日志记录。

步骤十一：完成切换

数据迁移完成后，如果切换策略选择了手动切换，需要在“任务中心”操作栏单击“切换”将路由切换到新的分片上或者数据节点上，如果切换策略选择了自动切换，任务将在设置的切换时间内自动进行切换。

步骤十二：清理原数据

分片变更结束后数据将会重新分布，确认完数据无误后可单击“清理”来清除原RDS for MySQL数据库实例的数据，请仔细阅读弹窗内容，确认任务没有问题后单击“是”进行清理，清理完成后，使用drop语句对残留的原数据进行清理，由于MySQL的特性，清理完成后磁盘空间可能无法立刻完成释放。

常见问题及解答（FAQs）

Q1: 如何在MySQL中修改分片字段（shardkey）？

A1: 修改MySQL中的分片字段（shardkey）通常涉及以下几个步骤：

1、创建新字段：创建一个新字段来存储新的shardkey值。

   ALTER TABLE my_table ADD COLUMN new_shardkey INT;

2、更新新字段的值：根据业务逻辑更新新字段的值。

   UPDATE my_table SET new_shardkey = ...;

3、创建新分片：基于新的shardkey创建新的分片。

   CREATE TABLE my_new_shard (
       ...
   ) ENGINE=InnoDB
   PARTITION BY HASH(new_shardkey)
   PARTITIONS 4;

4、数据迁移：将数据从旧的分片迁移到新的分片中。

   INSERT INTO my_new_shard SELECT * FROM my_table WHERE new_shardkey = ...;

5、更新应用程序代码：更新应用程序代码，使用新的shardkey字段进行数据访问。

Q2: 如何选择适当的shardkey？

A2: 选择适当的shardkey需要考虑以下几个因素：

1、数据分布：确保shardkey能够均匀地分布数据到各个分片上，避免数据倾斜。

2、查询模式：选择能够减少跨分片查询的shardkey，以提高查询性能。

3、业务需求：根据业务需求选择合适的字段作为shardkey，确保能够支持业务逻辑和操作。

4、唯一性和稳定性：shardkey应具有唯一性，并且在大多数情况下不应频繁变化。

5、可扩展性：考虑未来业务增长的需求，选择能够支持扩展的shardkey。

小编有话说

分片变更是提升数据库性能和扩展能力的重要手段之一，通过合理的分片变更操作，可以有效应对业务增长带来的挑战，分片变更过程中也需要注意数据的一致性和安全性，建议在业务低峰期进行相关操作，并做好充分的预检查和测试，希望本文的介绍能够帮助大家更好地理解和实施MySQL的分片变更操作。