MySQL回表与CDC源表，它们之间有何联系？

MySQL CDC源表是用于实时读取MySQL数据库中的数据变化的一种机制，它通过捕获数据变更（Change Data Capture, CDC）来实现数据的实时同步和处理，以下是关于MySQL CDC源表的详细介绍：

功能描述

MySQL CDC源表会先读取数据库的历史全量数据，然后平滑切换到Binlog读取上，以保证数据的完整读取，这种机制确保了数据的一致性和完整性，使得CDC源表能够准确地反映数据库的最新状态。

前提条件

要使用MySQL CDC源表，需要满足以下条件：

MySQL版本为5.7或8.0.x。

MySQL已开启了Binlog，并且binlog_row_image设置为FULL。

已创建MySQL用户，并授予了SELECT、 SHOW DATABASES、REPLICATION SLAVE和REPLICATION CLIENT权限。

DLI与MySQL建立了增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。

注意事项

在使用MySQL CDC源表时，需要注意以下几点：

创建Flink OpenSource SQL作业时，需要选择正确的Flink版本，并勾选“保存作业日志”以方便后续查看作业日志。

同一个数据库下，建议每个MySQL CDC作业配置不同的Server ID，以避免Binlog位点错乱和CPU陡增的问题。

MySQL CDC源表暂不支持定义Watermark，如果需要进行窗口聚合，请参考常见问题描述。

当使用MySQ CDM源表时，请不要在源表参数里手动关闭debezium.connect.keep.alive，以确保拉取Binlog线程的稳定性。

语法格式

创建MySQL CDC源表的语法格式如下：

CREATE TABLE mySqlCdcSource (
  attr_name attr_type 
  (',' attr_name attr_type)* 
  (','PRIMARY KEY (attr_name, ...) NOT ENFORCED)
)
WITH (
  'connector' = 'mysqlcdc',   
  'hostname' = 'mysqlHostname',
  'username' = 'mysqlUsername',
  'password' = 'mysqlPassword',
  'databasename' = 'mysqlDatabaseName',
  'tablename' = 'mysqlTableName'
);

各参数的含义如下：

FAQs

问题1：MySQL CDC源表如何工作，会对数据库造成什么影响？

答：MySQL CDC源表通过捕获MySQL数据库中的数据变更来实现数据的实时同步和处理，它会先读取数据库的历史全量数据，然后平滑切换到Binlog读取上，这种机制对数据库的影响主要体现在以下几个方面：需要开启MySQL的Binlog功能，这可能会增加数据库的存储压力；CDC源表在读取数据时会产生一定的网络开销；如果CDC作业配置不当（如多个作业使用相同的Server ID），可能会导致Binlog位点错乱和CPU陡增的问题。

问题2：MySQL CDC源表暂不支持定义Watermark，如果需要进行窗口聚合，请参考常见问题描述，如何进行窗口聚合呢？

答：由于MySQL CDC源表暂不支持定义Watermark，因此无法直接使用Flink的窗口聚合功能，如果需要进行窗口聚合，可以考虑将CDC源表中的数据写入到一个支持窗口聚合的目标表中（如Kafka、HBase等），然后在目标表中进行窗口聚合操作，具体实现方式需要根据业务需求和目标表的特性来设计。