Kafka配置参数是用于设置Kafka/DMS Kafka源端的关键属性，包括broker地址、端口、主题名称和消费者组ID等。正确配置这些参数对于确保数据流的可靠性和性能至关重要。
Kafka 配置参数主要包括以下几个方面：
（图片来源网络，侵删）
1、基本配置
2、生产者配置
3、消费者配置
4、Kafka Connect 配置
5、DMS Kafka源端配置
以下是各个部分的详细配置参数：
1. 基本配置
（图片来源网络，侵删）
| 参数名 | 描述 | 默认值 |
| broker.id | Broker的唯一标识符 | |
| listeners | 用于监听客户端连接的地址和端口 | |
| log.dirs | Kafka日志存储目录 | /tmp/kafkalogs |
| zookeeper.connect | Zookeeper集群地址 | localhost:2181 |
| num.network.threads | 网络线程数 | 3 |
| num.io.threads | I/O线程数 | 8 |
| socket.send.buffer.bytes | socket发送缓冲区大小 | 102400 |
| socket.receive.buffer.bytes | socket接收缓冲区大小 | 102400 |
| socket.request.max.bytes | socket请求的最大字节数 | 104857600 |
| log.retention.hours | 日志保留时间（小时） | 168 |
| log.segment.bytes | 日志段文件大小 | 1073741824 |
| log.retention.check.interval.ms | 检查日志保留时间的间隔（毫秒） | 300000 |
| num.partitions | 每个主题的分区数 | 1 |
| num.recovery.threads.per.data.dir | 每个数据目录的恢复线程数 | 1 |
| offsets.topic.replication.factor | offsets主题的副本因子 | 1 |
| transaction.state.log.replication.factor | 事务状态日志的副本因子 | 1 |
| transaction.state.log.min.isr | 事务状态日志的最小ISR数量 | 1 |
| default.replication.factor | 新主题的默认副本因子 | 1 |
| min.insync.replicas | 最小的同步副本数 | 1 |
| inter.broker.protocol.version | Broker之间的协议版本 | 0.10.2.1 |
2. 生产者配置
| 参数名 | 描述 | 默认值 |
| acks | 消息确认机制 | 1 |
| buffer.memory | 生产者内存缓冲区大小 | 33554432 |
| compression.type | 消息压缩类型 | none |
| retries | 重试次数 | 0 |
| batch.size | 批量发送的消息大小 | 16384 |
| linger.ms | 延迟发送消息的时间（毫秒） | 0 |
| max.request.size | 最大请求大小（字节） | 1048576 |
| request.timeout.ms | 请求超时时间（毫秒） | 30000 |
| delivery.timeout.ms | 交付超时时间（毫秒） | 120000 |
| max.block.ms | 阻塞等待时间（毫秒） | 60000 |
| max.in.flight.requests.per.connection | 每个连接的最大未完成请求数 | 5 |
3. 消费者配置
| 参数名 | 描述 | 默认值 |
| group.id | 消费者组ID | null |
| enable.auto.commit | 是否自动提交偏移量 | true |
| auto.commit.interval.ms | 自动提交偏移量的时间间隔（毫秒） | 5000 |
| session.timeout.ms | 消费者组会话超时时间（毫秒） | 10000 |
| auto.offset.reset | 当没有初始偏移量或偏移量无效时，如何重置偏移量 | latest |
| fetch.min.bytes | 服务器返回的最小数据量（字节） | 1 |
| fetch.max.wait.ms | 获取数据的最长等待时间（毫秒） | 500 |
| fetch.max.bytes | 服务器返回的最大数据量（字节） | 52428800 |
| max.partition.fetch.bytes | 服务器返回的最大分区数据量（字节） | 1048576 |
4. Kafka Connect 配置
| 参数名 | 描述 | 默认值 |
| connector.class | Connector类名 | null |
| tasks.max | 最大任务数 | 1 |
| key.converter | Key转换器类名 | null |
| value.converter | Value转换器类名 | null |
| converter.schemas.enable | 是否启用Schema转换器 | false |
| rest.port | Connect REST API端口号 | 8083 |
5. DMS Kafka源端配置
| 参数名 | 描述 | 默认值 |
| endpoints | Kafka集群地址列表，用逗号分隔 | null |
| accessId | AccessKey ID，用于访问Kafka集群的身份验证 | null |
| accessSecret | AccessKey Secret，用于访问Kafka集群的身份验证 | null |
| topicNamePattern | Kafka主题名称模式，支持通配符匹配多个主题 | null |
| consumerGroupId | Kafka消费者组ID，用于消费数据流 | null |
| dataTypeMappings | 数据类型映射，用于将Kafka消息转换为DMS支持的数据类型 | null |
| tableNamePrefix | DMS表名前缀，用于生成DMS表名 | null |
| tableNameSuffix | DMS表名后缀，用于生成DMS表名 | null |
| partitionNumPerTable | 每个DMS表的分区数，用于并行处理数据流 | 100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000 |
（图片来源网络，侵删）
原创文章，作者：未希，如若转载，请注明出处：https://www.kdun.com/ask/730745.html
微信扫一扫