kafka 配置详解(kafka慢慢学之三配置篇)(1)

3.配置3.1 代理配置

基本配置如下:

Topic-level configurations and defaults are discussed in more detail below.

3.2 TOPIC config主题级配置

与主题相关的配置既有服务器default值,也有可选的每个主题覆盖。如果没有给出每个主题的配置,则使用服务器default值。可以在创建主题时通过提供一个或多个--config选项来设置覆盖。此示例创建一个名为my-topic 的主题,具有自定义的最大消息大小和刷新率:

> bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my-topic --partitions 1 \ --replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1

也可以稍后使用 alter configs 命令更改或设置覆盖。此示例更新my-topic的最大消息大小:

> bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic --alter --add-config max.message.bytes=128000

要检查在主题上设置的覆盖,您可以执行

> bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic --describe

To remove an override you can do

> bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my-topic --alter --delete-config max.message.bytes

以下是主题级别的配置。该属性的服务器default配置在“服务器default属性”标题下给出。给定的服务器default配置值仅适用于没有显式主题配置覆盖的主题。

3.3 生产者配置

Below is the configuration of the producer:

3.4 消费者配置

下面是消费者的配置:

3.5 Kafka 连接配置

下面是 Kafka Connect 框架的配置。

3.6 Kafka 流配置

下面是 Kafka Streams 客户端库的配置。

用于建立与 Kafka 集群的初始连接的主机/端口对列表。客户端将使用所有服务器,无论此处指定哪些服务器进行引导——此列表仅影响用于发现完整服务器集的初始主机。此列表应采用host1:port1,host2:port2,.... 由于这些服务器仅用于初始连接以发现完整的集群成员(可能会动态更改),因此此列表不需要包含完整的服务器集(但您可能需要多个服务器,以防服务器停机) .

Type:列表Default:Valid Values:Importance:high

3.7 管理员配置

下面是 Kafka Admin 客户端库的配置。

,