Kafka Sender

Kafka Sender 是将结构化的数据发送到 Kafka 的发送器

典型配置

{
        "name":"kafka_sender",
        "sender_type":"kafka",
        "kafka_host":"192.168.31.201:9092",
        "kafka_topic":"mytopic",
        "kafka_client_id":"localhost",
        "kafka_retry_max":"3",
        "kafka_compression":"none",
        "kafka_timeout":"30s",
        "kafka_keep_alive":"0",
        "max_message_bytes":"4194304"
}

1. kafka_host 必填项，kafka broker的服务地址，多个可以用逗号连接。如："192.168.31.201:9092,192.168.31.202:9092"
2. kafka_topic 必填项，发送到的kafka topic名称。还可以用数据路由的方式，填写格式如：%{[kafka_topic_field]},default_topic 此时会从发送的数据中寻找字段名为"kafka_topic_field"的string类型数据，并将至作为topic发送，否则就使用填写的default_topic名称作为发送目的地。
3. kafka_client_id 非必填项，kafka client的ID，默认使用hostname
4. kafka_retry_max 非必填项，kafka发送的失败重试时间，默认重试3次。
5. kafka_compression 非必填项，kafka发送的数据压缩方式，默认不压缩。
6. kafka_timeout 非必填项，超时时间，默认30s
7. kafka_keep_alive 非必填项，keep_alive的时间，默认不开启。
8. max_message_bytes 非必填项，kafka发送的数据大小限制，默认4MB。