Kafka 常见问题
kafka连接异常
原因与排查：
- 配置文件问题：请检查Kafka配置文件kafka-cfg.properties中的信息是否填写正确，使用命令行操作是变量信息是否正确。
- 接入方式问题：请确认是否开启sasl安全访问，并使用匹配的接入方式。
- 接入权限问题：如果日志出现topic未创建、授权信息异常请按2.1步骤进行相应资源权限申请后再行接入。
消费延迟增大
原因与排查：
- 消息量激增：确认生产者消息量是否明显上升，导致消费者短时延迟升高。如果生产数据持续上升，请使用KDP资源弹性能力或扩容消费者。
- kafka节点繁忙：确认kafka broker资源利用是否过高，可能受同kafka其他topic流量影响。建议将大流量业务需要的kafka进行拆分。
消息在分区中分布不均衡
原因与排查：
- 发送消息时指定了消息Key：按照对应的Key发送消息至对应的分区，导致分区消息不均衡。可以通过同一个key落在同分区的特性在大数据使用时可能避免计算引擎shuffle操作。
- 发送消息时指定了分区：会导致指定的分区有消息，未指定的分区没有消息。
- 代码重新实现了分区分配策略：自定义的策略逻辑可能会导致分区消息不均衡。