Consumer rebalance storm — bão rebalance Kafka

Lag của consumer group tăng theo từng đợt sóng, log đầy thông báo thu hồi partition và message bị xử lý trùng. Nguyên nhân là thời gian xử lý một batch vượt quá giới hạn poll khiến consumer liên tục bị loại khỏi group.

Module 06Module 09

Bối cảnh Nova Loyalty

Nova Loyalty dùng Outbox → Debezium → Kafka → CRM Sync Consumer để đồng bộ điểm và hạng thành viên sang CRM. Luồng này yêu cầu at-least-once kết hợp idempotency key ở phía CRM, và khi tắt pod phải tôn trọng draining 75 giây. Trong kịch bản này, CRM phản hồi chậm theo đợt nên mỗi batch đồng bộ kéo dài bất thường, và chính độ chậm đó kích hoạt vòng xoáy rebalance.

Triệu chứng

  • Lag của consumer group tăng theo từng đợt sóng: vừa giảm được một đoạn lại vọt lên, không giảm đều
  • Log consumer lặp lại thông điệp dạng Revoke previously assigned partitions và các thông báo rời hoặc gia nhập lại group
  • Cùng một sự kiện điểm bị xử lý trùng nhiều lần, phía CRM ghi nhận các lần đồng bộ lặp với cùng idempotency key
  • Trong kịch bản này, hiện tượng tệ nhất vào các đợt CRM chậm, dù số message vào topic không tăng đột biến

Điều tra

  1. Chạy kafka-consumer-groups.sh --describe cho group của CRM Sync Consumer để xem lag theo partition và tần suất thay đổi member của group
  2. Đọc log consumer quanh thời điểm lag vọt lên để đếm số lần rebalance và đối chiếu với các đợt CRM phản hồi chậm
  3. So thời gian xử lý thực tế của một batch với max.poll.interval.ms và kiểm tra max.poll.records đang cho phép batch lớn tới đâu
  4. Kiểm tra consumer đã dùng static membership qua group.instance.id hay chưa và assignor đang là loại nào, ví dụ cooperative-sticky so với eager mặc định
  5. Xem dashboard Grafana về lag, thời gian xử lý mỗi message và nhịp poll để xác nhận consumer biến mất khỏi group ngay sau các batch xử lý lâu

Root cause

Thời gian xử lý một batch vượt quá max.poll.interval.ms vì mỗi message đều gọi CRM đồng bộ và CRM đang chậm. Coordinator cho rằng consumer đã chết nên loại consumer khỏi group và thu hồi partition; consumer xử lý xong quay lại thì phải gia nhập lại từ đầu, gây rebalance, phân công lại partition và xử lý trùng phần việc chưa kịp commit. Vòng lặp chậm → bị loại → rebalance → chậm thêm tự duy trì thành bão rebalance.

Fix

  • Giảm max.poll.records để mỗi lần poll chỉ nhận số message xử lý kịp trong ngân sách thời gian cho phép
  • Tách việc gọi CRM chậm ra khỏi vòng poll: đệm message vào hàng đợi nội bộ hoặc xử lý bất đồng bộ có kiểm soát, commit offset theo đúng thứ tự và ngữ nghĩa đã thiết kế
  • Tăng max.poll.interval.ms một cách có tính toán dựa trên thời gian xử lý batch đo được, thay vì tăng vô hạn để che giấu độ chậm
  • Bật static membership bằng group.instance.id ổn định cho từng instance và cân nhắc cooperative-sticky assignor để giảm churn khi pod khởi động lại, kết hợp tôn trọng draining 75 giây khi tắt

Phòng ngừa

  • Đặt alert trên tần suất rebalance của group và trên thời gian xử lý batch tiệm cận max.poll.interval.ms
  • Theo dõi metric nhịp poll và lag theo partition trên dashboard để phát hiện consumer sắp bị loại trước khi lag bùng lên
  • Kiểm thử với CRM giả lập phản hồi chậm trong môi trường staging để đo hành vi của consumer trước khi lên production
  • Giữ idempotency key ở phía nhận như lưới an toàn cuối cùng cho các lần xử lý trùng không tránh khỏi

Quay lại Incident Library