Consumer rebalance storm — bão rebalance Kafka
Lag của consumer group tăng theo từng đợt sóng, log đầy thông báo thu hồi partition và message bị xử lý trùng. Nguyên nhân là thời gian xử lý một batch vượt quá giới hạn poll khiến consumer liên tục bị loại khỏi group.
Module 06Module 09
Bối cảnh Nova Loyalty
Nova Loyalty dùng Outbox → Debezium → Kafka → CRM Sync Consumer để đồng bộ điểm và hạng thành viên sang CRM. Luồng này yêu cầu at-least-once kết hợp idempotency key ở phía CRM, và khi tắt pod phải tôn trọng draining 75 giây. Trong kịch bản này, CRM phản hồi chậm theo đợt nên mỗi batch đồng bộ kéo dài bất thường, và chính độ chậm đó kích hoạt vòng xoáy rebalance.
Triệu chứng
- Lag của consumer group tăng theo từng đợt sóng: vừa giảm được một đoạn lại vọt lên, không giảm đều
- Log consumer lặp lại thông điệp dạng
Revoke previously assigned partitionsvà các thông báo rời hoặc gia nhập lại group - Cùng một sự kiện điểm bị xử lý trùng nhiều lần, phía CRM ghi nhận các lần đồng bộ lặp với cùng
idempotency key - Trong kịch bản này, hiện tượng tệ nhất vào các đợt CRM chậm, dù số message vào topic không tăng đột biến
Điều tra
- Chạy
kafka-consumer-groups.sh --describecho group của CRM Sync Consumer để xem lag theo partition và tần suất thay đổi member của group - Đọc log consumer quanh thời điểm lag vọt lên để đếm số lần rebalance và đối chiếu với các đợt CRM phản hồi chậm
- So thời gian xử lý thực tế của một batch với
max.poll.interval.msvà kiểm tramax.poll.recordsđang cho phép batch lớn tới đâu - Kiểm tra consumer đã dùng static membership qua
group.instance.idhay chưa và assignor đang là loại nào, ví dụ cooperative-sticky so với eager mặc định - Xem dashboard Grafana về lag, thời gian xử lý mỗi message và nhịp poll để xác nhận consumer biến mất khỏi group ngay sau các batch xử lý lâu
Root cause
Thời gian xử lý một batch vượt quá max.poll.interval.ms vì mỗi message đều gọi CRM đồng bộ và CRM đang chậm. Coordinator cho rằng consumer đã chết nên loại consumer khỏi group và thu hồi partition; consumer xử lý xong quay lại thì phải gia nhập lại từ đầu, gây rebalance, phân công lại partition và xử lý trùng phần việc chưa kịp commit. Vòng lặp chậm → bị loại → rebalance → chậm thêm tự duy trì thành bão rebalance.
Fix
- Giảm
max.poll.recordsđể mỗi lần poll chỉ nhận số message xử lý kịp trong ngân sách thời gian cho phép - Tách việc gọi CRM chậm ra khỏi vòng poll: đệm message vào hàng đợi nội bộ hoặc xử lý bất đồng bộ có kiểm soát, commit offset theo đúng thứ tự và ngữ nghĩa đã thiết kế
- Tăng
max.poll.interval.msmột cách có tính toán dựa trên thời gian xử lý batch đo được, thay vì tăng vô hạn để che giấu độ chậm - Bật static membership bằng
group.instance.idổn định cho từng instance và cân nhắc cooperative-sticky assignor để giảm churn khi pod khởi động lại, kết hợp tôn trọng draining 75 giây khi tắt
Phòng ngừa
- Đặt alert trên tần suất rebalance của group và trên thời gian xử lý batch tiệm cận
max.poll.interval.ms - Theo dõi metric nhịp poll và lag theo partition trên dashboard để phát hiện consumer sắp bị loại trước khi lag bùng lên
- Kiểm thử với CRM giả lập phản hồi chậm trong môi trường staging để đo hành vi của consumer trước khi lên production
- Giữ
idempotency keyở phía nhận như lưới an toàn cuối cùng cho các lần xử lý trùng không tránh khỏi