Poison pill message — một message lỗi kẹt cả partition

Một partition của topic đứng yên trong khi các partition khác vẫn chảy, consumer crash và restart lặp với cùng một offset. Thủ phạm là một message không deserialize được kết hợp với việc thiếu error handler bỏ qua có kiểm soát.

Module 06

Bối cảnh Nova Loyalty

Luồng Outbox → Debezium → Kafka → CRM Sync Consumer của Nova Loyalty phát sự kiện thay đổi điểm và ví từ Wallet/Points Service sang CRM. Producer và consumer tiến hóa schema độc lập theo thời gian. Trong kịch bản này, một sự kiện được phát với kiểu dữ liệu của một trường đã thay đổi không tương thích, và message đó trở thành poison pill chặn đứng đúng partition chứa nó.

Triệu chứng

  • Một partition đứng yên: lag tăng chỉ ở partition đó trong khi các partition còn lại của cùng topic vẫn tiêu thụ bình thường
  • Consumer crash hoặc restart lặp lại với cùng một offset, tiến độ của group không qua được điểm này
  • Log lặp lại exception ở bước deserialize cho cùng một bản ghi mỗi lần consumer đọc tới
  • Trong kịch bản này, sự cố bắt đầu ngay sau một đợt phát hành có thay đổi schema của sự kiện ở phía producer

Điều tra

  1. Dùng kafka-console-consumer với --partition và --offset trỏ thẳng vào offset nghi ngờ (hoặc công cụ tương đương) để đọc nguyên văn message gây lỗi và xác nhận nội dung của nó
  2. Xác định lỗi thuộc về thay đổi schema không tương thích nào — ví dụ một trường đổi kiểu dữ liệu — bằng cách đối chiếu payload với schema mà consumer hiện tại kỳ vọng
  3. Kiểm tra error handler hiện tại của listener: khi deserialize thất bại, hành vi mặc định là dừng cả batch, retry tại chỗ hay bỏ qua bản ghi
  4. Xem lag theo từng partition qua kafka-consumer-groups.sh --describe để khẳng định phạm vi ảnh hưởng chỉ gói trong một partition
  5. Rà soát lịch sử thay đổi schema và cơ chế kiểm tra tương thích đang áp dụng giữa producer và consumer

Root cause

Một message có schema không tương thích ngược đã lọt vào topic — trường dữ liệu đổi kiểu so với kỳ vọng của consumer — nên bước deserialize luôn thất bại tại đúng offset đó. Vì listener chưa cấu hình error handler có khả năng bỏ qua bản ghi lỗi một cách có kiểm soát, mỗi lần khởi động lại consumer đều đọc trúng cùng message, crash hoặc dừng batch rồi lặp lại vô hạn, biến một bản ghi hỏng thành điểm tắc cho cả partition.

Fix

  • Cấu hình DefaultErrorHandler kết hợp DeadLetterPublishingRecoverer để sau số lần thử quy định, bản ghi lỗi được đưa sang DLQ kèm header ghi rõ topic, partition và offset nguồn
  • Xử lý các message trong DLQ theo quy trình riêng: sửa payload hoặc nâng cấp consumer rồi mới phát lại có kiểm soát, không phát lại mù quáng vào topic chính
  • Khôi phục tương thích schema theo hướng backward compatible ở lần thay đổi tiếp theo để consumer cũ và mới cùng đọc được trong giai đoạn chuyển đổi
  • Bổ sung xử lý ở phía Outbox và Debezium nếu nguồn lỗi xuất phát từ dữ liệu gốc, tránh phát lại cùng một sự kiện hỏng

Phòng ngừa

  • Áp dụng schema validation ở phía producer và kiểm tra tương thích trước khi phát hành thay đổi schema của sự kiện
  • Đặt alert ngay khi DLQ có message mới và khi lag của một partition lệch hẳn so với các partition còn lại
  • Dựng dashboard lag theo partition cho các topic quan trọng của luồng đồng bộ CRM để nhìn thấy điểm tắc đơn lẻ
  • Tôn trọng graceful shutdown và draining 75 giây khi rollout consumer mới để tránh cộng thêm lỗi offset vào sự cố đang xử lý

Quay lại Incident Library