Circuit breaker mở nhầm — chặn cả khi downstream đã khỏe
Circuit breaker ở trạng thái OPEN gần như liên tục dù downstream đã phục hồi, khiến người dùng vẫn thấy lỗi. Kịch bản mở nhầm này đến từ ngưỡng quá nhạy, cửa sổ trượt quá nhỏ và lỗi nghiệp vụ bị tính nhầm thành failure.
Module 10
Bối cảnh Nova Loyalty
Trong Nova Loyalty, Wallet/Points Service gọi sang đối tác quà tặng của datasource gift và gọi CRM trong các luồng phụ trợ qua gateway /v4/{gs,os,ws}/*. Các lời gọi này được bọc Resilience4j circuit breaker. Trong kịch bản này, một lượng nhỏ request hợp lệ nhưng bị đối tác trả về lỗi nghiệp vụ 4xx — ví dụ mã quà đã hết — cũng bị tính vào tỷ lệ failure, và chỉ vài lỗi lẻ như vậy là đủ mở breaker cho toàn bộ traffic.
Triệu chứng
- Circuit breaker ở trạng thái
OPENliên tục hoặc nhấp nháy mở — đóng dù downstream đã khỏe trở lại và trả 200 cho phần lớn request - Người dùng nhận lỗi từ fallback dù kiểm tra thủ công downstream vẫn bình thường
- Trong kịch bản này, sự cố bùng lên sau các đợt có nhiều lỗi nghiệp vụ 4xx hợp lệ, ví dụ tra cứu mã quà không tồn tại
- Log cho thấy lỗi gốc bị fallback che mất, khó phân biệt lúc nào downstream sập thật và lúc nào breaker tự mở
Điều tra
- Xem metric
resilience4j_circuitbreaker_statevàresilience4j_circuitbreaker_callsđể biết breaker mở bao lâu, mở bao nhiêu lần và tỷ lệ call bị từ chối - Mở Actuator tại
/actuator/circuitbreakersđể đọc trạng thái và cấu hình hiệu lực của từng breaker theo tên downstream - Rà cấu hình
recordExceptionsvàignoreExceptions: lỗi nghiệp vụ phía client đang bị ghi nhận là failure hay đã được loại trừ - Đếm tỷ lệ lỗi thật (5xx, timeout, lỗi kết nối) so với lỗi 4xx nghiệp vụ trong cùng cửa sổ để xem failure rate hiển thị có bị thổi phồng hay không
- Kiểm tra log phía sau fallback để khôi phục lỗi gốc, tránh kết luận dựa trên thông điệp chung chung của fallback
Root cause
Ba yếu tố cấu hình cộng hưởng: failureRateThreshold đặt quá thấp so với SLO thực tế, cửa sổ trượt (sliding window) quá nhỏ nên vài lỗi lẻ cũng chiếm tỷ lệ lớn, và các exception nghiệp vụ tương ứng với phản hồi 4xx bị tính là failure. Kết quả là breaker mở vì nhiễu nghiệp vụ chứ không phải vì downstream hỏng, rồi trạng thái OPEN của nó tự gây ra lỗi cho người dùng dù hệ thống phía sau hoàn toàn khỏe.
Fix
- Khai báo
ignoreExceptionscho các lỗi nghiệp vụ xác định rõ ràng để chúng không tham gia vào failure rate, đồng thời giữrecordExceptionschặt cho lỗi hạ tầng thật - Tăng kích thước sliding window và hiệu chỉnh
failureRateThresholdtheo SLO đo được của từng downstream thay vì dùng một ngưỡng chung cho mọi nơi - Tách circuit breaker riêng theo từng downstream và từng loại lời gọi quan trọng, không để một breaker chung quyết định số phận của mọi traffic
- Đảm bảo fallback ghi log kèm nguyên nhân gốc và tên breaker để lần sau phân biệt được mở đúng và mở nhầm ngay trong log
Phòng ngừa
- Dựng dashboard trạng thái circuit breaker theo thời gian thực và đặt alert khi một breaker ở trạng thái OPEN quá ngưỡng thời lượng cho phép
- Viết test cấu hình cho breaker: cho ăn chuỗi lỗi 4xx nghiệp vụ và khẳng định breaker không mở, cho ăn lỗi 5xx liên tục và khẳng định breaker mở đúng lúc
- Thực hành chaos nhẹ ở staging — làm downstream trả lỗi theo tỷ lệ kiểm soát được — để quan sát ngưỡng mở trước khi áp dụng lên production
- Đưa việc rà soát ngưỡng breaker vào quy trình khi onboard một downstream mới, kèm số liệu SLO làm căn cứ