Incident Library — Thư viện sự cố

Mỗi case trong thư viện này đi qua cùng một khung: triệu chứng quan sát được, các bước điều tra bằng lệnh và metric thật, phân tích root cause, cách fix và biện pháp phòng ngừa. Các case được gắn với bối cảnh Nova Loyalty — 5 datasource HikariCP không JTA, gateway /v4/{gs,os,ws}/* và luồng Outbox → Debezium → Kafka → CRM — để người học thấy sự cố xảy ra trong một hệ thống cụ thể chứ không phải trong chân không. Các con số xuất hiện trong từng case là tham số của kịch bản được mô tả, không phải số đo benchmark.

Module 03

N+1 làm sập DB

Một endpoint danh sách của Nova Loyalty phát sinh hàng trăm câu SQL cho mỗi request, khiến CPU của Postgres tăng vọt và toàn bộ API chậm theo. Nguyên nhân là pattern N+1 kinh điển bị che giấu bởi Open Session in View.

Đọc case
Module 03Module 08

HikariCP pool exhausted — cạn kiệt connection pool

Request treo hàng loạt kèm lỗi hết connection trong log dù lượng traffic không tăng đột biến. Nguyên nhân nằm ở transaction giữ connection quá lâu và ở việc query nặng dùng chung pool với traffic nghiệp vụ.

Đọc case
Module 04

JWT clock skew — lệch giờ gây 401 trên một số pod

Một phần request bị trả 401 với lý do token hết hạn dù token vừa được cấp, và lỗi chỉ xuất hiện trên vài pod. Thủ phạm là đồng hồ của node lệch so với phần còn lại của cụm trong khi dung sai lệch giờ được đặt bằng 0.

Đọc case
Module 06Module 09

Consumer rebalance storm — bão rebalance Kafka

Lag của consumer group tăng theo từng đợt sóng, log đầy thông báo thu hồi partition và message bị xử lý trùng. Nguyên nhân là thời gian xử lý một batch vượt quá giới hạn poll khiến consumer liên tục bị loại khỏi group.

Đọc case
Module 08Module 11

OOMKilled — bộ nhớ JVM vượt container limit

Pod của service bị khởi động lại liên tục và Kubernetes ghi nhận lý do OOMKilled với exit code 137. Vấn đề không nằm ở rò rỉ bộ nhớ mà ở cách định cỡ heap cố định cộng với phần bộ nhớ ngoài heap bị bỏ quên.

Đọc case
Module 05Module 11

SNAT làm mất client IP thật

Mọi request trong log ứng dụng đều mang IP của node hoặc dải 10.x, khiến rate limit theo IP chặn nhầm toàn bộ người dùng và audit log mất dấu client thật. Nguyên nhân là SNAT trên đường đi của traffic kết hợp với việc ứng dụng chưa tin đúng header chuyển tiếp.

Đọc case
Module 03Module 12

Flyway checksum mismatch — deploy kẹt vì sửa migration đã apply

Ứng dụng fail ngay khi khởi động vì Flyway báo checksum của một migration không khớp với bản đã ghi trong DB, khiến đợt deploy bị kẹt hoàn toàn. Nguyên nhân là có người sửa trực tiếp file migration đã được apply ở staging.

Đọc case
Module 10

Circuit breaker mở nhầm — chặn cả khi downstream đã khỏe

Circuit breaker ở trạng thái OPEN gần như liên tục dù downstream đã phục hồi, khiến người dùng vẫn thấy lỗi. Kịch bản mở nhầm này đến từ ngưỡng quá nhạy, cửa sổ trượt quá nhỏ và lỗi nghiệp vụ bị tính nhầm thành failure.

Đọc case
Module 06

Poison pill message — một message lỗi kẹt cả partition

Một partition của topic đứng yên trong khi các partition khác vẫn chảy, consumer crash và restart lặp với cùng một offset. Thủ phạm là một message không deserialize được kết hợp với việc thiếu error handler bỏ qua có kiểm soát.

Đọc case