N+1 làm sập DB
Một endpoint danh sách của Nova Loyalty phát sinh hàng trăm câu SQL cho mỗi request, khiến CPU của Postgres tăng vọt và toàn bộ API chậm theo. Nguyên nhân là pattern N+1 kinh điển bị che giấu bởi Open Session in View.
Đọc caseMỗi case trong thư viện này đi qua cùng một khung: triệu chứng quan sát được, các bước điều tra bằng lệnh và metric thật, phân tích root cause, cách fix và biện pháp phòng ngừa. Các case được gắn với bối cảnh Nova Loyalty — 5 datasource HikariCP không JTA, gateway /v4/{gs,os,ws}/* và luồng Outbox → Debezium → Kafka → CRM — để người học thấy sự cố xảy ra trong một hệ thống cụ thể chứ không phải trong chân không. Các con số xuất hiện trong từng case là tham số của kịch bản được mô tả, không phải số đo benchmark.
Một endpoint danh sách của Nova Loyalty phát sinh hàng trăm câu SQL cho mỗi request, khiến CPU của Postgres tăng vọt và toàn bộ API chậm theo. Nguyên nhân là pattern N+1 kinh điển bị che giấu bởi Open Session in View.
Đọc caseRequest treo hàng loạt kèm lỗi hết connection trong log dù lượng traffic không tăng đột biến. Nguyên nhân nằm ở transaction giữ connection quá lâu và ở việc query nặng dùng chung pool với traffic nghiệp vụ.
Đọc caseMột phần request bị trả 401 với lý do token hết hạn dù token vừa được cấp, và lỗi chỉ xuất hiện trên vài pod. Thủ phạm là đồng hồ của node lệch so với phần còn lại của cụm trong khi dung sai lệch giờ được đặt bằng 0.
Đọc caseLag của consumer group tăng theo từng đợt sóng, log đầy thông báo thu hồi partition và message bị xử lý trùng. Nguyên nhân là thời gian xử lý một batch vượt quá giới hạn poll khiến consumer liên tục bị loại khỏi group.
Đọc casePod của service bị khởi động lại liên tục và Kubernetes ghi nhận lý do OOMKilled với exit code 137. Vấn đề không nằm ở rò rỉ bộ nhớ mà ở cách định cỡ heap cố định cộng với phần bộ nhớ ngoài heap bị bỏ quên.
Đọc caseMọi request trong log ứng dụng đều mang IP của node hoặc dải 10.x, khiến rate limit theo IP chặn nhầm toàn bộ người dùng và audit log mất dấu client thật. Nguyên nhân là SNAT trên đường đi của traffic kết hợp với việc ứng dụng chưa tin đúng header chuyển tiếp.
Đọc caseỨng dụng fail ngay khi khởi động vì Flyway báo checksum của một migration không khớp với bản đã ghi trong DB, khiến đợt deploy bị kẹt hoàn toàn. Nguyên nhân là có người sửa trực tiếp file migration đã được apply ở staging.
Đọc caseCircuit breaker ở trạng thái OPEN gần như liên tục dù downstream đã phục hồi, khiến người dùng vẫn thấy lỗi. Kịch bản mở nhầm này đến từ ngưỡng quá nhạy, cửa sổ trượt quá nhỏ và lỗi nghiệp vụ bị tính nhầm thành failure.
Đọc caseMột partition của topic đứng yên trong khi các partition khác vẫn chảy, consumer crash và restart lặp với cùng một offset. Thủ phạm là một message không deserialize được kết hợp với việc thiếu error handler bỏ qua có kiểm soát.
Đọc case