N+1 làm sập DB
Một endpoint danh sách của Nova Loyalty phát sinh hàng trăm câu SQL cho mỗi request, khiến CPU của Postgres tăng vọt và toàn bộ API chậm theo. Nguyên nhân là pattern N+1 kinh điển bị che giấu bởi Open Session in View.
Module 03
Bối cảnh Nova Loyalty
Trong Nova Loyalty, Wallet/Points Service phục vụ màn hình danh sách ví và lịch sử điểm qua gateway /v4/{gs,os,ws}/*. Hệ thống dùng 5 datasource HikariCP không JTA gồm core, gift, report, legacy, audit; màn hình này đọc chủ yếu từ datasource core. Khi lượng thành viên tăng, trang danh sách ví kèm số dư và hạng thành viên trở thành điểm nghẽn đầu tiên vì mỗi dòng lại chạm thêm nhiều bảng quan hệ.
Triệu chứng
- Trong kịch bản này, một request lấy danh sách ví phát sinh vài trăm câu
SELECTthay vì chỉ vài câu như kỳ vọng - CPU của Postgres tăng cao,
pg_stat_statementscho thấy cùng một mẫu query bị gọi lặp với tham số khác nhau - Độ trễ p95 của endpoint tăng mạnh theo số dòng trả về, trong khi throughput của app gần như không tăng
- Log ứng dụng xuất hiện dày đặc các câu SQL gần giống nhau chỉ khác giá trị khóa ngoại
Điều tra
- Bật SQL log có chọn lọc và Hibernate statistics (
hibernate.generate_statistics) rồi đếm số query cho đúng 1 request để xác nhận pattern N+1 thay vì đoán mò - Xem Actuator metrics và dashboard Hibernate để đối chiếu số session, số query và thời gian chờ connection của datasource
core - Kiểm tra slow query log của Postgres và
EXPLAIN (ANALYZE, BUFFERS)trên câu query bị lặp nhiều nhất để loại trừ khả năng thiếu index - Rà soát code đường đi của request: entity có collection
LAZYnào đang bị truy cập trong vòng lặp ở tầng service hoặc khi serialize response hay không - Kiểm tra cấu hình Open Session in View (
spring.jpa.open-in-view) — khi tính năng này bật, lỗi fetch lười bị che giấu tới tận tầng view nên không nổLazyInitializationExceptionsớm
Root cause
Quan hệ tới collection được ánh xạ LAZY nhưng code lại truy cập collection đó trong vòng lặp cho từng phần tử của kết quả chính: 1 câu query lấy danh sách cộng thêm N câu query con, đúng nghĩa N+1. Vì Open Session in View giữ session mở tới khi render xong response, lỗi không bộc lộ thành exception mà âm thầm biến thành tải SQL khổng lồ lên datasource core, làm cạn CPU của DB và kéo chậm mọi request khác dùng chung datasource.
Fix
- Dùng
JOIN FETCHtrong JPQL hoặc@EntityGraphcho các quan hệ luôn cần kèm theo khi hiển thị danh sách - Cân nhắc
hibernate.default_batch_fetch_sizevà batch fetching cho các collection không thể join fetch cùng lúc để tránh nhân bản hàng - Chuyển endpoint danh sách sang DTO projection chỉ lấy cột cần hiển thị thay vì nạp cả entity graph rồi mới map
- Tắt hoặc giới hạn Open Session in View sau khi đã fetch chủ động, để lỗi fetch lười bộc lộ sớm trong tầng service thay vì ở view
Phòng ngừa
- Viết test đếm số query cho các endpoint danh sách quan trọng và đặt ngưỡng số query tối đa cho 1 request
- Đặt cảnh báo khi số query trên mỗi request hoặc số query trên giây của datasource
corevượt ngưỡng bất thường - Đưa fetch plan vào checklist review code: mọi quan hệ
LAZYđược truy cập trong vòng lặp đều phải có lý do và có chiến lược fetch đi kèm - Theo dõi
pg_stat_statementsđịnh kỳ để phát hiện sớm các mẫu query bị gọi lặp bất thường