N+1 làm sập DB

Một endpoint danh sách của Nova Loyalty phát sinh hàng trăm câu SQL cho mỗi request, khiến CPU của Postgres tăng vọt và toàn bộ API chậm theo. Nguyên nhân là pattern N+1 kinh điển bị che giấu bởi Open Session in View.

Module 03

Bối cảnh Nova Loyalty

Trong Nova Loyalty, Wallet/Points Service phục vụ màn hình danh sách ví và lịch sử điểm qua gateway /v4/{gs,os,ws}/*. Hệ thống dùng 5 datasource HikariCP không JTA gồm core, gift, report, legacy, audit; màn hình này đọc chủ yếu từ datasource core. Khi lượng thành viên tăng, trang danh sách ví kèm số dư và hạng thành viên trở thành điểm nghẽn đầu tiên vì mỗi dòng lại chạm thêm nhiều bảng quan hệ.

Triệu chứng

  • Trong kịch bản này, một request lấy danh sách ví phát sinh vài trăm câu SELECT thay vì chỉ vài câu như kỳ vọng
  • CPU của Postgres tăng cao, pg_stat_statements cho thấy cùng một mẫu query bị gọi lặp với tham số khác nhau
  • Độ trễ p95 của endpoint tăng mạnh theo số dòng trả về, trong khi throughput của app gần như không tăng
  • Log ứng dụng xuất hiện dày đặc các câu SQL gần giống nhau chỉ khác giá trị khóa ngoại

Điều tra

  1. Bật SQL log có chọn lọc và Hibernate statistics (hibernate.generate_statistics) rồi đếm số query cho đúng 1 request để xác nhận pattern N+1 thay vì đoán mò
  2. Xem Actuator metrics và dashboard Hibernate để đối chiếu số session, số query và thời gian chờ connection của datasource core
  3. Kiểm tra slow query log của Postgres và EXPLAIN (ANALYZE, BUFFERS) trên câu query bị lặp nhiều nhất để loại trừ khả năng thiếu index
  4. Rà soát code đường đi của request: entity có collection LAZY nào đang bị truy cập trong vòng lặp ở tầng service hoặc khi serialize response hay không
  5. Kiểm tra cấu hình Open Session in View (spring.jpa.open-in-view) — khi tính năng này bật, lỗi fetch lười bị che giấu tới tận tầng view nên không nổ LazyInitializationException sớm

Root cause

Quan hệ tới collection được ánh xạ LAZY nhưng code lại truy cập collection đó trong vòng lặp cho từng phần tử của kết quả chính: 1 câu query lấy danh sách cộng thêm N câu query con, đúng nghĩa N+1. Vì Open Session in View giữ session mở tới khi render xong response, lỗi không bộc lộ thành exception mà âm thầm biến thành tải SQL khổng lồ lên datasource core, làm cạn CPU của DB và kéo chậm mọi request khác dùng chung datasource.

Fix

  • Dùng JOIN FETCH trong JPQL hoặc @EntityGraph cho các quan hệ luôn cần kèm theo khi hiển thị danh sách
  • Cân nhắc hibernate.default_batch_fetch_size và batch fetching cho các collection không thể join fetch cùng lúc để tránh nhân bản hàng
  • Chuyển endpoint danh sách sang DTO projection chỉ lấy cột cần hiển thị thay vì nạp cả entity graph rồi mới map
  • Tắt hoặc giới hạn Open Session in View sau khi đã fetch chủ động, để lỗi fetch lười bộc lộ sớm trong tầng service thay vì ở view

Phòng ngừa

  • Viết test đếm số query cho các endpoint danh sách quan trọng và đặt ngưỡng số query tối đa cho 1 request
  • Đặt cảnh báo khi số query trên mỗi request hoặc số query trên giây của datasource core vượt ngưỡng bất thường
  • Đưa fetch plan vào checklist review code: mọi quan hệ LAZY được truy cập trong vòng lặp đều phải có lý do và có chiến lược fetch đi kèm
  • Theo dõi pg_stat_statements định kỳ để phát hiện sớm các mẫu query bị gọi lặp bất thường

Quay lại Incident Library