HikariCP pool exhausted — cạn kiệt connection pool
Request treo hàng loạt kèm lỗi hết connection trong log dù lượng traffic không tăng đột biến. Nguyên nhân nằm ở transaction giữ connection quá lâu và ở việc query nặng dùng chung pool với traffic nghiệp vụ.
Module 03Module 08
Bối cảnh Nova Loyalty
Nova Loyalty chạy 5 datasource HikariCP không JTA gồm core, gift, report, legacy, audit. Giao dịch điểm chạm đồng thời 3 nguồn — ví dùng CAS, kiểm tra idempotency key và ghi Outbox — nên tầng ghi điểm rất nhạy với thời gian giữ connection. Trong kịch bản này, datasource report chạy query báo cáo nặng lại dùng chung pool với luồng đọc nghiệp vụ, còn một số transaction của Wallet/Points Service gọi HTTP xuống đối tác bên trong transaction, giữ connection chờ vô ích.
Triệu chứng
- Log xuất hiện thông điệp lỗi thật của HikariCP:
Connection is not available, request timed out after ... - Request treo tới khi chạm
connectionTimeoutrồi trả lỗi 500, trong khi CPU của app và DB đều không cao bất thường - Metric cho thấy số connection đang hoạt động chạm trần pool còn hàng chờ thì tăng liên tục
- Sự cố nặng hơn vào khung giờ chạy báo cáo, dù số request nghiệp vụ không tăng tương ứng
Điều tra
- Xem metric
hikaricp_connections_pendingvàhikaricp_connections_activetheo từng datasource để biết chính xác pool nào cạn và hàng chờ dài tới đâu - Lấy thread dump (ví dụ
jstackhoặc qua Actuatorthreaddump) và tìm các thread đang giữ connection nhưng lại chờ phản hồi HTTP từ downstream - Bật
leakDetectionThresholdở môi trường staging hoặc tạm thời ở production để in stack trace của đoạn code mượn connection lâu bất thường - Rà soát các method có
@Transactionalxem có lời gọi HTTP, lời gọi file hoặc sleep nào nằm bên trong biên transaction hay không - Đối chiếu thời gian chạy query của datasource
reportvới thời gian giữ connection để tách bạch nguyên nhân query chậm và nguyên nhân pool dùng chung
Root cause
Hai vấn đề cộng hưởng: thứ nhất, một số transaction gọi HTTP xuống hệ thống ngoài bên trong @Transactional nên connection bị giữ suốt thời gian chờ mạng, biến độ trễ của downstream thành thời gian chiếm dụng pool. Thứ hai, pool được định cỡ nhỏ và query báo cáo nặng của datasource report dùng chung tài nguyên với luồng nghiệp vụ, nên chỉ cần vài query chậm là hàng chờ pending dâng lên và request mới không còn connection để mượn.
Fix
- Tách pool riêng theo từng datasource (
core,gift,report,legacy,audit) với ngân sách connection riêng, không để báo cáo tranh connection với giao dịch điểm - Đưa mọi lời gọi HTTP ra ngoài biên
@Transactional: chuẩn bị dữ liệu, commit transaction ngắn trước, rồi mới gọi downstream và xử lý kết quả ở transaction riêng - Thiết lập ngân sách timeout rõ ràng:
connectionTimeout, timeout cho query và timeout cho HTTP client phải nhất quán để lỗi bộc lộ sớm thay vì treo dây chuyền - Định cỡ lại pool dựa trên số connection mà DB thực sự chịu được và độ đồng thời của từng datasource, tránh tăng pool mù quáng
Phòng ngừa
- Đặt alert khi
hikaricp_connections_pendinglớn hơn 0 kéo dài, vì hàng chờ là tín hiệu sớm nhất của cạn pool - Đưa quy tắc không giữ transaction khi gọi ra ngoài vào checklist review và minh họa bằng ví dụ trong Wallet/Points Service
- Chạy kiểm thử tải riêng cho khung giờ báo cáo để xác nhận query của
reportkhông ảnh hưởng pool củacore - Theo dõi dashboard Hikari theo từng datasource trên Grafana thay vì chỉ nhìn tổng số connection của DB