OOMKilled — bộ nhớ JVM vượt container limit
Pod của service bị khởi động lại liên tục và Kubernetes ghi nhận lý do OOMKilled với exit code 137. Vấn đề không nằm ở rò rỉ bộ nhớ mà ở cách định cỡ heap cố định cộng với phần bộ nhớ ngoài heap bị bỏ quên.
Module 08Module 11
Bối cảnh Nova Loyalty
Wallet/Points Service của Nova Loyalty chạy trên Kubernetes sau gateway /v4/{gs,os,ws}/*, xử lý giao dịch điểm 3 nguồn với ví CAS và idempotency key. Trong kịch bản này, sau một đợt thay đổi cấu hình container, pod bắt đầu bị kill theo chu kỳ dù trước đó vẫn chạy ổn với cùng mức tải, và log ứng dụng không hề có OutOfMemoryError của JVM.
Triệu chứng
- Pod restart lặp lại; chạy
kubectl describe podthấyLast State TerminatedvớiReason: OOMKilled - Container kết thúc với exit code 137, dấu hiệu tiến trình bị kernel kill vì vượt giới hạn bộ nhớ cgroup
- Log JVM không có
OutOfMemoryError, heap đo được vẫn còn dư trong khi tổng bộ nhớ của tiến trình đã chạm limit - Trong kịch bản này, sự cố xuất hiện sau khi tăng heap cố định cho container mà không tăng memory limit tương ứng
Điều tra
- Chạy
kubectl describe podvàkubectl get podđể xác nhậnReason: OOMKilledvà exit code 137, phân biệt với lỗi do ứng dụng tự crash - So giá trị
-Xmxhoặc cấu hình heap hiện tại với memory limit của container và kiểm tra JVM có đang nhận biết giới hạn container qua cơ chế container support hay không - Kiểm kê phần bộ nhớ ngoài heap: metaspace, thread stack theo số thread, direct buffer và bộ nhớ native khác — dùng Native Memory Tracking (NMT) khi cần số liệu chi tiết
- Nếu kịp trước khi pod bị kill, lấy heap dump hoặc bản ghi JFR để loại trừ khả năng rò rỉ heap thật sự
- Đối chiếu memory working set trên dashboard với limit để xem đường bộ nhớ tiệm cận trần như thế nào trước mỗi lần kill
Root cause
Heap được đặt cố định ở mức lớn bằng -Xmx, trong khi container còn phải chứa metaspace, thread stack, direct buffer và chi phí native khác. Tổng working set vì thế vượt memory limit dù heap chưa đầy, và kernel kill tiến trình theo cơ chế cgroup — JVM không kịp ném OutOfMemoryError. Bản chất là bài toán ngân sách bộ nhớ của cả tiến trình, không phải bài toán heap đơn thuần.
Fix
- Chuyển sang định cỡ heap theo tỷ lệ bằng
MaxRAMPercentageđể JVM tự co giãn theo limit của container thay vì ghim một con số cố định - Chừa ngân sách rõ ràng cho phần ngoài heap khi đặt memory request và limit, tính cả số thread dự kiến và direct buffer của các client đang dùng
- Đặt memory request sát với mức dùng thực tế để scheduler xếp pod hợp lý và limit đủ cao hơn working set đo được một khoảng an toàn
Phòng ngừa
- Đặt alert khi memory working set của container tiệm cận limit để xử lý trước khi bị OOMKilled
- Chạy kiểm thử ngâm tải (soak test) ở cấu hình bộ nhớ giống production cho các thay đổi về JVM flags hoặc limit
- Đưa bảng ngân sách bộ nhớ gồm heap và ngoài heap vào tài liệu triển khai của từng service
- Ghi lại exit code và reason của lần terminate gần nhất vào dashboard để lần sau phân biệt nhanh OOMKilled với crash do ứng dụng