SNAT làm mất client IP thật
Mọi request trong log ứng dụng đều mang IP của node hoặc dải 10.x, khiến rate limit theo IP chặn nhầm toàn bộ người dùng và audit log mất dấu client thật. Nguyên nhân là SNAT trên đường đi của traffic kết hợp với việc ứng dụng chưa tin đúng header chuyển tiếp.
Module 05Module 11
Bối cảnh Nova Loyalty
Traffic vào Nova Loyalty đi qua gateway /v4/{gs,os,ws}/* rồi tới các service như Wallet/Points Service trên Kubernetes. Audit log của giao dịch điểm cần IP thật của client để truy vết, và vài rule rate limit ở gateway khóa theo IP. Trong kịch bản này, sau khi mở rộng cụm thêm node, IP trong log ứng dụng đột ngột đồng loạt biến thành IP của node.
Triệu chứng
- Log của ứng dụng ghi mọi request đều đến từ IP của node hoặc dải địa chỉ nội bộ 10.x thay vì IP công cộng của client
- Rate limit theo IP ở gateway hoặc ở app chặn nhầm toàn bộ người dùng vì tất cả cùng chung một IP nguồn sau NAT
- Audit log của giao dịch điểm mất client IP thật, không còn truy vết được ai đã thực hiện giao dịch
- Header
X-Forwarded-Forkhi có khi không, và giá trị của nó không khớp với IP mà gateway ghi nhận
Điều tra
- Đối chiếu IP trong log của gateway với IP trong log của app cho cùng một request id để xác định IP thật bị mất ở chặng nào
- Kiểm tra header
X-Forwarded-Fortại gateway và tại app: gateway có ghi header gốc hay ghi đè, app có đọc header này hay chỉ lấy remote address - Xem cấu hình Service: loại Service đang dùng và
externalTrafficPolicyđang làClusterhayLocal, vì lựa chọn này quyết định traffic có bị SNAT khi chuyển node hay không - Kiểm tra bảng conntrack trên node bằng
dmesgtìm thông điệp dạngnf_conntrack: table fullvà theo dõi mức sử dụng conntrack khi tải cao - Xác minh ứng dụng đã bật cơ chế đọc forwarded headers đúng cách hay chưa, và danh sách proxy được tin cậy đã khai báo tới đâu
Root cause
Khi traffic vào một node nhưng pod đích nằm ở node khác, kube-proxy thực hiện SNAT để đảm bảo đường về, khiến địa chỉ nguồn mà pod nhìn thấy là IP của node thay vì IP của client. Đồng thời ứng dụng chưa cấu hình đọc X-Forwarded-For một cách an toàn từ các proxy tin cậy, nên IP thật mà gateway đã ghi lại bị bỏ qua. Hai yếu tố cộng lại làm mất client IP ở cả log, rate limit và audit.
Fix
- Cân nhắc đặt
externalTrafficPolicy: Localcho Service nhận traffic ngoài để giữ IP nguồn; đổi lại phải chấp nhận đánh đổi là phân phối tải kém đều hơn và cần đủ pod trên các node nhận traffic - Cấu hình ứng dụng đọc forwarded headers đúng chuẩn, ví dụ
ForwardedHeaderFilterphía gateway hoặcserver.forward-headers-strategyphía app, chỉ tin header từ các proxy nằm trong danh sách tin cậy - Đảm bảo gateway giữ nguyên
X-Forwarded-Forgốc và chỉ nối thêm hop của mình, không ghi đè chuỗi IP đã có - Kiểm tra lại toàn bộ rule rate limit và audit sau khi sửa để chắc chắn chúng khóa theo IP client thật chứ không theo IP node
Phòng ngừa
- Viết kiểm thử end-to-end khẳng định IP client thật xuất hiện trong log app và trong audit log sau mỗi thay đổi về Service hoặc Ingress
- Giám sát mức sử dụng conntrack của node và đặt alert trước khi bảng conntrack đầy gây rớt gói
- Ghi lại quyết định về
externalTrafficPolicykèm đánh đổi của nó trong tài liệu triển khai để người sau không đổi ngược lại một cách vô tình - Định kỳ đối chiếu mẫu IP trong log app với log gateway bằng một truy vấn tự động để phát hiện sớm regression