SNAT làm mất client IP thật

Mọi request trong log ứng dụng đều mang IP của node hoặc dải 10.x, khiến rate limit theo IP chặn nhầm toàn bộ người dùng và audit log mất dấu client thật. Nguyên nhân là SNAT trên đường đi của traffic kết hợp với việc ứng dụng chưa tin đúng header chuyển tiếp.

Module 05Module 11

Bối cảnh Nova Loyalty

Traffic vào Nova Loyalty đi qua gateway /v4/{gs,os,ws}/* rồi tới các service như Wallet/Points Service trên Kubernetes. Audit log của giao dịch điểm cần IP thật của client để truy vết, và vài rule rate limit ở gateway khóa theo IP. Trong kịch bản này, sau khi mở rộng cụm thêm node, IP trong log ứng dụng đột ngột đồng loạt biến thành IP của node.

Triệu chứng

  • Log của ứng dụng ghi mọi request đều đến từ IP của node hoặc dải địa chỉ nội bộ 10.x thay vì IP công cộng của client
  • Rate limit theo IP ở gateway hoặc ở app chặn nhầm toàn bộ người dùng vì tất cả cùng chung một IP nguồn sau NAT
  • Audit log của giao dịch điểm mất client IP thật, không còn truy vết được ai đã thực hiện giao dịch
  • Header X-Forwarded-For khi có khi không, và giá trị của nó không khớp với IP mà gateway ghi nhận

Điều tra

  1. Đối chiếu IP trong log của gateway với IP trong log của app cho cùng một request id để xác định IP thật bị mất ở chặng nào
  2. Kiểm tra header X-Forwarded-For tại gateway và tại app: gateway có ghi header gốc hay ghi đè, app có đọc header này hay chỉ lấy remote address
  3. Xem cấu hình Service: loại Service đang dùng và externalTrafficPolicy đang là Cluster hay Local, vì lựa chọn này quyết định traffic có bị SNAT khi chuyển node hay không
  4. Kiểm tra bảng conntrack trên node bằng dmesg tìm thông điệp dạng nf_conntrack: table full và theo dõi mức sử dụng conntrack khi tải cao
  5. Xác minh ứng dụng đã bật cơ chế đọc forwarded headers đúng cách hay chưa, và danh sách proxy được tin cậy đã khai báo tới đâu

Root cause

Khi traffic vào một node nhưng pod đích nằm ở node khác, kube-proxy thực hiện SNAT để đảm bảo đường về, khiến địa chỉ nguồn mà pod nhìn thấy là IP của node thay vì IP của client. Đồng thời ứng dụng chưa cấu hình đọc X-Forwarded-For một cách an toàn từ các proxy tin cậy, nên IP thật mà gateway đã ghi lại bị bỏ qua. Hai yếu tố cộng lại làm mất client IP ở cả log, rate limit và audit.

Fix

  • Cân nhắc đặt externalTrafficPolicy: Local cho Service nhận traffic ngoài để giữ IP nguồn; đổi lại phải chấp nhận đánh đổi là phân phối tải kém đều hơn và cần đủ pod trên các node nhận traffic
  • Cấu hình ứng dụng đọc forwarded headers đúng chuẩn, ví dụ ForwardedHeaderFilter phía gateway hoặc server.forward-headers-strategy phía app, chỉ tin header từ các proxy nằm trong danh sách tin cậy
  • Đảm bảo gateway giữ nguyên X-Forwarded-For gốc và chỉ nối thêm hop của mình, không ghi đè chuỗi IP đã có
  • Kiểm tra lại toàn bộ rule rate limit và audit sau khi sửa để chắc chắn chúng khóa theo IP client thật chứ không theo IP node

Phòng ngừa

  • Viết kiểm thử end-to-end khẳng định IP client thật xuất hiện trong log app và trong audit log sau mỗi thay đổi về Service hoặc Ingress
  • Giám sát mức sử dụng conntrack của node và đặt alert trước khi bảng conntrack đầy gây rớt gói
  • Ghi lại quyết định về externalTrafficPolicy kèm đánh đổi của nó trong tài liệu triển khai để người sau không đổi ngược lại một cách vô tình
  • Định kỳ đối chiếu mẫu IP trong log app với log gateway bằng một truy vấn tự động để phát hiện sớm regression

Quay lại Incident Library