JWT clock skew — lệch giờ gây 401 trên một số pod

Một phần request bị trả 401 với lý do token hết hạn dù token vừa được cấp, và lỗi chỉ xuất hiện trên vài pod. Thủ phạm là đồng hồ của node lệch so với phần còn lại của cụm trong khi dung sai lệch giờ được đặt bằng 0.

Module 04

Bối cảnh Nova Loyalty

Trong Nova Loyalty, gateway tại /v4/{gs,os,ws}/* và các service phía sau cùng xác thực JWT do hệ thống cấp phát tập trung. Người dùng đăng nhập qua Wallet/Points Service và các app client. Trong kịch bản này, người dùng trên một số tuyến qua gateway liên tục bị văng phiên dù vừa đăng nhập, trong khi đồng nghiệp kiểm tra trên tuyến khác lại không tái hiện được.

Triệu chứng

  • Một phần request bị trả 401 với thông điệp dạng JWT expired dù token mới được cấp ít phút trước
  • Lỗi chỉ xảy ra trên vài pod nhất định; khởi động lại hoặc dồn traffic sang pod khác thì lỗi biến mất
  • Tỷ lệ 401 tăng giảm theo đợt rollout và theo node được điều phối, không theo người dùng hay theo loại token
  • Người dùng báo bị đăng xuất ngẫu nhiên trên app trong khi token vẫn còn hạn khi giải mã thủ công

Điều tra

  1. So đồng hồ giữa các pod và node bằng lệnh date ngay trong pod và trên node, đồng thời kiểm tra trạng thái đồng bộ NTP/chrony để tìm node lệch giờ
  2. Ghi log có kiểm soát các mốc exp, iat, nbf của token bị từ chối so với thời gian hệ thống của pod xử lý, tránh log cả token thô
  3. Kiểm tra cấu hình leeway khi parse token trong filter JWT — ví dụ khái niệm setAllowedClockSkewSeconds trong JJWT hoặc clockSkew trong Nimbus; cần verify theo thư viện JWT đang dùng vì tên API khác nhau giữa các thư viện
  4. Phân phối log 401 theo pod và theo node để xác nhận lỗi bám theo hạ tầng chứ không bám theo người dùng
  5. Kiểm tra thứ tự filter trong SecurityFilterChain để chắc chắn lỗi đến từ bước validate thời gian chứ không phải từ filter khác nuốt mất ngữ cảnh

Root cause

Một node trong cụm bị lệch đồng hồ so với nguồn cấp token, trong khi dung sai lệch giờ khi validate JWT được đặt bằng 0. Token hoàn toàn hợp lệ theo đồng hồ đúng lại bị pod trên node lệch giờ cho là đã hết hạn (hoặc chưa tới lúc hiệu lực), nên cùng một token cho kết quả khác nhau tùy pod xử lý — đúng với triệu chứng lỗi chập chờn theo pod.

Fix

  • Đồng bộ lại NTP/chrony trên node lệch giờ và xác minh độ lệch đã về mức chấp nhận được trước khi đưa node trở lại nhận traffic
  • Cấu hình clock skew tolerance nhỏ và có chủ đích trong thư viện JWT đang dùng, đủ để hấp thụ lệch giờ rất nhỏ nhưng không đủ để nới hạn token một cách nguy hiểm
  • Đảm bảo mọi node trong cụm đều bật đồng bộ thời gian ngay từ bước dựng máy, không coi đây là cấu hình tùy chọn

Phòng ngừa

  • Giám sát clock offset của từng node và đặt alert khi độ lệch vượt ngưỡng nhỏ, xử lý trước khi người dùng thấy 401
  • Gắn nhãn pod/node vào log xác thực để lần sau có thể khoanh vùng theo hạ tầng trong vài phút
  • Đưa kiểm tra đồng bộ thời gian vào checklist rollout node mới và vào bài kiểm tra sau bảo trì hạ tầng
  • Thêm test cho filter JWT với token ở sát biên exp/nbf để hành vi dung sai lệch giờ được khóa bằng test

Quay lại Incident Library