API key giống như mật khẩu dành cho chương trình. Nó cũng là quyền chi tiêu: ai giữ key đều có thể dùng số dư của bạn.
Cách hoạt động
API LLM coi key là một bearer token. Client gửi nó kèm mọi request:
curl https://inference.broadnet.ai/v1/models \
-H "Authorization: Bearer $BROADNET_API_KEY"
RFC 6750 định nghĩa bearer token là loại token mà “any party in possession of the token” (Bản dịch: bất kỳ bên nào đang giữ token) đều dùng được. Không có yếu tố xác thực thứ hai. Đó là lý do chính RFC này yêu cầu client luôn gửi bearer token qua TLS (https://).
Nhà cung cấp tra key, tìm tài khoản, kiểm tra giới hạn và chính sách, rồi mới phục vụ hoặc từ chối request. Thiếu key hoặc sai key thường trả về 401; key bị chính sách từ chối, chẳng hạn bởi danh sách IP được phép, thường trả về 403.
Vì sao quan trọng
Key bị lộ là một trong những nguyên nhân phổ biến nhất khiến hóa đơn API tăng mất kiểm soát, vì bot liên tục quét code công khai để tìm secret. Nó cũng có thể làm lộ dữ liệu nếu key truy cập được các endpoint trả về thông tin tài khoản. Cách làm tốt, theo hướng dẫn về secret của OWASP:
- Nạp key từ biến môi trường hoặc trình quản lý secret. Đừng bao giờ commit key hay đóng gói key vào container image.
- Cấp cho mỗi ứng dụng hoặc agent một key riêng, để bạn có thể thu hồi một key mà không làm dừng mọi thứ.
- Xoay vòng key theo lịch, và ngay lập tức sau khi nghi ngờ bị lộ.
- Giới hạn nơi key được dùng, ví dụ bằng danh sách IP máy chủ được phép.
Trên BroadNet Inference
BroadNet tách riêng hai loại thông tin xác thực. Inference key dùng để gọi model trên /v1/*. Portal credential dùng để tự động hóa tài khoản: key, IP được phép và các giao dịch mua. Hãy coi loại thứ hai là toàn quyền với tài khoản.
Cả hai chỉ hiển thị một lần. BroadNet chỉ lưu bản băm SHA-256, nên không thể hiển thị lại key. Một key trả theo mức dùng có hiệu lực một năm, và mỗi tài khoản có tối đa mười key đang hoạt động. Mỗi key có thể có danh sách IP được phép riêng. Sau khi thu hồi key hoặc thay đổi danh sách IP được phép, request mới sẽ bị chặn trong vòng năm giây.
Key của gói giá cố định là loại riêng và không bao giờ trừ vào số dư của bạn. Các bước cài đặt có trong API key và danh sách IP được phép, còn các mã trạng thái có trong lỗi và thử lại.
Lỗi thường gặp
- Ghi log toàn bộ header của request. Làm vậy sẽ ghi key vào log.
- Dùng chung một key cho cả nhóm. Bạn mất khả năng thu hồi quyền truy cập của từng người.
- Gửi key cho bộ phận hỗ trợ. Hãy gửi giá trị header
X-Request-IDthay vào đó.