Để bảo mật API key LLM, hãy giữ nó trong secret manager và chỉ gọi model từ server của bạn, không bao giờ từ trình duyệt hay ứng dụng. Cấp cho mỗi workload một key riêng, xoay vòng key định kỳ, khóa key vào IP server bằng danh sách cho phép, và khi key bị lộ thì thu hồi trước, điều tra sau.
Bài này nói về những thói quen giữ key an toàn, cùng các cơ chế kiểm soát cụ thể mà BroadNet Inference cung cấp. Để xem từng bước thao tác trên portal, hãy đọc hướng dẫn API key và danh sách IP cho phép; về ngân sách và chống vòng lặp mất kiểm soát, xem kiểm soát chi tiêu API LLM.
Nên lưu API key LLM ở đâu?
Hãy lưu key trong secret manager hoặc kho secret được mã hóa của nền tảng, không bao giờ trong code. OWASP Secrets Management Cheat Sheet trình bày kỹ các lựa chọn. Lưu ý lời cảnh báo của nó: biến môi trường “are generally accessible to all processes and may be included in logs or system dumps” (bản dịch: thường có thể bị mọi tiến trình truy cập và có thể lọt vào log hoặc bản dump hệ thống), nên khi có lựa chọn, OWASP ưu tiên file secret được mount hoặc lấy secret từ kho secret. Một biến môi trường được nạp từ secret manager lúc khởi động là giải pháp trung gian phổ biến.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"], # fails loudly if missing
)
Hãy dùng os.environ[...], đừng dùng os.getenv(...) kèm giá trị dự phòng viết cứng; chính giá trị dự phòng đó là cách key lọt vào Git. Khi phát triển cục bộ, file .env vẫn ổn nếu nó nằm trong .gitignore ngay từ commit đầu tiên. Hãy bật secret scanning và push protection của nền tảng Git bạn dùng. Trên GitHub, push protection chặn các lần push chứa định dạng secret đã biết trước khi chúng tới repository; push protection cho người dùng được bật mặc định, nhưng push protection cấp repository mặc định tắt và phải do quản trị viên repository hoặc chủ tổ chức bật.
Có thể đặt API key trong trình duyệt hay ứng dụng di động không?
Không. Bất cứ thứ gì gửi xuống client đều có thể bị trích xuất. Code front-end và gói ứng dụng là công khai, dù có được minify hay làm rối đến đâu. Hãy gọi LLM từ server, xác thực người dùng của bạn tại đó, và áp giới hạn riêng cho từng người dùng trước khi chuyển tiếp.
Công cụ desktop bạn giao cho người khác cũng vậy. Nếu một đồng nghiệp cần dùng coding agent, hãy cho họ key riêng trên tài khoản riêng thay vì dùng chung một key.
Vì sao mỗi workload nên có key riêng?
Trên BroadNet Inference, một tài khoản có thể giữ tối đa mười key đang hoạt động. Hãy tận dụng chúng:
| Nhãn key | Dùng cho |
|---|---|
prod-api |
Backend production |
prod-worker |
Job batch |
staging |
Môi trường staging |
agent-ci |
Coding agent trong CI |
dev-laptop-<name> |
Phát triển cục bộ |
Khi một key bị lộ, bạn chỉ thu hồi key đó, các key khác vẫn chạy. Nhãn cũng giúp đọc mức sử dụng dễ hơn: bạn thấy workload nào tiêu bao nhiêu. Hãy đặt tên key theo thứ dùng nó, không theo người tạo ra nó.
Danh sách IP cho phép bảo vệ key thế nào?
Một danh sách IP cho phép khiến key bị đánh cắp không dùng được ở bất cứ đâu ngoài hạ tầng của bạn. Trên BroadNet Inference:
- Danh sách cho phép của tài khoản nhận tối đa 32 mục, mỗi dòng một địa chỉ IPv4 hoặc IPv6 hoặc một dải CIDR.
- Danh sách trống nghĩa là không hạn chế.
- Key mới kế thừa danh sách của tài khoản, trừ khi bạn tạo key với
allowed_ipsriêng, khi đó danh sách này thay thế danh sách kế thừa cho key đó. - Request từ địa chỉ ngoài danh sách bị từ chối với mã 403 (“refused by model, route or IP policy”, bản dịch: bị từ chối bởi chính sách model, route hoặc IP).
Tạo key với danh sách riêng qua portal API:
curl -X POST https://inference.broadnet.ai/portal/keys \
-H "Authorization: Bearer $BROADNET_PORTAL_CREDENTIAL" \
-H "Content-Type: application/json" \
-d '{"label":"prod-worker","allowed_ips":["203.0.113.7","198.51.100.0/24"]}'
Phản hồi chứa key gốc đúng một lần. Hãy lưu ngay vào secret manager; không thể đọc lại được. Các bước đầy đủ có trong hướng dẫn danh sách IP cho phép.
Danh sách cho phép hợp với server có IP đi ra cố định: một VPS, một NAT gateway, một IP văn phòng cố định. Với laptop dùng mạng thay đổi, hãy dùng một key riêng không có danh sách và giữ số dư mà key đó có thể tiêu ở mức nhỏ.
Vì sao tách key inference khỏi thông tin xác thực quản trị?
BroadNet dùng hai loại thông tin xác thực:
| Thông tin xác thực | Làm được gì | Lưu ở đâu |
|---|---|---|
| Key inference | Gửi request tới model qua /v1/* |
Nơi ứng dụng chạy |
| Thông tin xác thực portal | Tạo và thu hồi key, đổi IP được phép, mua hàng | Chỉ trong công cụ tự động hóa hoặc quản trị |
Tài liệu khuyên coi mỗi thông tin xác thực portal là toàn quyền với tài khoản. Đừng bao giờ triển khai thông tin xác thực portal cạnh ứng dụng. Nếu server ứng dụng bị xâm nhập, kẻ tấn công chỉ nên lấy được một key inference, không phải quyền điều khiển tài khoản.
Nên xoay vòng API key bao lâu một lần?
OWASP khuyên xoay vòng định kỳ “so that any stolen credentials will only work for a short time.” (bản dịch: để thông tin xác thực bị đánh cắp chỉ dùng được trong thời gian ngắn.) Key BroadNet có hiệu lực một năm kể từ khi tạo, nên dù sao mọi key cũng sẽ phải thay. Hãy biến xoay vòng thành việc thường lệ:
- Tạo key mới với cùng quy ước nhãn và danh sách cho phép.
- Triển khai song song với key cũ, hoặc đổi secret rồi khởi động lại.
- Theo dõi traffic chuyển sang key mới.
- Thu hồi key cũ bằng
DELETE /portal/keys/{alias}.
Vì một tài khoản có thể giữ tối đa mười key đang hoạt động, bạn có thể cho key cũ và mới chạy chồng nhau vài phút mà không gián đoạn. Hãy xoay vòng sớm hơn với những key mà thành viên sắp rời nhóm từng có quyền truy cập.
Nên làm gì khi key bị lộ?
Khi key bị lộ, hãy thu hồi trước và điều tra sau. Trên BroadNet Inference, request mới dừng trong vòng năm giây sau khi thu hồi hoặc thay đổi danh sách cho phép; tài liệu giải thích rằng quyết định cấp quyền có thể còn nằm trong cache được nhân bản trong khoảng thời gian giới hạn đó.
Sau khi thu hồi:
- kiểm tra mức sử dụng của key trên trang tài khoản hoặc qua
GET /portal/usage; - tìm xem key bị lộ thế nào (lịch sử commit, log CI, một ảnh chụp màn hình được chia sẻ);
- xoay vòng mọi secret khác lưu cùng chỗ.
Key đã bị thu hồi hoặc bị chặn trả về 401 hoặc 403; xem hướng dẫn lỗi để hệ thống giám sát không coi chúng là lỗi tạm thời.
Key bị lộ qua log như thế nào?
Log là đường lộ dễ bị bỏ sót. Hãy che header Authorization trong log debug HTTP, công cụ báo lỗi và log truy cập của proxy. Khi liên hệ hỗ trợ, hãy gửi X-Request-ID, thời điểm, route, trạng thái và alias của key, không bao giờ gửi chính key. Tài liệu của BroadNet cho biết portal chỉ lưu hash của mỗi key, nên cũng không thể hiển thị lại key bạn đã làm mất.
Làm sao hạn chế thiệt hại từ một vụ lộ key bạn chưa phát hiện?
Ngay cả khi đã giữ mọi thói quen trên, hãy giả định một ngày nào đó key có thể bị lộ. Thu nhỏ phạm vi ảnh hưởng:
- Giữ số dư trả theo mức dùng ở mức bạn chấp nhận mất được, và nạp tiền khi cần.
- Dùng gói giá cố định cho agent chạy nặng: một phiên của gói có giá cố định, nên key gói bị đánh cắp không thể đẩy hóa đơn tính theo token lên. Xem “không giới hạn” thực sự nghĩa là gì.
- Đặt cảnh báo khi chi tiêu hoặc tốc độ request của từng key bất thường; công cụ tính chi phí API LLM cho bạn con số hằng tháng bình thường để làm mốc cảnh báo. Bài kiểm soát chi tiêu API LLM đề cập ngân sách và cảnh báo.
BroadNet Inference cung cấp những cơ chế kiểm soát key nào?
| Cơ chế | BroadNet Inference |
|---|---|
| Key chỉ hiện một lần, lưu dạng hash | Có |
| Key đang hoạt động mỗi tài khoản | Tối đa 10 |
| Thời hạn key | Một năm |
| Danh sách IP cho phép | Tối đa 32 mục IPv4, IPv6 hoặc CIDR |
| Danh sách cho phép theo từng key | Có, allowed_ips khi tạo |
| Thu hồi có hiệu lực | Trong vòng năm giây |
| Thông tin xác thực quản trị riêng | Thông tin xác thực portal |
Key bảo vệ tài khoản của bạn; không lưu giữ dữ liệu bảo vệ những gì bạn gửi qua tài khoản đó. Hãy đọc cả hai trước khi đưa lên production.
