BroadRouter

Cách ước tính chi phí API LLM trước khi ra mắt một tính năng

Đội ngũ BroadNet Inference · 6 phút đọc · Đăng ngày · Cập nhật

Hãy ước tính chi phí API LLM theo một thao tác của người dùng, không theo một lệnh gọi API: đếm lệnh gọi mỗi thao tác, đo token đầu vào, từ cache và đầu ra trên mẫu thật, rồi nhân với người dùng và thao tác mỗi tháng. Cộng suy luận và retry, rồi tính ba kịch bản thấp, dự kiến, cao. Ví dụ trên DeepSeek V4.1 Flash ra $42.67 mỗi tháng.

Để ước tính chi phí API LLM trước khi ra mắt, hãy định giá một thao tác của người dùng thay vì một lệnh gọi API. Đếm các lệnh gọi phía sau nó, đo token đầu vào mới, đầu vào từ cache và đầu ra trên 20 đến 50 mẫu thật, nhân với số thao tác mỗi tháng, rồi cộng thêm suy luận và retry. Ví dụ soạn câu trả lời hỗ trợ của chúng tôi trên DeepSeek V4.1 Flash ra $42.67 mỗi tháng.

Đây là dự báo trước khi ra mắt cho một tính năng; khi đã có người dùng trả phí, chi phí LLM trên mỗi người dùng cho SaaS bàn về biên lợi nhuận và các bậc giá.

Công thức tính chi phí API LLM là gì?

monthly cost = actions per month × calls per action
             × ( new input tokens × input price
               + cached input tokens × cached price
               + output tokens × output price ) / 1,000,000

Token đầu ra bao gồm suy luận. Token từ cache là đầu vào mà nhà cung cấp dùng lại với giá thấp hơn. Mọi thứ còn lại là việc đo đạc. Công cụ tính chi phí API LLM miễn phí áp dụng công thức này cho giá niêm yết của bất kỳ model nào.

Xây dựng mô hình chi phí từng bước thế nào?

  1. Đặt tên cho đơn vị công việc. “Soạn câu trả lời hỗ trợ”, “tóm tắt cuộc gọi”, “sửa một test đang lỗi”. Hãy định giá thứ đó, không phải “một request”.
  2. Đếm số lệnh gọi mỗi thao tác. Một câu trả lời dựa trên truy xuất có thể là một lệnh gọi. Một agent lên kế hoạch, sửa và kiểm tra có thể là mười. Cộng thêm tỷ lệ retry: một lần timeout mà bạn retry sẽ bị tính phí lại.
  3. Đo token mỗi lệnh gọi trên mẫu thật. Lấy 20 đến 50 đầu vào sát thực tế, không phải bản demo gọn gàng. Để đếm sơ bộ trước khi gọi API, hãy dán chúng vào công cụ đếm token. Đọc usage.prompt_tokens, usage.prompt_tokens_details.cached_tokens và usage.completion_tokens từ mỗi phản hồi. Khi streaming, hãy đặt stream_options: {"include_usage": true}; hướng dẫn streaming chỉ ra nó xuất hiện ở đâu.
  4. Tách đầu vào mới và đầu vào từ cache. System prompt, danh sách tool và tài liệu dùng chung có thể được cache nếu chúng đứng đầu và giữ nguyên. Văn bản của người dùng thì không.
  5. Tính suy luận vào đầu ra. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy nghĩ trước khi trả lời. Những token suy luận đó được tính như đầu ra, và thường nhiều hơn câu trả lời hiển thị. Vì sao suy luận tốn hơn những gì bạn thấy.
  6. Ước tính khối lượng. Số người dùng hoạt động × số thao tác mỗi người mỗi ngày × 30.
  7. Nhân và cộng tổng. Đổi tổng token sang đơn vị triệu và áp giá mỗi 1M.
  8. Tính ba kịch bản. Thấp, dự kiến và cao. Traffic lúc ra mắt khó đoán, và prompt sẽ dài ra theo thời gian.
  9. Kiểm tra giới hạn, không chỉ tiền. Số request mỗi phút lúc cao điểm và số request đang chạy phải nằm trong giới hạn tốc độ của key.
  10. Chọn cách tính phí. Trả theo token cho traffic thất thường do người dùng kích hoạt; gói giá cố định cho agent chạy liên tục.

Một ví dụ ước tính trông thế nào? Trình soạn câu trả lời hỗ trợ

Một ứng dụng help-desk thêm nút “Soạn câu trả lời”. Các con số dưới đây là giả định để minh họa. Hãy thay từng con số bằng số đo của bạn.

Đầu vào Giá trị Nguồn
Nhân viên hỗ trợ (nhân sự nội bộ) dùng tính năng 500 Kế hoạch sản phẩm
Số bản nháp mỗi nhân viên mỗi ngày 4 Mức dùng thí điểm
Số ngày mỗi tháng 30
Số thao tác mỗi tháng 60.000 500 × 4 × 30
Số lệnh gọi mỗi thao tác 1 Một lệnh gọi kèm bài viết truy xuất
Token đầu vào mỗi lệnh gọi 5.000 System prompt, chuỗi ticket, ba bài viết trợ giúp
Tỷ lệ đầu vào từ cache 50% System prompt và tiền tố bài viết ổn định
Token đầu ra mỗi lệnh gọi 500 Khoảng 200 hiển thị, 300 suy luận
Model DeepSeek V4.1 Flash $0.175 / $0.0055 / $0.52 mỗi 1M

Giờ là các tổng:

Dòng Token mỗi tháng Giá mỗi 1M
Đầu vào mới 150M $0.175
Đầu vào từ cache 150M $0.0055
Đầu ra, gồm cả suy luận 30M $0.52
Chi phí dự kiến mỗi tháng $42.67

Tức là 300M token đầu vào và 30M token đầu ra: 60.000 × 5.000 và 60.000 × 500.

Kịch bản thấp và cao nên rộng đến đâu?

Kịch bản Thao tác mỗi tháng Token đầu vào / đầu ra Chi phí mỗi tháng
Thấp: chấp nhận chậm 20.000 100M / 10M $14.23
Dự kiến 60.000 300M / 30M $42.67
Cao: gấp 3 lần mức chấp nhận 180.000 900M / 90M 3 × $42.67

Cả ba đều giữ cùng tỷ lệ cache 50%. Nếu tỷ lệ cache giảm, hóa đơn tăng: trên model này, đầu vào mới có giá $0.175 mỗi 1M so với $0.0055 khi từ cache. Cách giữ tỷ lệ cache cao.

Điều gì làm ước tính thay đổi nhiều nhất?

  • Độ dài context. Truy xuất kéo về mười bài viết thay vì ba có thể làm đầu vào tăng gấp đôi. Hãy đo token sau mỗi lần sửa prompt.
  • Suy luận. Đặt reasoning_effort là low cho các bản nháp đơn giản sẽ thu nhỏ đầu ra ẩn. Suy luận và max_tokens.
  • Retry và vòng lặp. Tỷ lệ retry 5% cộng thêm 5% vào mọi dòng. Một vòng lặp agent không giới hạn số bước thì hoàn toàn không có trần. Kiểm soát chi tiêu cho API LLM.
  • Chọn model. Gemma 4 VL 26B có giá $0.10 đầu vào và $0.22 đầu ra mỗi 1M, nhưng context chỉ 32.768 token và BroadNet không ghi khả năng suy luận cho model này. Hãy kiểm tra chất lượng trước khi chuyển để tiết kiệm.
  • Ngôn ngữ. Cùng một nội dung có thể cần nhiều token hơn hẳn bằng tiếng Ả Rập hay tiếng Hindi so với tiếng Anh, và khoảng chênh phụ thuộc vào tokenizer. Dataset chi phí thực theo ngôn ngữ của chúng tôi cho thấy giá mỗi 1M ký tự của từng ngôn ngữ trên từng model và nhà cung cấp.
  • Prompt dài ra. Prompt thường dài ra sau khi ra mắt khi các trường hợp biên được xử lý. Hãy đo lại sau mỗi lần phát hành.
  • Thay đổi giá. Giá niêm yết hiếm khi đổi, nhưng có thể tăng. Trong các trang giá được lưu trữ của 11 nhà cung cấp, chúng tôi ghi nhận 52 lần tăng giá niêm yết từ 2024 đến tháng 11 năm 2026, mỗi lần so giá của một model với chính giá trước đó của nó (so với 100 lần giảm); mức tăng trung vị là 40% trên giá gộp. Xem cách lập ngân sách cho việc tăng giá API LLM.

Nếu ước tính ra quá cao, hãy làm theo checklist 10 bước giảm chi phí API LLM trước khi thay đổi tính năng.

Khối lượng có nằm trong giới hạn tốc độ không?

60.000 thao tác mỗi tháng là khoảng 2.000 mỗi ngày. Nếu một phần mười số bản nháp trong ngày rơi vào giờ bận nhất, đó là 200 mỗi giờ, hay khoảng 3 mỗi phút. Một key trả theo mức dùng của BroadNet cho phép 30 request mỗi phút và 4 request đang chạy, nên một key là đủ. Hãy kiểm tra cả kịch bản cao, hoặc nhập lưu lượng cao điểm của bạn vào công cụ tính giới hạn tốc độ. Về mối liên hệ giữa tốc độ request và số request đang chạy, xem đồng thời. Nếu gặp lỗi 429, hãy backoff rồi retry.

Tính năng này có nên chạy trên gói giá cố định không?

Có lẽ là không. Một phiên Full Moon có giá $60 mỗi tháng, nhưng một phiên chạy một request tại một thời điểm, trong khi nhiều người dùng cùng bấm “Soạn” cần request song song. Gói giá cố định hợp với agent làm việc liên tục, như coding agent. Phép tính hòa vốn cho thấy một coding agent toàn thời gian tốn $65.40 mỗi tháng nếu trả theo token, cao hơn giá gói.

Biến ước tính thành ngân sách thế nào?

  1. Đưa con số dự kiến vào kế hoạch và con số cao vào ngưỡng cảnh báo.
  2. Ghi log token mỗi thao tác trên production và so với mô hình mỗi tuần.
  3. Đặt giới hạn cứng trong code: max_tokens, giới hạn số bước và giới hạn retry.
  4. Tính lại ước tính mỗi khi bạn đổi model, prompt hoặc thiết lập truy xuất.

Bạn có thể tính lại phép tính theo token bằng số liệu của mình trong công cụ tính chi phí API LLM, hoặc so gói với trả theo token trên trang bảng giá.

BroadNet Inference phù hợp ở đâu?

BroadNet Inference công bố giá theo token của mọi model chat và chép lời mà họ phục vụ trong một file giá, nên ước tính ở trên có thể được giữ trong code. Tài khoản mới nhận $5 tín dụng khởi đầu, dùng được cho Gemma 4 VL 26B và hai model chuyển giọng nói thành văn bản, nên bạn có thể đo mẫu trên Gemma; DeepSeek, GLM và Qwen cần nạp tiền. Nếu tính năng của bạn cần một model frontier đóng, BroadNet không phải nhà cung cấp phù hợp cho phần đó.

Câu hỏi thường gặp

Ước tính số token thế nào khi chưa có người dùng?

Hãy tạo 20 đến 50 đầu vào sát thực tế, chạy chúng qua model bạn định dùng và đọc prompt_tokens, cached_tokens và completion_tokens từ khối usage. Lấy trung bình theo mỗi lệnh gọi.

Một request chat thông thường có bao nhiêu token?

Dao động rất lớn. Một lượt chat ngắn có thể chỉ vài trăm token, trong khi một request kèm tài liệu truy xuất hoặc lịch sử dài có thể lên tới hàng chục nghìn. Hãy đo prompt của chính bạn.

Có nên cộng biên an toàn vào ước tính chi phí LLM không?

Có. Hãy tính kịch bản cao ở mức gấp hai đến ba lần khối lượng dự kiến, và dành ngân sách cho retry và prompt dài hơn khi tính năng phát triển. Sau đó đặt giới hạn cứng để một lỗi không thể vượt quá mức đó.

Khi nào nên cân nhắc gói giá cố định?

Khi một agent hoặc worker chạy phần lớn thời gian trong ngày trên một model. Với DeepSeek V4.1 Flash trên BroadNet, một phiên Full Moon có giá $60 mỗi tháng, không đếm token, một request tại một thời điểm.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity