BroadRouter
Bắt đầu

Serverless inference (suy luận serverless)

Cập nhật

Serverless inference là cách chạy model machine learning trong đó nền tảng tự khởi động, co giãn và dừng tài nguyên tính toán sau một endpoint, thường về 0 khi rảnh, và tính phí theo mức dùng thay vì theo máy đặt trước. Đổi lại có thể có độ trễ cold start.

Còn gọi là: serverless inference là gì, suy luận serverless, LLM serverless, endpoint model serverless, scale về 0, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

Serverless không có nghĩa là không có server. Nó có nghĩa là bạn không bao giờ thấy server, và bạn ngừng trả tiền khi ngừng gửi request.

Cách hoạt động

Hướng dẫn SageMaker của AWS là một phiên bản tham chiếu rõ ràng. Endpoint serverless “automatically launch compute resources and scale them in and out depending on traffic” (Bản dịch: tự động khởi chạy tài nguyên tính toán và co giãn chúng theo lưu lượng), và khi không có request, dịch vụ “scales your endpoint down to 0” (Bản dịch: thu nhỏ endpoint của bạn về 0). Bạn trả tiền theo mức dùng thay vì theo instance.

Cái giá của việc co về 0 là cold start. Nếu endpoint đã rảnh một lúc và có request đến, “it can take some time for your endpoint to spin up the compute resources” (Bản dịch: endpoint có thể mất một khoảng thời gian để khởi động tài nguyên tính toán). Với mô hình ngôn ngữ lớn, việc nạp hàng chục gigabyte trọng số làm độ trễ này lớn hơn. Cách khắc phục thường dùng là trả tiền để giữ sẵn một phần capacity; AWS gọi đó là provisioned concurrency và tính phí theo bộ nhớ, thời lượng và mức đồng thời.

Tính năng khác nhau tùy nền tảng. Danh sách những thứ không được hỗ trợ trong SageMaker Serverless Inference do chính AWS đưa ra có cả GPU, nên hosting serverless cỡ LLM thường đến từ nền tảng khác. Hugging Face mô tả Inference Providers là cách dùng “serverless inference of models” (Bản dịch: suy luận serverless cho các model) qua nhiều nhà cung cấp chỉ với một token.

Vì sao quan trọng

Endpoint serverless GPU thuê (GPU-hour) API dùng chung tính theo token
Trả tiền khi rảnh Không (trừ khi giữ sẵn) Có Không
Cold start Có thể có Không, khi đã chạy Hiếm với model có trong danh sách
Model của riêng bạn Có Có Chỉ model nhà cung cấp liệt kê
Việc co giãn Nền tảng Bạn Nhà cung cấp

Serverless hợp với lưu lượng thất thường hoặc thấp khi bạn dùng model riêng. Tải đều và nặng thường rẻ hơn trên phần cứng đặt trước. Cold start lộ ra ở phần đuôi dài của độ trễ, không ở giá trị trung bình, nên hãy kiểm tra p95.

Trên BroadNet Inference

BroadNet không mô tả API của mình là serverless, và tài liệu không nói gì về cold start. Trên thực tế, các key trả theo mức dùng có những đặc điểm serverless quan trọng với người gọi: không phải chọn instance, không phải co giãn gì, và tính phí theo token hoặc theo phút audio. Giới hạn tính theo key, không theo máy: 30 request mỗi phút và 4 request đang chạy. Bạn chỉ gọi được các model BroadNet liệt kê, như Qwen3.8 27B; private endpoint và model khác chỉ có theo yêu cầu. Thử request đầu tiên bằng curl chỉ mất một phút.

Câu hỏi thường gặp

Cold start trong serverless inference là gì?

Là độ trễ khi một endpoint đã co về 0 nhận request và phải khởi động tài nguyên tính toán, nạp model trước. Tài liệu SageMaker của AWS mô tả hiện tượng này và cung cấp provisioned concurrency để giữ sẵn capacity, có tính phí.

API LLM tính phí theo token có phải là serverless không?

Nhìn từ phía người gọi thì phần lớn là có. Bạn gửi request, trả tiền theo token và không quản lý server nào. Khác biệt là API dùng chung luôn nạp sẵn các model phổ biến cho nhiều khách hàng, nên thường bạn không phải chờ model của riêng mình khởi động.

Serverless inference có rẻ hơn GPU riêng không?

Với lưu lượng thất thường hoặc thấp thì thường là có, vì bạn ngừng trả tiền khi rảnh. Với tải nặng và đều, GPU đặt trước thường rẻ hơn tính trên mỗi request. Hãy so sánh kiểu lưu lượng của bạn với cả hai mức giá.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity