Đôi khi bạn biết chính xác câu trả lời nên kết thúc ở đâu. Stop sequence bảo server cắt việc sinh tại đó, thay vì trả tiền cho những token bạn sẽ vứt đi.
Cách hoạt động
Bạn truyền một hoặc nhiều chuỗi. Sau mỗi token mới, server kiểm tra xem đầu ra đã chứa một trong các chuỗi đó chưa. Nếu có, việc sinh kết thúc.
{
"model": "broadnet/gemma-4-26b-a4b",
"messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
"stop": ["END"]
}
Chi tiết theo nhà cung cấp, lấy từ các nguồn:
| Nhà cung cấp | Trường | Ghi chú |
|---|---|---|
| OpenAI Chat Completions | stop |
“Up to 4 sequences” (Bản dịch: tối đa 4 chuỗi); tài liệu tham chiếu vẫn ghi “Not supported with latest reasoning models o3 and o4-mini” (Bản dịch: không hỗ trợ với các model suy luận mới nhất o3 và o4-mini) (câu chữ tại ngày 2026-11-16) |
| Anthropic Messages | stop_sequences |
Response có stop_reason: "stop_sequence" và ghi chuỗi khớp trong stop_sequence |
| vLLM (server cho model mở) | stop |
“String(s) that stop the generation when they are generated” (Bản dịch: các chuỗi làm dừng việc sinh khi chúng được sinh ra); đầu ra không chứa chúng |
Trong định dạng OpenAI, một stop sequence khớp sẽ báo finish_reason là stop, cùng giá trị với khi kết thúc tự nhiên. Anthropic tách riêng hai trường hợp.
Vì sao quan trọng
- Chi phí và độ trễ. Token đầu ra bị tính phí và sinh chậm. Dừng ở một dấu mốc đã biết tiết kiệm cả hai.
- Kiểm soát định dạng. Prompt few-shot thường dùng dấu phân cách như
###giữa các ví dụ. Đặt stop ở dấu đó giúp model không tự viết tiếp ví dụ tiếp theo. - Giới hạn. Stop sequence không định hình được phần trước điểm cắt. Với đầu ra cho máy đọc, structured output là công cụ mạnh hơn. Giữ max_tokens làm trần cứng.
Trên BroadNet Inference
Tài liệu tham chiếu API của BroadNet không ghi stop. Hãy thử trước khi dựa vào nó: gửi một prompt chắc chắn chạm dấu mốc của bạn và xem câu trả lời có dừng ở đó không. Để dự phòng, cắt văn bản ở client tại dấu mốc đầu tiên; trong một stream, bạn cũng có thể đóng reader ngay khi dấu mốc xuất hiện. Các model suy luận trên BroadNet (DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B) suy nghĩ trước khi trả lời, nên hãy kiểm tra xem chuỗi dừng có thể khớp bên trong phần suy luận hay không. Bài hướng dẫn chuyển đổi từng bước liệt kê các trường OpenAI khác cần kiểm tra.
Lỗi thường gặp
- Chọn chuỗi dừng có thể xuất hiện trong đầu ra bình thường, như ký tự xuống dòng hoặc một từ phổ biến.
- Mặc định rằng chuỗi dừng có trong câu trả lời rồi parse để tìm nó.