BroadRouter
Bắt đầu

Stop sequences (chuỗi dừng)

Cập nhật

Stop sequences (chuỗi dừng) là các chuỗi bạn gửi kèm request để model dừng sinh ngay khi tạo ra một trong số đó. OpenAI gọi trường này là stop và nhận tối đa 4 chuỗi; Anthropic gọi là stop_sequences. Phần văn bản khớp thường bị loại khỏi đầu ra trả về.

Còn gọi là: chuỗi dừng, stop sequence là gì, tham số stop, chuỗi kết thúc, stop sequence, stop parameter, stop strings, stop_sequences

Đôi khi bạn biết chính xác câu trả lời nên kết thúc ở đâu. Stop sequence bảo server cắt việc sinh tại đó, thay vì trả tiền cho những token bạn sẽ vứt đi.

Cách hoạt động

Bạn truyền một hoặc nhiều chuỗi. Sau mỗi token mới, server kiểm tra xem đầu ra đã chứa một trong các chuỗi đó chưa. Nếu có, việc sinh kết thúc.

{
  "model": "broadnet/gemma-4-26b-a4b",
  "messages": [{"role": "user", "content": "List three fruits, one per line, then write END."}],
  "stop": ["END"]
}

Chi tiết theo nhà cung cấp, lấy từ các nguồn:

Nhà cung cấp Trường Ghi chú
OpenAI Chat Completions stop “Up to 4 sequences” (Bản dịch: tối đa 4 chuỗi); tài liệu tham chiếu vẫn ghi “Not supported with latest reasoning models o3 and o4-mini” (Bản dịch: không hỗ trợ với các model suy luận mới nhất o3 và o4-mini) (câu chữ tại ngày 2026-11-16)
Anthropic Messages stop_sequences Response có stop_reason: "stop_sequence" và ghi chuỗi khớp trong stop_sequence
vLLM (server cho model mở) stop “String(s) that stop the generation when they are generated” (Bản dịch: các chuỗi làm dừng việc sinh khi chúng được sinh ra); đầu ra không chứa chúng

Trong định dạng OpenAI, một stop sequence khớp sẽ báo finish_reason là stop, cùng giá trị với khi kết thúc tự nhiên. Anthropic tách riêng hai trường hợp.

Vì sao quan trọng

  • Chi phí và độ trễ. Token đầu ra bị tính phí và sinh chậm. Dừng ở một dấu mốc đã biết tiết kiệm cả hai.
  • Kiểm soát định dạng. Prompt few-shot thường dùng dấu phân cách như ### giữa các ví dụ. Đặt stop ở dấu đó giúp model không tự viết tiếp ví dụ tiếp theo.
  • Giới hạn. Stop sequence không định hình được phần trước điểm cắt. Với đầu ra cho máy đọc, structured output là công cụ mạnh hơn. Giữ max_tokens làm trần cứng.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không ghi stop. Hãy thử trước khi dựa vào nó: gửi một prompt chắc chắn chạm dấu mốc của bạn và xem câu trả lời có dừng ở đó không. Để dự phòng, cắt văn bản ở client tại dấu mốc đầu tiên; trong một stream, bạn cũng có thể đóng reader ngay khi dấu mốc xuất hiện. Các model suy luận trên BroadNet (DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B) suy nghĩ trước khi trả lời, nên hãy kiểm tra xem chuỗi dừng có thể khớp bên trong phần suy luận hay không. Bài hướng dẫn chuyển đổi từng bước liệt kê các trường OpenAI khác cần kiểm tra.

Lỗi thường gặp

  • Chọn chuỗi dừng có thể xuất hiện trong đầu ra bình thường, như ký tự xuống dòng hoặc một từ phổ biến.
  • Mặc định rằng chuỗi dừng có trong câu trả lời rồi parse để tìm nó.

Câu hỏi thường gặp

Tôi gửi được bao nhiêu stop sequence?

Tài liệu tham chiếu của OpenAI cho phép tối đa 4 chuỗi trong stop. Các nhà cung cấp khác đặt giới hạn riêng, nên hãy kiểm tra tài liệu của họ.

Stop sequence có nằm trong câu trả lời không?

Thường là không. Tài liệu vLLM nói đầu ra trả về không chứa chuỗi dừng. Anthropic cho biết chuỗi nào đã kích hoạt trong một trường stop_sequence riêng.

BroadNet Inference có hỗ trợ stop không?

Tài liệu tham chiếu API của BroadNet không ghi stop. Hãy thử trên model của bạn trước khi dựa vào nó, và giữ một bước cắt phía client làm phương án dự phòng.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity