BroadRouter
Bắt đầu

Tham số seed

Cập nhật

Tham số seed là một số nguyên bạn gửi kèm request để API cố gắng lấy mẫu cùng các token khi request giống hệt được lặp lại. OpenAI mô tả đây là best effort (nỗ lực tối đa): tính tất định không được đảm bảo, và trường system_fingerprint cho biết khi cấu hình backend đã thay đổi.

Còn gọi là: seed là gì, random seed LLM, đầu ra tái lập được, đầu ra tất định, hạt giống ngẫu nhiên, random seed, reproducible outputs, deterministic outputs, system_fingerprint

Lấy mẫu ngẫu nhiên là có chủ đích. Seed cố định sự ngẫu nhiên đó để lần chạy lại có cơ hội khớp với lần đầu.

Cách hoạt động

Khi temperature lớn hơn 0, server bốc ngẫu nhiên từng token tiếp theo từ phân phối của model. Một bộ sinh số ngẫu nhiên điều khiển các lần bốc đó. Cố định giá trị khởi đầu của nó, tức seed, thì cùng một request sẽ đi qua cùng các lần bốc.

Tài liệu tham chiếu của OpenAI đánh dấu seed là Beta. Cookbook viết “our system will make a best effort to sample deterministically” (Bản dịch: hệ thống của chúng tôi sẽ cố gắng hết mức để lấy mẫu một cách tất định). Để có đầu ra khớp nhau, nó dặn giữ nguyên những thứ sau giữa các request:

  • số nguyên seed,
  • prompt và các message,
  • temperature, top_p và max_tokens.

Response có system_fingerprint, mà OpenAI nói là “represents the backend configuration that the model runs with” (Bản dịch: đại diện cho cấu hình backend mà model chạy cùng). Nếu nó thay đổi giữa hai lần chạy, hãy chờ đợi đầu ra khác nhau dù seed giống nhau.

r = client.chat.completions.create(
    model=MODEL, seed=42, temperature=0.7,
    messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)

Server cho model mở cũng có nút chỉnh này. SamplingParams của vLLM có seed, “Random seed to use for the generation” (Bản dịch: seed ngẫu nhiên dùng cho việc sinh), mặc định là không có (none).

Vì sao quan trọng

  • Eval. Khi so sánh prompt hoặc model trong một eval, seed cố định giảm nhiễu giữa các lần chạy. Vẫn nên chạy nhiều mẫu; nỗ lực tối đa không phải là đảm bảo.
  • Gỡ lỗi. Một request có seed giúp tái hiện câu trả lời lạ dễ hơn.
  • Cache. Nếu bạn cache response, hãy đưa seed vào cache key, như bài viết về cache response làm.

Trên BroadNet Inference

Tài liệu tham chiếu API của BroadNet không ghi seed hay system_fingerprint. Hãy thử trước khi dựa vào nó: gửi cùng một request có seed năm lần và so sánh đầu ra. Nếu chúng khác nhau, hạ temperature, lưu lại những đầu ra bạn cần, và đánh giá trên nhiều mẫu thay vì một. Bài hướng dẫn chuyển đổi từng bước liệt kê seed trong số các trường OpenAI cần thử hoặc bỏ đi.

Lỗi thường gặp

  • Coi seed là lời hứa về đầu ra giống hệt từng byte.
  • Đổi max_tokens hoặc system prompt giữa các lần chạy rồi đổ lỗi cho seed về sự khác biệt.

Câu hỏi thường gặp

Cùng một seed có luôn cho cùng một câu trả lời không?

Không. OpenAI nói "Determinism is not guaranteed" (Bản dịch: tính tất định không được đảm bảo) và vẫn có "a small chance that responses differ" (Bản dịch: một khả năng nhỏ là các phản hồi khác nhau) ngay cả khi tham số và system_fingerprint trùng khớp.

Temperature 0 có giống với đặt seed không?

Không hẳn. Temperature thấp khiến token đứng đầu gần như chắc chắn được chọn; seed cố định các lần bốc ngẫu nhiên. Nhiều nhóm dùng cả hai, nhưng riêng từng cái không đảm bảo đầu ra giống hệt.

BroadNet Inference có hỗ trợ seed không?

Tài liệu tham chiếu API của BroadNet không ghi seed hay system_fingerprint. Hãy gửi cùng một request có seed nhiều lần và so sánh trước khi dựa vào nó.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity