El muestreo es aleatorio a propósito. Una semilla fija esa aleatoriedad para que una nueva ejecución tenga la posibilidad de coincidir con la primera.
Cómo funciona
Cuando la temperatura es mayor que cero, el servidor sortea cada siguiente token al azar a partir de la distribución del modelo. Un generador de números aleatorios impulsa esos sorteos. Si fija su valor inicial, la semilla, la misma solicitud debería obtener los mismos sorteos.
La referencia de OpenAI marca seed como Beta. El cookbook dice que “our system will make a best effort to sample deterministically” (traducción: nuestro sistema hará su mejor esfuerzo por muestrear de forma determinista). Para obtener salidas coincidentes, indica mantener iguales entre solicitudes:
- el entero
seed, - el prompt y los mensajes,
temperature, top_p ymax_tokens.
La respuesta incluye system_fingerprint, que según OpenAI “represents the backend configuration that the model runs with” (traducción: representa la configuración del backend con la que se ejecuta el modelo). Si cambia entre dos ejecuciones, espere salidas distintas incluso con la misma semilla.
r = client.chat.completions.create(
model=MODEL, seed=42, temperature=0.7,
messages=[{"role": "user", "content": "Name a colour."}],
)
print(r.choices[0].message.content, r.system_fingerprint)
Los servidores de modelos abiertos tienen el mismo ajuste. Los SamplingParams de vLLM incluyen seed, “Random seed to use for the generation” (traducción: semilla aleatoria que se usará en la generación), sin valor predeterminado.
Por qué importa
- Evaluaciones. Cuando compara prompts o modelos en una evaluación (eval), una semilla fija reduce el ruido entre ejecuciones. Aun así, ejecute varias muestras; el mejor esfuerzo no es una garantía.
- Depuración. Una solicitud con semilla facilita reproducir una respuesta extraña.
- Caché. Si guarda respuestas en caché, incluya la semilla en la clave de caché, como hace el artículo sobre caché de respuestas.
En BroadNet Inference
La referencia de la API de BroadNet no documenta seed ni system_fingerprint. Pruébelo antes de depender de él: envíe cinco veces la misma solicitud con semilla y compare las salidas. Si difieren, baje la temperatura, guarde las salidas que necesite y evalúe con varias muestras en lugar de una. El recorrido de migración con código incluye seed entre los campos de OpenAI que hay que probar o eliminar.
Errores comunes
- Tratar una semilla como una promesa de salida idéntica byte a byte.
- Cambiar max_tokens o el prompt de sistema entre ejecuciones y culpar a la semilla de la diferencia.