BroadRouter

Proveedor de inferencia (inference provider)

Actualizado

Un proveedor de inferencia es una empresa que ejecuta modelos de aprendizaje automático, a menudo LLMs de pesos abiertos, en GPUs propias, arrendadas o alquiladas, y vende el acceso mediante una API, normalmente con precio por token, por solicitud o por unidad de tiempo. Se encarga del servicio, el escalado y el hardware.

También llamado: proveedor de inferencia, proveedor de API de LLM, proveedor de hosting de modelos, proveedor de inferencia de IA, inference provider, LLM inference provider, LLM API provider, model hosting provider, AI inference provider

Cuando se publica un modelo de pesos abiertos, alguien tiene que ejecutarlo. Los proveedores de inferencia son las empresas que lo hacen.

Cómo funciona

Un proveedor carga los pesos del modelo en GPUs, ejecuta software de servicio que agrupa solicitudes en lotes y administra la memoria, y pone una API delante. La mayoría ofrece una API compatible con OpenAI, así que usted cambia de proveedor modificando la URL base, la clave y el ID del modelo.

El término abarca varios tipos de negocio:

  • Laboratorios de modelos que sirven sus propios modelos.
  • Hosts independientes que sirven modelos de pesos abiertos de muchos laboratorios.
  • Nubes que alquilan GPUs o endpoints administrados, a veces cobrados por hora de GPU.
  • Agregadores. Inference Providers de Hugging Face da acceso a “hundreds of machine learning models, powered by world-class inference providers” (traducción: cientos de modelos de aprendizaje automático, impulsados por proveedores de inferencia de primer nivel) con un solo token. Un router de LLM funciona de la misma manera.

Como el formato de la API es común, el mismo código funciona con cualquiera de ellos. Solo cambian tres valores:

import os
from openai import OpenAI

msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",          # the provider
    api_key=os.environ["BROADNET_API_KEY"],  # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs)  # its model ID

Los precios también varían: por token, por minuto de audio, por hora o una tarifa fija por sesión.

Por qué importa

Elegir un proveedor es, sobre todo, elegir compromisos que no se ven en el nombre del modelo:

  • Manejo de datos. La retención, los logs y el uso para entrenamiento varían. Busque una política escrita de retención cero de datos.
  • Dónde se ejecuta. La región y los subencargados importan para el cumplimiento normativo.
  • Límites. La concurrencia, los límites de frecuencia y la longitud de contexto pueden ser menores que el máximo del modelo.
  • Decisiones de servicio. La precisión numérica y los ajustes de servicio afectan la velocidad y, a veces, la salida.
  • Forma de precio. La forma adecuada depende de su tráfico; consulte la comparación de precios de proveedores.
  • Nivel de precio. El mismo modelo abierto puede costar varias veces más en un proveedor que en otro. Consulte mismo modelo, distinto host.

En BroadNet Inference

BroadNet Inference es un proveedor de inferencia. Su declaración de privacidad indica que sus propios modelos y los modelos de pesos abiertos que aloja “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (traducción: se ejecutan en hardware propio o arrendado por BroadNet en Estados Unidos, con capacidad de socios como respaldo), y que los modelos servidos por socios se ejecutan bajo términos de retención cero de datos con socios de inferencia en Estados Unidos. El contenido de las solicitudes y respuestas no se conserva.

Ofrece modelos de chat, entre ellos DeepSeek V4.1 Flash y GLM 5.3, y dos modelos de voz a texto a través de una API compatible con OpenAI en https://inference.broadnet.ai/v1. La facturación es por pago por uso por token o por minuto de audio, con una clave por hora o con planes de tarifa plana para DeepSeek V4.1 Flash. Use la lista de verificación de proveedores para compararlo con otros según sus propios criterios.

Preguntas frecuentes

¿Cuál es la diferencia entre un proveedor de inferencia y un router de LLM?

Un proveedor ejecuta los modelos él mismo, en hardware propio, arrendado o alquilado. Un router reenvía su solicitud a uno de varios proveedores a través de una sola API y una sola factura. Algunas empresas hacen ambas cosas.

¿Dos proveedores que sirven el mismo modelo abierto dan las mismas respuestas?

No siempre. La precisión numérica, los límites de contexto, los ajustes predeterminados y el software de servicio pueden variar, así que las salidas pueden variar. Pruebe con sus propios prompts antes de cambiar.

¿Cómo cambio de proveedor de inferencia?

Con una API compatible con OpenAI, cambie tres valores: la URL base, la clave de API y el ID del modelo. Luego vuelva a ejecutar su evaluación, porque el mismo modelo puede comportarse distinto en otro proveedor.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity