BroadRouter
Comenzar

Hora de GPU (GPU-hour)

Actualizado

Una hora de GPU es un procesador gráfico usado durante una hora. Los proveedores de nube facturan las instancias de GPU alquiladas por hora o por segundo, y los investigadores usan las horas de GPU para expresar cuánto cómputo requirió un trabajo. Se paga el tiempo de la máquina, esté ocupada o no.

También llamado: hora de GPU, horas de GPU, hora de instancia GPU, alquiler de GPU por hora, GPU-hour, GPU hours, GPU-hours, GPU instance hour, GPU rental hour

La hora de GPU es la unidad en la que usted paga cuando alquila hardware. Una API por token la oculta; un modelo autoalojado la convierte en toda la factura.

Cómo funciona

Los proveedores de nube ponen precio por hora a las instancias de GPU y luego miden con más detalle. La página de precios bajo demanda de AWS dice que el precio es “per instance-hour consumed” (traducción: por hora de instancia consumida), con las fracciones de hora en Linux facturadas por segundo y un mínimo de 60 segundos. Google Cloud cobra “all vCPUs, GPUs, and GB of memory” (traducción: todas las vCPU, GPU y GB de memoria) con un mínimo de 1 minuto y luego en incrementos de 1 segundo. Una instancia con 8 GPU que funciona 3 horas suma 24 horas de GPU.

El contador corre mientras la instancia está encendida, no mientras es útil. Una GPU inactiva a las 3 de la madrugada cuesta lo mismo que una ocupada.

Los investigadores usan la misma unidad para el cómputo. El artículo de GPTQ, por ejemplo, cuantiza un modelo de 175B parámetros “in approximately four GPU hours” (traducción: en aproximadamente cuatro horas de GPU).

Por qué importa

Para comparar una hora de GPU con el precio por token, convierta a través del throughput:

cost per 1M output tokens = hourly GPU cost ÷ (tokens per second × 3,600 ÷ 1,000,000)

El problema está en el denominador. El throughput depende del modelo, la precisión, el tamaño del lote y lo ocupada que mantenga la GPU. Una GPU alquilada al 20% de carga cuesta cinco veces más por token que la misma GPU a plena carga. Esa es la razón principal por la que los equipos con tráfico irregular usan API; consulte costo de autoalojamiento frente a API.

En BroadNet Inference

BroadNet no alquila GPU por hora. Vende acceso por API a sus modelos; sus Términos dicen que se ejecutan en hardware propiedad de BroadNet o arrendado en Estados Unidos, o con socios de inferencia en EE. UU. Dos de sus opciones tienen precio por hora, y ninguna es una hora de GPU:

Hora de GPU (alquiler en la nube) Clave por hora de BroadNet Plan Meteoro (Meteor)
Qué obtiene Una GPU completa y la máquina que la rodea Un flujo en un modelo compartido Una sesión en un modelo compartido
Modelo Cualquiera que quepa Solo BroadNet Gemma 4 VL 26B Solo DeepSeek V4.1 Flash
Límites (según la documentación de BroadNet) El hardware 120 solicitudes/min, 300,000 tokens/min, 1 flujo Una solicitud a la vez, sin contador de tokens
Precio Lo fija la nube $0.50 por hora $1 por hora por sesión

Con ninguna de las dos opciones de BroadNet administra drivers, escalado ni tiempo inactivo, pero tampoco puede elegir el hardware ni cargar otro modelo. Usar la clave por hora todo el mes costaría $0.50 × 24 × 30 = $360.00. Para más detalles, consulte claves de API de LLM por hora, explicadas y la entrada sobre el plan de tarifa plana.

Preguntas frecuentes

¿Una clave por hora de BroadNet es una hora de GPU?

No. Una clave por hora compra una hora de un flujo de solicitudes en un modelo compartido, BroadNet Gemma 4 VL 26B, con límites fijos. No obtiene una GPU, ni la elección del modelo, ni ningún control sobre el servidor.

¿Las horas de GPU se facturan por hora completa?

A menudo no. AWS factura muchas instancias Linux por segundo tras un mínimo de 60 segundos, y Google Cloud cobra las GPU con un mínimo de 1 minuto y luego por segundo. Revise el tipo de instancia y el sistema operativo.

¿Cómo convierto el precio de una hora de GPU en precio por token?

Divida el costo por hora entre los millones de tokens que la GPU produce en una hora, es decir, tokens por segundo × 3,600 ÷ 1,000,000. Mida el throughput con su carga real, porque el tiempo inactivo también se factura.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity