BroadRouter
Começar

Texto, voz ou visão? Comece pela tarefa

Pela equipe da BroadNet Inference · 7 min de leitura · Publicado em

Comece pela entrada e pela saída. Texto entra, texto sai: é chat. Uma foto ou digitalização entra, texto sai: é chat com imagem, em um modelo que aceita imagens. Fala gravada entra, texto sai: é transcrição; da fala até uma resposta é transcrição e depois chat. A BroadNet não oferece conversão de texto em fala, geração de imagens nem embeddings.

“Qual modelo devemos usar?” é a segunda pergunta. A primeira é “o que entra e o que precisa sair?”. A foto de uma fatura, um áudio de um cliente e uma pergunta digitada vão cada um para um tipo diferente de endpoint, e cada endpoint tem seus próprios modelos, limites e modos de falha. Escolha primeiro a tarefa, e a lista de modelos encolhe para dois ou três.

Este guia liga tarefas comuns a tipos de entrada e, depois, ao que a BroadNet Inference documenta para cada um. O BroadRouter é o site da própria BroadNet; os dados de modelos abaixo vêm do feed de preços e da referência da API da BroadNet, consultados em 15 de novembro de 2026.

Que tipo de entrada a sua tarefa precisa?

Sua tarefa Entrada Saída Endpoint Modelos da BroadNet
Responder, resumir, classificar ou traduzir texto Texto Texto Chat completions Qualquer um dos quatro modelos de chat
Chamar suas próprias funções ou ferramentas Texto Tool calls Chat completions GLM 5.3, Qwen3.8 27B (documentados)
Ler uma foto, digitalização, captura de tela ou formulário Imagem + texto Texto ou JSON Chat completions com imagem DeepSeek V4.1 Flash, Qwen3.8 27B, Gemma 4 VL 26B
Transformar uma gravação ou áudio em texto Arquivo de áudio Texto Transcrições de áudio Transcribe Arabic, Transcribe (14 idiomas)
Resumir uma chamada ou responder a um áudio Arquivo de áudio Texto Transcrição, depois chat Um de cada
Falar uma resposta em voz alta Texto Áudio Texto para fala (TTS) Não oferecido
Manter uma conversa por voz ao vivo Stream de áudio Áudio Voz em tempo real Não oferecido
Criar uma imagem Texto Imagem Geração de imagens Não oferecido
Busca semântica em documentos Texto Vetores Embeddings Não oferecido

“Visão” nesta tabela significa entender imagens: o modelo lê uma imagem que você envia. Não significa gerar imagens. O verbete vision language model do glossário explica a diferença.

Qual a diferença entre chat e transcrição?

São endpoints diferentes, com formatos de requisição, unidades de cobrança e modelos diferentes.

Chat (POST /v1/chat/completions) recebe uma lista de mensagens em JSON e devolve texto. É cobrado por token, entrada e saída separadas, e cada modelo tem uma janela de contexto que comporta prompt e resposta juntos. Na BroadNet, três dos quatro modelos de chat raciocinam antes de responder, e esse raciocínio conta para max_tokens, então deixe folga (tokens de raciocínio e respostas vazias).

Transcrição (POST /v1/audio/transcriptions) recebe um arquivo de áudio como upload multipart e devolve a transcrição. É cobrada por minuto de áudio. A documentação da BroadNet especifica WAV ou MP3 de até 26.214.400 bytes por arquivo e manda sempre enviar language, porque senão o árabe pode voltar transliterado em letras latinas.

Modelo Idiomas Preço
BroadNet Transcribe Arabic Árabe: do Golfo, egípcio, levantino, magrebino e padrão moderno, segundo a BroadNet $0.0042 por minuto (cerca de $0.25 por hora)
BroadNet Transcribe 14, incluindo inglês, espanhol, francês, mandarim e árabe $0.002 por minuto (cerca de $0.12 por hora)

Na BroadNet, um modelo de chat não recebe áudio, e um modelo de transcrição não responde perguntas. Um assistente de voz que responde em texto são duas chamadas: transcrever, depois conversar. Atas de reunião em árabe a partir de gravações monta exatamente essa cadeia.

Quais modelos aceitam imagens?

Aqueles cujo registro no feed lista image em modalities. Em 15 de novembro de 2026:

Modelo Entradas Contexto Entrada / saída por 1M de tokens Acesso
DeepSeek V4.1 Flash Texto, imagem 1.048.576 $0.175 / $0.52 Exige recarga
Qwen3.8 27B Texto, imagem 262.144 $0.175 / $2.17 Exige recarga
Gemma 4 VL 26B Texto, imagem 32.768 $0.10 / $0.22 Crédito inicial de $5
GLM 5.3 Só texto 1.048.576 $0.78 / $3.46 Exige recarga

Envie a imagem como URL data: dentro do conteúdo da mensagem, com o tipo MIME correto. A documentação da BroadNet diz que visão é oferecida “only where the model row explicitly says images or vision” (tradução: “apenas onde a linha do modelo diz explicitamente imagens ou visão”). A documentação não lista os formatos de imagem aceitos, então teste cada formato que você pretende aceitar. Em uma chave de pagamento por uso, a imagem é cobrada como tokens de entrada, e uma imagem maior usa mais; redimensione antes de enviar e estime com a calculadora de tokens de imagem. A extração de documentos de ponta a ponta está em extrair dados de documentos com um LLM de visão.

Como encaminhar cada entrada no código?

Esta função escolhe o endpoint pelo tipo de arquivo, confere os limites documentados antes de enviar e lê a lista de modelos que aceitam imagem no feed ao vivo, em vez de fixá-la no código. Ela usa o SDK Python da OpenAI, que funciona com a BroadNet trocando a base URL (guia de configuração).

import base64, json, mimetypes, os, urllib.request
from pathlib import Path
from openai import OpenAI

client = OpenAI(base_url=os.environ.get("BROADNET_BASE_URL", "https://inference.broadnet.ai/v1"),
                api_key=os.environ["BROADNET_API_KEY"])
feed = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json", timeout=30))
live = [m for m in feed["models"] if m.get("status", "live") == "live"]
VISION = {m["id"] for m in live if "image" in m.get("modalities", [])}
AUDIO_TYPES = {"audio/wav", "audio/x-wav", "audio/mpeg"}       # WAV or MP3, per the docs
AUDIO_MAX = 26_214_400                                         # bytes per file, per the docs
IMAGE_TYPES = {"image/jpeg", "image/png", "image/webp"}        # your allow-list; test each one

def run(task: str, path: str | None = None, *, chat_model="broadnet/gemma-4-26b-a4b",
        stt_model="broadnet/cohere-transcribe-arabic", language="ar") -> str:
    kind = mimetypes.guess_type(path)[0] if path else None
    if kind is None:                                           # text only
        r = client.chat.completions.create(model=chat_model, max_tokens=1500,
                                           messages=[{"role": "user", "content": task}])
        return r.choices[0].message.content
    if kind in AUDIO_TYPES or kind.startswith("audio/"):
        if kind not in AUDIO_TYPES:
            raise ValueError(f"{kind}: convert first, e.g. ffmpeg -i in.ogg -ar 16000 -ac 1 out.wav")
        if Path(path).stat().st_size > AUDIO_MAX:
            raise ValueError("over 26,214,400 bytes: split the audio before sending")
        with open(path, "rb") as f:                            # step 1: speech to text
            text = client.audio.transcriptions.create(model=stt_model, file=f, language=language).text
        return run(f"{task}\n\nTranscript:\n{text}", chat_model=chat_model) if task else text
    if kind in IMAGE_TYPES:
        if chat_model not in VISION:
            raise ValueError(f"{chat_model} takes no images here; pick one of {sorted(VISION)}")
        data = base64.b64encode(Path(path).read_bytes()).decode()
        r = client.chat.completions.create(model=chat_model, max_tokens=1500, messages=[{"role": "user",
            "content": [{"type": "text", "text": task},
                        {"type": "image_url", "image_url": {"url": f"data:{kind};base64,{data}"}}]}])
        return r.choices[0].message.content
    raise ValueError(f"unsupported input type {kind}")

Testamos com BROADNET_BASE_URL apontando para um servidor mock local (sem chamada à API real) e o feed de preços ao vivo. Texto, um arquivo WAV, um arquivo WAV com uma tarefa de acompanhamento e um PNG chegaram cada um ao endpoint mock certo. Enviar o PNG com chat_model="broadnet/glm-5.3" foi recusado antes de qualquer requisição, listando os três IDs com suporte a imagem vindos do feed. Um arquivo .ogg foi recusado com o comando ffmpeg para convertê-lo; transcrever áudios do WhatsApp cobre essa etapa. Gravações acima do limite de tamanho precisam ser divididas; o divisor de áudio gera os comandos ffmpeg.

E se o documento já for texto?

Então não envie uma foto dele. Um PDF exportado de um sistema contábil ou de um editor de texto costuma ter uma camada de texto; extraia-a com uma biblioteca de PDF e envie o texto a um modelo de chat. Isso sai mais barato que uma imagem em uma chave de pagamento por uso, evita erros de leitura e funciona também no GLM 5.3. Deixe a visão para digitalizações, fotos de celular, letra à mão, carimbos e capturas de tela, em que não há camada de texto para extrair.

Uma regra útil em um pipeline de documentos: tente primeiro extrair o texto, confira se voltou texto de verdade (e não páginas vazias ou caracteres embaralhados) e só recorra à imagem quando não voltar. Em PDFs em árabe, leia uma amostra do texto extraído antes de confiar nele: dependendo de como o PDF foi gerado, a extração pode devolver as letras árabes na ordem errada ou em formas de apresentação não ligadas. OCR de árabe com um LLM de visão cobre os casos em que a imagem é a melhor fonte.

Como os custos se comparam?

Cada tipo de entrada é cobrado na sua própria unidade, então compare por tarefa, não por requisição:

  • Texto é cobrado por token de entrada e de saída. O árabe muitas vezes precisa de mais tokens que o inglês para o mesmo conteúdo; o contador de tokens em árabe mede isso.
  • Imagens no pagamento por uso são tokens de entrada pelo preço de entrada do modelo, então uma foto grande pode custar mais que uma página de texto. Em um plano de sessão do DeepSeek, as imagens entram no preço fixo.
  • Áudio é cobrado por minuto de áudio, independentemente do que é dito. Na BroadNet, 10.000 áudios em árabe de 30 segundos cada saem por cerca de $21.00 com o modelo de árabe. A calculadora de custo de speech-to-text faz outros volumes.

Uma cadeia soma as partes: um áudio respondido por um modelo de chat custa os minutos de transcrição mais os tokens de chat da transcrição e da resposta. A calculadora de custo de API de LLM cuida do lado do chat.

O que não é oferecido, e o que fazer no lugar?

A referência da API da BroadNet documenta dois endpoints de inferência: chat completions e transcrições de áudio. Portanto, não há:

  • Texto para fala. Não existe /v1/audio/speech. Se o seu produto precisa responder falando, combine a transcrição e o chat da BroadNet com um serviço de TTS separado.
  • Voz ao vivo. A transcrição recebe um arquivo enviado, não um stream de áudio ao vivo. Para um agente telefônico que precisa responder durante a chamada, você precisa de uma stack de voz em tempo real em outro lugar. Gravar áudio do navegador para transcrição mostra a alternativa baseada em arquivo.
  • Geração de imagens. Aqui a visão lê imagens; não as cria.
  • Embeddings. Não existe /v1/embeddings. Para retrieval, você precisa de um modelo de embeddings de outro provedor ou auto-hospedado; a calculadora de custo de embeddings compara preços.

O catálogo de pesquisa da BroadNet lista, sim, modelos de texto para fala, de geração de imagens e de embeddings, marcados como avaliados no seu laboratório. Isso registra o que a BroadNet testou, não o que sua API vende; como ler um catálogo de modelos explica a diferença.

Por que você precisa de um conjunto de avaliação separado para cada entrada?

Porque cada tipo de entrada falha de um jeito diferente, e uma média entre eles esconde as falhas.

  • Texto: avalie com mensagens reais de usuários, com checagens no código quando possível. O método está em avaliar um LLM antes de trocar.
  • Imagens: use fotos reais com qualidade real: fotos de celular inclinadas, recibos desbotados, carimbos sobre o texto. Avalie cada campo separadamente. Um PDF limpo renderizado tira notas bem mais altas que as fotos que seus usuários vão mandar.
  • Fala: meça a word error rate nas suas próprias gravações, dividida por dialeto, locutor e qualidade da linha, e confira à parte as palavras que importam (nomes, números, valores). Veja WER de ASR em árabe explicado.
  • Cadeias: quando a fala alimenta um modelo de chat, avalie as duas etapas e o resultado final. Um número mal ouvido vira uma resposta errada dada com confiança, e só um teste de ponta a ponta mostra com que frequência isso acontece.

Mantenha os conjuntos separados, versione-os e rode de novo o conjunto relevante sempre que trocar um modelo ou um prompt.

Onde a BroadNet Inference entra

A BroadNet Inference cobre as cinco primeiras linhas da tabela de tarefas com uma chave e uma base URL: chat de texto, tool calling no GLM 5.3 e no Qwen3.8 27B, compreensão de imagens em três modelos e transcrição em árabe ou multilíngue. O Gemma 4 VL 26B e os dois modelos de transcrição funcionam com o crédito inicial de $5; DeepSeek, GLM e Qwen exigem recarga. O conteúdo da inferência não é retido; os metadados necessários de conta, cobrança e segurança são retidos conforme descrito na declaração de privacidade da BroadNet. Para fala sintetizada, geração de imagens, voz ao vivo ou embeddings, use outro serviço. Os preços de tudo isso estão na página de preços.

Perguntas frequentes

Qual modelo de IA devo usar para imagens?

Um que aceite entrada de imagem na API que você usa. Na BroadNet Inference são o DeepSeek V4.1 Flash, o Qwen3.8 27B ou o Gemma 4 VL 26B, segundo o feed de preços; o GLM 5.3 aceita só texto. Envie a imagem como data URL na mensagem de chat.

Um modelo de chat consegue transcrever áudio?

Não na BroadNet Inference. O áudio vai para o endpoint de transcrição, /v1/audio/transcriptions, com um modelo de transcrição. Se depois você precisar de um resumo ou de uma resposta, envie a transcrição a um modelo de chat como segunda etapa.

A BroadNet Inference oferece texto para fala ou geração de imagens?

Não. A referência da API documenta apenas chat completions e transcrição de áudio. Modelos de texto para fala e de geração de imagens aparecem no catálogo de pesquisa da BroadNet como avaliados, o que não é o mesmo que serem oferecidos.

Quais formatos de áudio a BroadNet aceita?

WAV (audio/wav) ou MP3 (audio/mpeg), de até 26.214.400 bytes por arquivo. Converta outros formatos antes com o ffmpeg, como um áudio .ogg do WhatsApp, e sempre envie o parâmetro language.

Como uma imagem é cobrada?

Em uma chave de pagamento por uso, a BroadNet cobra a imagem como tokens de entrada pelo preço de entrada do modelo, e uma imagem maior usa mais tokens. Em um plano de sessão do DeepSeek, as imagens entram no preço fixo.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity