BroadRouter
Começar

Modelo de visão e linguagem (VLM)

Atualizado em

Um modelo de visão e linguagem (VLM, vision-language model) é um modelo que recebe imagens e texto juntos como entrada e produz texto, então consegue descrever fotos, responder perguntas sobre elas e ler documentos, gráficos ou capturas de tela. VLMs também são chamados de modelos image-text-to-text ou multimodais.

Também chamado de: modelo de visão, LLM com visão, LLM de visão, LLM multimodal, modelo visão-linguagem, VLM, vision-language model, vision model, multimodal LLM, image-text-to-text model, vision API

Um modelo de visão e linguagem permite fazer perguntas sobre uma imagem do mesmo jeito que você faz sobre um texto.

Como funciona

O Hugging Face descreve esses modelos de forma simples: eles “take in an image and text prompt and output text” (tradução: recebem uma imagem e um prompt de texto e produzem texto). São treinados com pares de imagem e texto, então aprendem a ligar o que veem à linguagem.

Por uma API compatível com OpenAI, a imagem vai dentro da mensagem como um content part. Pode ser uma URL pública ou uma data URL em base64:

import base64, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()

reply = client.chat.completions.create(
    model="broadnet/qwen3.8-27b",
    max_tokens=2000,
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "Return the vendor and total as JSON."},
        {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
    ]}],
)
print(reply.choices[0].message.content)

O modelo transforma a imagem em tokens de entrada, lê esses tokens junto com o seu texto e escreve uma resposta.

Por que isso importa

  • Documentos. Notas fiscais, recibos, formulários e documentos de identidade podem ir direto para um modelo, muitas vezes com saída estruturada para receber os campos de volta em JSON.
  • Telas e gráficos. Agentes conseguem ler capturas de tela e dashboards; ferramentas de suporte conseguem ler fotos que os usuários enviam.
  • Custo e limites. Cada imagem adiciona tokens de entrada e ocupa parte da janela de contexto. Muitas imagens em uma requisição somam rápido.

Confira o resultado. VLMs podem ler errado texto pequeno ou borrado e podem afirmar números errados com confiança. Para qualquer coisa que movimente dinheiro, valide os totais no código.

Na BroadNet Inference

Três modelos de chat aceitam imagens:

Modelo Entrada Contexto
DeepSeek V4.1 Flash Texto e imagem 1.048.576 tokens
Qwen3.8 27B Texto e imagem 262.144 tokens
BroadNet Gemma 4 VL 26B Texto e imagem 32.768 tokens

O GLM 5.3 é só texto. O BroadNet Gemma 4 VL 26B custa $0.10 por 1M de tokens de entrada e funciona com o crédito inicial gratuito de $5. O Qwen3.8 27B foi testado pela BroadNet em árabe e também suporta saída estruturada. No pagamento por uso, uma imagem conta como tokens de entrada, e imagens maiores usam mais.

O guia de notas fiscais em árabe mostra uma extração completa. Mantenha correto o MIME type na data URL e deixe folga em max_tokens nos modelos de raciocínio.

Perguntas frequentes

Modelo de visão e linguagem é a mesma coisa que OCR?

Não. O OCR converte em caracteres o texto impresso de uma imagem. Um VLM também lê texto, mas entende layout e conteúdo, então consegue responder perguntas como qual linha é o total ou o que um gráfico mostra.

Imagens consomem tokens?

Sim. As imagens são convertidas em tokens de entrada. Imagens maiores costumam usar mais, então redimensione para o menor tamanho que mantenha os detalhes de que você precisa.

Quais modelos da BroadNet aceitam imagens?

DeepSeek V4.1 Flash, Qwen3.8 27B e BroadNet Gemma 4 VL 26B aceitam entrada de texto e imagem. O GLM 5.3 é só texto.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity