Un modèle vision-langage vous permet de poser des questions sur une image comme sur un texte.
Comment ça marche
Hugging Face décrit simplement ces modèles : ils « take in an image and text prompt and output text » (traduction : « prennent une image et un prompt texte en entrée et produisent du texte »). Ils sont entraînés sur des paires image-texte et apprennent ainsi à relier ce qu’ils voient au langage.
Via une API compatible OpenAI, l’image est placée dans le message sous forme de partie de contenu. Ce peut être une URL publique ou une data URL en base64 :
import base64, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
b64 = base64.b64encode(open("receipt.jpg", "rb").read()).decode()
reply = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=2000,
messages=[{"role": "user", "content": [
{"type": "text", "text": "Return the vendor and total as JSON."},
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{b64}"}},
]}],
)
print(reply.choices[0].message.content)
Le modèle convertit l’image en tokens d’entrée, les lit avec votre texte et rédige une réponse.
Pourquoi c’est important
- Documents. Factures, tickets de caisse, formulaires et pièces d’identité peuvent aller directement à un modèle, souvent avec une sortie structurée pour récupérer les champs en JSON.
- Écrans et graphiques. Les agents peuvent lire captures d’écran et tableaux de bord ; les outils de support peuvent lire les photos envoyées par les utilisateurs.
- Coût et limites. Chaque image ajoute des tokens d’entrée et occupe une partie de la fenêtre de contexte. Beaucoup d’images dans une requête, et la note grimpe vite.
Vérifiez le résultat. Les VLM peuvent mal lire un texte petit ou flou et annoncer des chiffres faux avec assurance. Pour tout ce qui engage de l’argent, validez les totaux dans le code.
Sur BroadNet Inference
Trois modèles de chat acceptent les images :
| Modèle | Entrée | Contexte |
|---|---|---|
| DeepSeek V4.1 Flash | Texte et image | 1 048 576 tokens |
| Qwen3.8 27B | Texte et image | 262 144 tokens |
| BroadNet Gemma 4 VL 26B | Texte et image | 32 768 tokens |
GLM 5.3 ne traite que le texte. BroadNet Gemma 4 VL 26B coûte $0.10 par million de tokens d’entrée et fonctionne avec le crédit de départ gratuit de $5. Qwen3.8 27B a été testé par BroadNet en arabe et prend aussi en charge la sortie structurée. En paiement à l’usage, une image compte comme des tokens d’entrée, et les grandes images en consomment davantage.
Le guide des factures en arabe présente une extraction complète. Gardez un type MIME exact dans la data URL, et laissez de la marge dans max_tokens avec les modèles de raisonnement.