La plupart des fournisseurs de LLM parlent désormais le format de l’API OpenAI. Changer de fournisseur ressemble donc à une modification d’une ligne, et pour obtenir une première réponse, c’est le cas. Pour faire passer du trafic de production, suivez cette liste. Chaque point correspond à une vraie façon dont les migrations échouent.
0. Qu’utilise votre application aujourd’hui ?
Avant de modifier quoi que ce soit, notez ce dont dépend votre application. Cherchez dans le code chaque appel au SDK et listez-le. Si vous appelez l’API Whisper d’OpenAI, notez qu’OpenAI annonce l’arrêt de whisper-1 le 26 février 2027 ; les alternatives à l’API Whisper couvrent la partie audio.
| Fonctionnalité | Où chercher | Test après le changement |
|---|---|---|
| Chat completions | Chaque chat.completions.create |
Mêmes prompts, comparer les réponses |
| Streaming | stream=True |
Les chunks arrivent, fin par [DONE], usage présent |
| Appel d’outils | tools= |
Les appels d’outils sont analysés et exécutés |
| Sortie structurée | response_format= |
Le JSON est valide selon votre schéma |
| Images | Parties image dans les messages | Le modèle les accepte |
| Transcription audio | audio.transcriptions |
Texte et langue corrects |
| Embeddings, fichiers, batchs | Autres endpoints | Vérifier que le fournisseur les propose |
La dernière ligne compte. « Compatible OpenAI » couvre généralement d’abord les chat completions. Le catalogue de BroadNet Inference liste des modèles de chat sur /v1/chat/completions et des modèles de speech-to-text sur /v1/audio/transcriptions ; si vous utilisez d’autres endpoints, gardez-les chez votre fournisseur actuel ou trouvez un remplaçant.
1. Quels sont les trois paramètres qui changent ?
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
Le nom du paramètre d’URL de base dépend de la bibliothèque : base_url dans le SDK Python et dans ChatOpenAI de LangChain, baseURL dans le SDK Node.js. Le SDK Python lit aussi la variable d’environnement OPENAI_BASE_URL, selon son README. Vérifiez qu’aucune valeur périmée ne traîne dans votre environnement, sinon les requêtes peuvent partir vers l’ancien fournisseur sans erreur.
Gardez les clés d’API dans des variables d’environnement ou un gestionnaire de secrets, jamais dans le code. Configuration par SDK : Python, Node.js, LangChain. Pour construire et tester une première requête à la main, utilisez le générateur de requêtes API. Pour appliquer les changements d’URL de base, de clé et de modèle à du code existant, collez-le dans l’assistant de migration d’OpenAI vers BroadNet, qui liste aussi ce qu’il faut vérifier.
2. Quels sont les nouveaux ID de modèles ?
Chaque fournisseur nomme ses modèles à sa façon. Chez BroadNet Inference :
| Modèle | ID |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
Placez l’ID du modèle dans la configuration, pas dans le code : un futur changement sera un déploiement, pas une réécriture. Les limites et les prix de chaque modèle figurent sur sa page : DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B et Gemma 4 VL 26B.
3. Pourquoi les réponses reviennent-elles vides après le changement ?
C’est la surprise la plus fréquente. DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et les tokens de raisonnement comptent dans max_tokens. Une limite de 256 qui fonctionnait sur un modèle sans raisonnement peut être entièrement consommée par la réflexion, et la réponse revient vide. Prévoyez 1 000 tokens ou plus, ou réglez reasoning_effort sur low pour les tâches simples. Explication complète.
4. Le streaming remonte-t-il toujours l’usage ?
Les flux utilisent les Server-Sent Events et se terminent par data: [DONE]. L’usage des tokens n’arrive dans le dernier chunk que si vous le demandez :
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
Sans cette option, votre tableau de bord des coûts affiche zéro. Si un flux se termine avant [DONE], considérez-le comme incomplet. Guide du streaming.
5. Quelles erreurs faut-il réessayer ?
| Statut | Signification | Action |
|---|---|---|
| 401 | Clé invalide ou révoquée, ou allocation de paiement à l’usage épuisée | Corriger, ne pas réessayer |
| 402 | Solde ou budget | Recharger, ne pas réessayer |
| 403 | Refusé par la politique de modèle, de route ou d’IP | Corriger l’incohérence |
| 413 | Requête trop volumineuse | Réduire, ne pas réessayer |
| 429 | Limite de débit, de simultanéité ou de dépenses | Attendre (backoff) et réessayer |
| 5xx | Côté serveur | Réessayer avec un backoff borné |
Le SDK Python officiel réessaie déjà certaines erreurs : son README indique que les erreurs de connexion et les réponses 408, 409, 429 et 5xx sont réessayées deux fois par défaut avec un court backoff exponentiel. Définissez max_retries explicitement pour que ce comportement soit un choix et non une valeur par défaut. Journalisez l’ID de requête de chaque réponse pour que le support puisse retracer un problème. Tous les codes.
6. Quelles sont les nouvelles limites de débit ?
Connaissez les nouvelles limites avant l’arrivée du trafic. Une clé BroadNet en paiement à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Les forfaits illimités traitent une requête à la fois par session. Dimensionnez votre pool de workers en conséquence, sinon vous verrez des 429 dès le premier jour ; le calculateur de limites de débit fait le dimensionnement. Dimensionner pour des agents en parallèle.
7. Vos prompts tiennent-ils toujours ?
Vérifiez les fenêtres de contexte : 1 048 576 tokens pour DeepSeek V4.1 Flash et GLM 5.3, 262 144 pour Qwen3.8 27B, 32 768 pour Gemma 4 VL 26B. Un prompt qui tenait dans votre ancien modèle peut ne pas tenir dans une fenêtre plus petite ; vérifiez-le avec le calculateur de fenêtre de contexte. Placez le contenu stable du prompt en premier pour profiter du tarif de l’entrée en cache.
8. Et les clés et la conservation des données ?
Limitez les clés de production aux IP de vos serveurs avec une liste d’IP autorisées. Demandez au nouveau fournisseur ce qu’il conserve ; voir la checklist ZDR.
9. Comment basculer en toute sécurité ?
- Envoyez une copie des requêtes réelles d’une journée aux deux fournisseurs.
- Comparez les réponses sur un échantillon, ainsi que la latence, les erreurs et le coût par requête.
- Basculez 10 % du trafic, observez pendant une journée, puis basculez le reste.
- Gardez l’ancien fournisseur configuré en solution de repli pendant une semaine.
Si vous exploitez de nombreux services, un proxy comme LiteLLM vous permet de changer de fournisseur à un seul endroit plutôt que dans chaque application.
Quelles sont les erreurs de migration courantes ?
/v1absent de l’URL de base. Les requêtes renvoient 404. Utilisez l’URL complète.- Anciens noms de modèles dans la configuration. Le nouveau fournisseur ne les connaît pas.
- Champs propres à l’ancien fournisseur laissés dans les requêtes. Les champs que seul l’ancien fournisseur comprenait peuvent être rejetés ou ignorés. Retirez-les des clients génériques.
- Ne tester qu’un seul prompt. Reprenez l’inventaire de l’étape 0, fonctionnalité par fonctionnalité.
- Basculer un vendredi. Gardez du temps pour observer une journée complète de trafic réel.
La place de BroadNet Inference
BroadNet Inference est un remplacement direct pour les applications qui utilisent les chat completions et la transcription audio via les SDK OpenAI : modifiez trois paramètres et suivez la liste ci-dessus. Son catalogue ne liste que des modèles de chat et de speech-to-text ; si vous dépendez d’autres endpoints, comme les embeddings ou le stockage de fichiers, gardez-les chez un autre fournisseur. Les nouveaux comptes démarrent avec $5 de crédit. Parmi les modèles de chat, seul Gemma 4 VL 26B en bénéficie (le crédit couvre aussi les deux modèles Transcribe) : un test en parallèle (shadow test) sur DeepSeek, GLM ou Qwen nécessite donc une recharge.
