Vercel’in AI SDK aracı, LLM uygulamaları için bir TypeScript araç setidir. @ai-sdk/openai-compatible paketi, OpenAI chat completions biçimini izleyen her API için bir sağlayıcı oluşturur. BroadNet Inference bu biçimi izlediğinden yalnızca base URL’yi, anahtarı ve model kimliklerini değiştirirsiniz. Bunun yerine düz OpenAI istemcisini kullanmak için Node SDK rehberine bakın.
Kurulum
-
Paketleri kurun. Bu yazı hazırlanırken npm,
ai7.x ve@ai-sdk/openai-compatible3.x sürümlerini sunuyordu.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Sağlayıcıyı oluşturun.
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Metin üretin.
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Akışla alın.
generateTextyerinestreamTextkullanın vetextStreamdeğerini okuyun. Alttaki iletim biçimini akış rehberi açıklar.
Verdiğiniz name, sağlayıcı seçenekleri ve sağlayıcı meta verisi için anahtar olur; bu yüzden kısa ve sabit tutun. provider('id') ve provider.chatModel('id') ikisi de bir sohbet modeli oluşturur; model başına ayrı kurulum yoktur. Anahtarı sunucuda tutun. Bu dosyayı tarayıcıda çalışan koda içe aktarmayın; aksi halde anahtar her ziyaretçiye gönderilir.
Sağlayıcı belgeleri metin üretimi, akış, araç çağırma, yapılandırılmış çıktılar, akıl yürütme içeriği ve görsel girdiyi desteklenen yetenekler olarak listeler ve bazılarının sağlayıcıya bağlı olduğunu not eder. BroadNet’te görsel girdi DeepSeek V4.1 Flash, Qwen3.8 27B ve Gemma 4 VL 26B ile çalışır. GLM 5.3 yalnızca metin alır.
Ayarlamaya değer seçenekler
- reasoningEffort. Sağlayıcı adını anahtar olarak kullanıp
providerOptionsüzerinden verin. AI SDK belgelerine göre geçerli değerler sağlayıcıya bağlıdır; BroadNet’in belgelerilowdeğerini gösterir.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. AI SDK, JSON şemalarını yalnızca sağlayıcıda bu değer
trueolduğunda gönderir. BroadNet yapılandırılmış çıktıyı GLM 5.3 ve Qwen3.8 27B için listeler. Açarsanız şema çıktısı için bu modelleri kullanın. - maxRetries.
generateTextvarsayılan olarak iki kez yeniden dener. Değeri hız sınırınıza göre ayarlayın. - Akıl yürütme çıktısı. AI SDK, sağlayıcı döndürdüğünde akıl yürütme içeriğini okur. Üst düzeydeki
reasoningTextsonuç alanı artıkfinalStep.reasoningTextlehine kullanımdan kaldırılmış (deprecated) olarak işaretli. Akıl yürütmenin mutlaka bulunmasına dayanan mantık kurmayın.
Hangi modeli seçmeli
| İhtiyaç | Model | Bağlam |
|---|---|---|
| Araç çağırma, yapılandırılmış çıktı | broadnet/glm-5.3 |
1.048.576 |
| Görseller ve araçlar, Arapça | broadnet/qwen3.8-27b |
262.144 |
| Uzun bağlam, sabit fiyatlı plan | broadnet/deepseek-v4.1-flash |
1.048.576 |
| Ucuz metin ve görsel çağrıları | broadnet/gemma-4-26b-a4b |
32.768 |
Her modelin token başına fiyatı fiyatlandırma sayfasında.
Sorun giderme
- 401.
BROADNET_API_KEYçalışma ortamında yok (barındırma sağlayıcınızın ortam değişkeni ayarlarını kontrol edin), yanlış, süresi dolmuş ya da kullandıkça öde kullanım hakkı tükenmiş. - providerOptions yok sayılıyor. Anahtar, camelCase biçimindeki sağlayıcı
namedeğeriyle eşleşmelidir.name: 'broadnet'ileproviderOptions.broadnetkullanın. - Model hataları. Kimlik,
broadnet/önekiyle birlikte BroadNet’tekiyle birebir aynı olmalı. GLM 5.3, Qwen3.8 27B ve DeepSeek V4.1 Flash bakiye yüklemesi gerektirir; $5 başlangıç kredisi yalnızca Gemma 4 VL 26B’yi kapsar. - Boş metin, finishReason “length”. Akıl yürütme bütçeyi tüketmiş.
maxOutputTokensdeğerini artırın ya dareasoningEffortdeğerini düşürün. Yanıtlar neden boş geliyor. - Yük altında 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve işlemde aynı anda 4 isteğe izin verir. Sunucusuz (serverless) fonksiyonlar hızla ölçeklenir; bu yüzden uygulamanızda eşzamanlılığı sınırlayın. Hatalar ve yeniden denemeler rehberine bakın.
- Plan anahtarında paralel ajanlar. Bir sınırsız plan oturumu aynı anda tek istek çalıştırır. Birkaç ajan üzerinde
Promise.allçalıştırmak için ajan başına bir oturum gerekir; aksi halde istekler sıraya girer.
