Bạn cần một inference key từ tài khoản BroadNet Inference của bạn. Tài khoản mới được tặng $5 tín dụng ban đầu, không cần thẻ. Nếu bạn dùng Python, hãy xem hướng dẫn Python SDK.
1. Cài đặt và đặt key
Gói openai hiện tại (7.x) cần Node.js 22 trở lên.
npm install openai
export BROADNET_API_KEY='paste-the-key-once'
2. Request đầu tiên
Lưu thành first-request.mjs rồi chạy node first-request.mjs:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://inference.broadnet.ai/v1",
apiKey: process.env.BROADNET_API_KEY,
});
const response = await client.chat.completions.create({
model: "broadnet/gemma-4-26b-a4b",
messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(response.choices[0].message.content);
broadnet/gemma-4-26b-a4b chạy được bằng tín dụng miễn phí. Với model của gói không giới hạn, hãy dùng broadnet/deepseek-v4.1-flash và đặt max_tokens từ 1.000 trở lên, vì phần suy luận của nó được tính vào giới hạn này. Vì sao câu trả lời trả về trống.
3. Stream token
const stream = await client.chat.completions.create({
model: "broadnet/deepseek-v4.1-flash",
stream: true,
stream_options: { include_usage: true },
messages: [{ role: "user", content: "Count from one to three." }],
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
if (chunk.usage) console.log("\n", chunk.usage);
}
4. Ghi log request ID
const { data, request_id } = await client.chat.completions
.create({ model: "broadnet/gemma-4-26b-a4b", messages: [{ role: "user", content: "Hi" }] })
.withResponse();
console.log(request_id, data.choices[0].message.content);
SDK đọc request_id từ header x-request-id. Phản hồi đã parse cũng mang giá trị này dưới dạng data._request_id.
Hãy lưu ID đó cùng thời điểm theo giờ UTC, route và mã trạng thái: bộ phận hỗ trợ của BroadNet sẽ hỏi đến chúng. Mã lỗi và khi nào nên thử lại.
Xử lý sự cố
- 401. Key sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Nếu
BROADNET_API_KEYchưa được đặt,apiKeysẽ làundefinedvà SDK chuyển sang dùngOPENAI_API_KEY, hoặc báo lỗi nếu biến đó cũng không có. - 404. Kiểm tra rằng
baseURLkết thúc bằng/v1và bạn gọichat.completions, không phảiresponses. Sau đó kiểm tra model ID, có tiền tốbroadnet/. - Model trả phí báo lỗi trên tài khoản mới. $5 tín dụng ban đầu dùng được cho BroadNet Gemma 4 VL 26B (
broadnet/gemma-4-26b-a4b) và hai model BroadNet Transcribe. Hãy nạp tiền để dùng các model chat khác: DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B. contenttrống. Phần suy luận được tính vàomax_tokens. Hãy tăng giá trị này hoặc bỏ trống. Vì sao câu trả lời trả về trống.- 429. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request cùng lúc. Theo mặc định SDK thử lại hai lần; hãy điều chỉnh
maxRetriestrên client. Xem streaming chat completions để xử lý luồng bị ngắt.
