BroadRouter
Bắt đầu

Dùng OpenAI Node.js SDK với BroadNet Inference

Cập nhật

Để dùng OpenAI Node.js SDK với BroadNet Inference, hãy cài gói npm openai rồi tạo client với baseURL là https://inference.broadnet.ai/v1 và apiKey là key BroadNet của bạn. Code chat.completions hiện có vẫn chạy; chỉ đổi model ID, ví dụ broadnet/deepseek-v4.1-flash. BroadNet cung cấp chat completions, không có Responses API, nên hãy tiếp tục dùng client.chat.completions.create.

Bạn cần một inference key từ tài khoản BroadNet Inference của bạn. Tài khoản mới được tặng $5 tín dụng ban đầu, không cần thẻ. Nếu bạn dùng Python, hãy xem hướng dẫn Python SDK.

1. Cài đặt và đặt key

Gói openai hiện tại (7.x) cần Node.js 22 trở lên.

npm install openai
export BROADNET_API_KEY='paste-the-key-once'

2. Request đầu tiên

Lưu thành first-request.mjs rồi chạy node first-request.mjs:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://inference.broadnet.ai/v1",
  apiKey: process.env.BROADNET_API_KEY,
});

const response = await client.chat.completions.create({
  model: "broadnet/gemma-4-26b-a4b",
  messages: [{ role: "user", content: "Reply with one short sentence." }],
});
console.log(response.choices[0].message.content);

broadnet/gemma-4-26b-a4b chạy được bằng tín dụng miễn phí. Với model của gói không giới hạn, hãy dùng broadnet/deepseek-v4.1-flash và đặt max_tokens từ 1.000 trở lên, vì phần suy luận của nó được tính vào giới hạn này. Vì sao câu trả lời trả về trống.

3. Stream token

const stream = await client.chat.completions.create({
  model: "broadnet/deepseek-v4.1-flash",
  stream: true,
  stream_options: { include_usage: true },
  messages: [{ role: "user", content: "Count from one to three." }],
});
for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
  if (chunk.usage) console.log("\n", chunk.usage);
}

4. Ghi log request ID

const { data, request_id } = await client.chat.completions
  .create({ model: "broadnet/gemma-4-26b-a4b", messages: [{ role: "user", content: "Hi" }] })
  .withResponse();
console.log(request_id, data.choices[0].message.content);

SDK đọc request_id từ header x-request-id. Phản hồi đã parse cũng mang giá trị này dưới dạng data._request_id.

Hãy lưu ID đó cùng thời điểm theo giờ UTC, route và mã trạng thái: bộ phận hỗ trợ của BroadNet sẽ hỏi đến chúng. Mã lỗi và khi nào nên thử lại.

Xử lý sự cố

  • 401. Key sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. Nếu BROADNET_API_KEY chưa được đặt, apiKey sẽ là undefined và SDK chuyển sang dùng OPENAI_API_KEY, hoặc báo lỗi nếu biến đó cũng không có.
  • 404. Kiểm tra rằng baseURL kết thúc bằng /v1 và bạn gọi chat.completions, không phải responses. Sau đó kiểm tra model ID, có tiền tố broadnet/.
  • Model trả phí báo lỗi trên tài khoản mới. $5 tín dụng ban đầu dùng được cho BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) và hai model BroadNet Transcribe. Hãy nạp tiền để dùng các model chat khác: DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B.
  • content trống. Phần suy luận được tính vào max_tokens. Hãy tăng giá trị này hoặc bỏ trống. Vì sao câu trả lời trả về trống.
  • 429. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request cùng lúc. Theo mặc định SDK thử lại hai lần; hãy điều chỉnh maxRetries trên client. Xem streaming chat completions để xử lý luồng bị ngắt.

Câu hỏi thường gặp

Trong Node, có đặt base URL của BroadNet bằng biến môi trường được không?

Được. SDK đọc OPENAI_BASE_URL khi bạn không truyền baseURL, và đọc OPENAI_API_KEY khi bạn không truyền apiKey. Truyền rõ cả hai giúp tránh vô tình gửi key BroadNet sang OpenAI, hoặc ngược lại.

client.responses.create có chạy với BroadNet không?

Không. Tài liệu của BroadNet chỉ liệt kê chat completions và audio transcriptions. Với chat, hãy dùng client.chat.completions.create.

Gói openai cần Node.js phiên bản nào?

Bản phát hành 7.x hiện tại yêu cầu Node.js 22 trở lên. Deno, Bun, Cloudflare Workers và Vercel Edge cũng được hỗ trợ.

Có gọi BroadNet từ trình duyệt bằng Node SDK được không?

Đừng làm vậy. SDK chặn việc dùng trong trình duyệt trừ khi bạn đặt dangerouslyAllowBrowser, vì key sẽ bị gửi tới mọi người truy cập. Hãy gọi BroadNet từ server của bạn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity