LlamaIndex إطار عمل بلغة Python لبناء RAG والوكلاء. ولأي API متوافقة مع OpenAI ليست OpenAI نفسها، يوفّر الصنف OpenAILike. وتقدّم BroadNet Inference مسار chat completions القياسي على https://inference.broadnet.ai/v1. BroadRouter هو موقع BroadNet نفسها؛ وتتبع الخطوات المرجع التقني لـ LlamaIndex الخاص بـ llama-index-llms-openai-like 0.9.0.
التثبيت
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
الاتصال والاختبار
import os
from llama_index.llms.openai_like import OpenAILike
llm = OpenAILike(
model="broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
context_window=1048576,
is_chat_model=True,
is_function_calling_model=True,
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.complete("Name three uses for a vector index."))
إذا طُبعت إجابة، فالمفتاح والعنوان ومعرّف النموذج تعمل.
الإعدادات الأربعة المهمة
| المعامل | اضبطه على | القيمة الافتراضية إن لم تضبطه |
|---|---|---|
is_chat_model |
True |
False، وتعني استخدام مسار completions القديم؛ بينما تقدّم BroadNet مسار chat completions |
context_window |
السياق الفعلي للنموذج | 3,900 رمز |
is_function_calling_model |
True لنموذجَي GLM 5.3 أو Qwen3.8 27B فقط |
False |
max_tokens |
1,000 أو أكثر | None (لا يُرسَل، فيقرّر الخادم) |
أهمها is_chat_model. يقول المرجع التقني إنه “controls whether the model uses the chat or completion endpoint” (ترجمة: يتحكم في ما إذا كان النموذج يستخدم نقطة نهاية chat أو completion)، وقيمته الافتراضية false. ويُدرج توثيق BroadNet المسار /v1/chat/completions، لا مسار completions الأقدم.
استخدامه في التطبيق كله
from llama_index.core import Settings
Settings.llm = llm
بعدها تستخدم محركات الاستعلام ومحركات المحادثة والوكلاء BroadNet. أما التضمينات فمنفصلة: لا يُدرج المرجع التقني لـ BroadNet نقطة نهاية للتضمينات، فأبقِ نموذج تضمين مختلفًا للفهرسة.
نوافذ السياق
| النموذج | المعرّف | context_window |
الأدوات |
|---|---|---|---|
| GLM 5.3 | broadnet/glm-5.3 |
1048576 | نعم |
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
1048576 | غير مُدرجة |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
262144 | نعم |
| BroadNet Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
32768 | غير مُدرجة |
سياق بحجم مليون رمز يتيح لمحرك الاستعلام تمرير عدد أكبر بكثير من المقاطع المسترجعة في كل استدعاء. لكن هذا ليس الأفضل دائمًا؛ راجع السياق الطويل مقابل RAG.
حل المشكلات
- 401. المفتاح خاطئ، أو منتهي الصلاحية، أو استنفد رصيده.
- 404. يجب أن ينتهي
api_baseبـ/v1، وأن تكون قيمةis_chat_modelهيTrue. ثم تحقق من معرّف النموذج. النماذج المدفوعة تحتاج إلى شحن الرصيد؛ والرصيد البالغ $5 يغطيbroadnet/gemma-4-26b-a4bونموذجَي Transcribe. - إجابات فارغة. استهلك الاستدلال المنطقي ميزانية المخرجات. ارفع
max_tokens. راجع لماذا تعود الإجابات فارغة. - الوكيل لا يستدعي الأدوات أبدًا. اضبط
is_function_calling_model=Trueواستخدمbroadnet/glm-5.3أوbroadnet/qwen3.8-27b. - 429 أثناء الاستيعاب (ingestion) أو الاستعلامات الدفعية. يسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 قيد التنفيذ. ويعيد OpenAILike المحاولة 3 مرات افتراضيًا (
max_retries). راجع الأخطاء وإعادة المحاولة.
