BroadRouter

استخدام LlamaIndex مع BroadNet Inference عبر OpenAILike

آخر تحديث

ثبّت llama-index-llms-openai-like وأنشئ OpenAILike مع ضبط model على معرّف من BroadNet مثل broadnet/glm-5.3، وapi_base على https://inference.broadnet.ai/v1، ومفتاح BroadNet، وcontext_window على السياق الفعلي للنموذج، وis_chat_model=True، وis_function_calling_model=True لنموذجَي GLM 5.3 أو Qwen3.8 27B فقط. ثم عيّنه في Settings.llm ليُستخدم في كل مكان.

LlamaIndex إطار عمل بلغة Python لبناء RAG والوكلاء. ولأي API متوافقة مع OpenAI ليست OpenAI نفسها، يوفّر الصنف OpenAILike. وتقدّم BroadNet Inference مسار chat completions القياسي على https://inference.broadnet.ai/v1. BroadRouter هو موقع BroadNet نفسها؛ وتتبع الخطوات المرجع التقني لـ LlamaIndex الخاص بـ llama-index-llms-openai-like 0.9.0.

التثبيت

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

الاتصال والاختبار

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

إذا طُبعت إجابة، فالمفتاح والعنوان ومعرّف النموذج تعمل.

الإعدادات الأربعة المهمة

المعامل اضبطه على القيمة الافتراضية إن لم تضبطه
is_chat_model True False، وتعني استخدام مسار completions القديم؛ بينما تقدّم BroadNet مسار chat completions
context_window السياق الفعلي للنموذج 3,900 رمز
is_function_calling_model True لنموذجَي GLM 5.3 أو Qwen3.8 27B فقط False
max_tokens 1,000 أو أكثر None (لا يُرسَل، فيقرّر الخادم)

أهمها is_chat_model. يقول المرجع التقني إنه “controls whether the model uses the chat or completion endpoint” (ترجمة: يتحكم في ما إذا كان النموذج يستخدم نقطة نهاية chat أو completion)، وقيمته الافتراضية false. ويُدرج توثيق BroadNet المسار /v1/chat/completions، لا مسار completions الأقدم.

استخدامه في التطبيق كله

from llama_index.core import Settings

Settings.llm = llm

بعدها تستخدم محركات الاستعلام ومحركات المحادثة والوكلاء BroadNet. أما التضمينات فمنفصلة: لا يُدرج المرجع التقني لـ BroadNet نقطة نهاية للتضمينات، فأبقِ نموذج تضمين مختلفًا للفهرسة.

نوافذ السياق

النموذج المعرّف context_window الأدوات
GLM 5.3 broadnet/glm-5.3 1048576 نعم
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 غير مُدرجة
Qwen3.8 27B broadnet/qwen3.8-27b 262144 نعم
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 غير مُدرجة

سياق بحجم مليون رمز يتيح لمحرك الاستعلام تمرير عدد أكبر بكثير من المقاطع المسترجعة في كل استدعاء. لكن هذا ليس الأفضل دائمًا؛ راجع السياق الطويل مقابل RAG.

حل المشكلات

  • 401. المفتاح خاطئ، أو منتهي الصلاحية، أو استنفد رصيده.
  • 404. يجب أن ينتهي api_base بـ /v1، وأن تكون قيمة is_chat_model هي True. ثم تحقق من معرّف النموذج. النماذج المدفوعة تحتاج إلى شحن الرصيد؛ والرصيد البالغ $5 يغطي broadnet/gemma-4-26b-a4b ونموذجَي Transcribe.
  • إجابات فارغة. استهلك الاستدلال المنطقي ميزانية المخرجات. ارفع max_tokens. راجع لماذا تعود الإجابات فارغة.
  • الوكيل لا يستدعي الأدوات أبدًا. اضبط is_function_calling_model=True واستخدم broadnet/glm-5.3 أو broadnet/qwen3.8-27b.
  • 429 أثناء الاستيعاب (ingestion) أو الاستعلامات الدفعية. يسمح مفتاح الدفع حسب الاستخدام بـ 30 من الطلبات في الدقيقة و4 قيد التنفيذ. ويعيد OpenAILike المحاولة 3 مرات افتراضيًا (max_retries). راجع الأخطاء وإعادة المحاولة.

أسئلة شائعة

لماذا لا أستخدم الصنف OpenAI في LlamaIndex مع api_base مختلف؟

تقول صفحة OpenAI في توثيق LlamaIndex نفسه أن تستخدم تكامل OpenAILike مع أي API متوافقة مع OpenAI ليست واجهة OpenAI الرسمية. كما يتيح لك OpenAILike أن تحدد نافذة السياق ودعم الأدوات بنفسك.

ماذا يحدث إذا لم أضبط context_window؟

القيمة الافتراضية في OpenAILike هي 3,900 رمز، فيقتطع LlamaIndex الموجّهات والمقاطع المسترجعة إلى أقل بكثير مما تقبله نماذج BroadNet. اضبطه على 1048576 لنموذجَي GLM 5.3 وDeepSeek V4.1 Flash، أو 262144 لنموذج Qwen3.8 27B.

هل يمكن لـ FunctionAgent في LlamaIndex أن يستخدم BroadNet؟

نعم، مع is_function_calling_model=True على نموذج تُدرج له BroadNet الأدوات: GLM 5.3 أو Qwen3.8 27B. واتركه False مع DeepSeek V4.1 Flash، إذ لا يُدرج توثيق BroadNet استدعاء الأدوات له.

هل توفّر BroadNet تضمينات (embeddings) لفهرس LlamaIndex؟

يُدرج المرجع التقني لـ BroadNet مساري chat completions والتفريغ الصوتي، لا التضمينات. استخدم نموذج تضمين منفصلًا للفهرس، وBroadNet للنموذج اللغوي.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity