BroadRouter
شروع کریں

مقررہ قیمت والے LLM API پر متوازی کوڈنگ ایجنٹس کیسے چلائیں

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

ایک ساتھ کام کرنے والے ہر ایجنٹ کو اس کا اپنا پلان سیشن دیں۔ ایک سیشن ایک وقت میں ایک درخواست چلاتا ہے، بغیر ٹوکن میٹر کے، اس لیے تین سب ایجنٹس والے آرکسٹریٹر کو چار سیشن چاہییں۔ اپنے کوڈ میں چلتی درخواستوں پر اتنی ہی حد لگائیں۔ ایک کلید میں کئی سیشن ہو سکتے ہیں، اور Full Moon پر ہر سیشن $60 ماہانہ کا ہے۔

ایجنٹ فریم ورکس ایک اسسٹنٹ سے کئی تک پہنچ گئے ہیں: ایک آرکسٹریٹر جو منصوبہ بناتا ہے، سب ایجنٹس جو کوڈ لکھتے ہیں، اس کا ریویو کرتے ہیں اور ٹیسٹ چلاتے ہیں، اور بیچ ورکرز جو بیک لاگ نمٹاتے ہیں۔ فی ٹوکن API پر ان میں سے ہر ایک بل بڑھاتا ہے۔ مقررہ قیمت والے API پر سوال بدل جاتا ہے: ایک ہی لمحے میں کتنی چیزیں ماڈل کو کال کر رہی ہیں؟

مقررہ قیمت والے سیشن میں کیا شامل ہے؟

BroadNet کے لامحدود پلانز سیشن بیچتے ہیں۔ ایک سیشن ایک وقت میں ایک درخواست چلاتا ہے، لامحدود DeepSeek V4.1 Flash ٹوکنز کے ساتھ، بغیر rolling window یا ہفتہ وار حد کے۔ یہ ایک ایجنٹ کے کام کے انداز سے میل کھاتا ہے: وہ درخواست بھیجتا ہے، جواب پڑھتا ہے، کوئی ٹول چلاتا ہے، اور اگلی درخواست بھیجتا ہے۔

سیٹ اپ عروج پر چلتی درخواستیں سیشن
ایک ٹرمینل میں ایک کوڈنگ ایجنٹ 1 1
آرکسٹریٹر + 3 سب ایجنٹس 4 4
10 بیچ ورکرز 10 10
2 ڈویلپرز، ہر ایک کا 1 ایجنٹ 2 2 (ہر ایک اپنے اکاؤنٹ پر)

ہر Full Moon سیشن $60 ماہانہ کا ہے۔ ایک کلید میں کئی سیشن ہو سکتے ہیں، یا آپ پلان کے سیشنز اس کی کلیدوں میں بانٹ سکتے ہیں، مثلاً ہر سرور یا ہر پروجیکٹ کے لیے ایک کلید، تاکہ لیک یا منسوخ شدہ کلید صرف اپنے پیچھے والے ایجنٹس کو روکے۔ کلیدیں اور اکاؤنٹس ذاتی ہیں: آپ پلان کو اپنی پروڈکٹ میں استعمال کر سکتے ہیں، لیکن کلید شیئر یا دوبارہ فروخت نہیں کر سکتے۔ سیشن کے مکمل قواعد۔

متوازی ایجنٹس کو کتنے سیشن چاہییں؟

ایجنٹس بہت سا وقت ماڈل کو کال نہیں کرتے: ٹیسٹ چلاتے ہیں، فائلیں پڑھتے ہیں، بلڈ کا انتظار کرتے ہیں۔ چار سب ایجنٹس، جن میں سے ہر ایک 40% وقت ماڈل کو کال کرتا ہے، شاذ ہی کبھی ایک ساتھ اس کی ضرورت پڑتی ہے۔ چار سیشن خریدنے سے پہلے:

  1. آپ کا فریم ورک جو بھی ماڈل درخواست کرتا ہے، ہر ایجنٹ کے لیے اس کے شروع اور ختم ہونے کا وقت لاگ کریں۔
  2. ہر منٹ میں ایک ساتھ چلنے والی درخواستوں کی زیادہ سے زیادہ تعداد گنیں۔
  3. مطلق عروج کے لیے نہیں، اس اوورلیپ کے لیے سیشن خریدیں جو زیادہ تر وقت ہوتا ہے، اور باقی کو اپنے کوڈ میں قطار میں لگائیں (نیچے semaphore دیکھیں)۔ BroadNet کے صفحات یہ نہیں بتاتے کہ حد سے اوپر کی درخواست انتظار کرتی ہے یا رد کر دی جاتی ہے، اس لیے ایجنٹس کو اسے آنکھ بند کر کے نہ بھیجنے دیں۔

مثال کے طور پر، اگر آپ کے لاگز دکھاتے ہیں کہ زیادہ تر وقت دو درخواستیں چلتی ہیں اور چار صرف مختصر اچھال میں، تو دو سیشن اور کلائنٹ سائیڈ قطار سستا سیٹ اپ ہو سکتا ہے۔

ایک مختصر اسکرپٹ گنتی کر دیتا ہے۔ آپ کے لاگز سے سیکنڈز میں (start, end) اوقات کی فہرست دی گئی ہو تو:

from collections import Counter

def overlap_histogram(requests):
    events = sorted([(s, 1) for s, _ in requests] + [(e, -1) for _, e in requests])
    in_flight, last_t, seconds_at = 0, None, Counter()
    for t, delta in events:
        if last_t is not None:
            seconds_at[in_flight] += t - last_t
        in_flight += delta
        last_t = t
    return dict(sorted(seconds_at.items()))   # {requests in flight: seconds}

اگر نتیجہ دکھائے کہ زیادہ تر وقت ایک یا دو درخواستیں چلتی ہیں، تو دو سیشن خریدیں۔ اگر گھنٹوں تک چار پر ٹکا رہے، تو چار خریدیں۔

کس ایجنٹ پیٹرن کو کتنے سیشن چاہییں؟

پیٹرن ماڈل کو کیسے کال کرتا ہے سائز طے کرنے کا اصول
آرکسٹریٹر + ورکرز پلانر کال کرتا ہے، پھر کام پھیلاتا ہے ساتھ چلنے والے ورکرز، اور پلانر کام کرتا رہے تو اس کے لیے ایک
پائپ لائن (لکھنا → ریویو → ٹیسٹ) ہر ٹاسک میں ایک وقت میں ایک مرحلہ متوازی چلنے والے ہر ٹاسک کے لیے ایک سیشن
بیچ بیک لاگ کئی ایک جیسے جابز ہر ورکر کے لیے ایک سیشن؛ زیادہ ورکرز جلد ختم کرتے ہیں
کئی ڈویلپرز کے ایجنٹس آزاد ہر ڈویلپر کے لیے ایک سیشن، ہر ایک اپنے اکاؤنٹ پر

متوازی ایجنٹس کو ایک دوسرے کے راستے سے کیسے دور رکھیں؟

ماڈل کی گنجائش صرف آدھا مسئلہ ہے۔ ایک ہی فائل میں ترمیم کرنے والے دو ایجنٹس ایک دوسرے کا کام مٹا دیں گے۔ عام حل ہر ایجنٹ کے لیے ایک git worktree ہے: ہر ایک کو اسی ریپوزٹری سے اپنا چیک آؤٹ اور برانچ ملتا ہے۔

git worktree add ../agent-auth -b agent/auth
git worktree add ../agent-billing -b agent/billing

پھر ٹاسکس کو ماڈیول کے حساب سے بانٹیں، تاکہ ایجنٹس کم ہی ایک جیسی فائلیں چھوئیں، اور ریویو مرحلے سے مرج کریں۔ انہیں بغیر نگرانی چلانے کے لیے دیکھیں رات بھر کوڈنگ ایجنٹس چلانا؛ اضافی ایجنٹس ٹوکنز میں کتنا خرچ کرتے ہیں، اس کے لیے دیکھیں ملٹی ایجنٹ لاگت۔

متوازی ایجنٹس کے لیے استعمال کے مطابق ادائیگی کب بہتر ہے؟

استعمال کے مطابق ادائیگی والی کلید 4 چلتی درخواستوں اور فی منٹ 30 درخواستوں کی اجازت دیتی ہے۔ یہ مختصر، اچانک اچھلنے والے فین آؤٹ کے لیے موزوں ہے: ایک ریویو مرحلہ جو بیس سیکنڈ کے لیے چار چیکرز شروع کرتا ہے، پھر خاموش ہو جاتا ہے۔ مستحکم بوجھ سیشنز کے لیے موزوں ہے، اور اچھال والا بوجھ فی ٹوکن بلنگ کے لیے۔ کئی سیٹ اپ دونوں استعمال کرتے ہیں: لمبے چلنے والے ایجنٹس کے لیے پلان سیشن، اور اچھال اور GLM 5.3 جیسے دوسرے ماڈلز کے لیے استعمال کے مطابق ادائیگی والی کلید۔

جب استعمال کے مطابق ادائیگی والی کلید اپنی ریٹ لمٹ یا concurrency کی حد پر پہنچتی ہے، تو وہ 429 لوٹاتی ہے۔ رکیں اور دوبارہ کوشش کریں؛ دیکھیں ایرر کوڈز اور کب دوبارہ کوشش کریں۔ ریٹ لمٹ کیلکولیٹر دکھاتا ہے کہ آپ کے درخواستوں کے پیٹرن کے لیے کوئی حد کتنی دور تک چلتی ہے۔

ایجنٹس کو پلان سے کیسے جوڑیں؟

زیادہ تر ایجنٹ فریم ورکس OpenAI-compatible base URL قبول کرتے ہیں۔ ہر ایجنٹ کو ماڈل broadnet/deepseek-v4.1-flash کے ساتھ https://inference.broadnet.ai/v1 پر پوائنٹ کریں اور ہر ایک کو کلید دیں:

export OPENAI_BASE_URL="https://inference.broadnet.ai/v1"
export OPENAI_API_KEY="$BROADNET_PLAN_KEY"

ایک ٹرمینل کوڈنگ ایجنٹ کے لیے Aider گائیڈ میں درست سیٹنگز ہیں؛ Cline اور OpenCode کے اپنے گائیڈز ہیں۔ اپنے آرکسٹریٹر کے لیے OpenAI Python SDK گائیڈ کلائنٹ سیٹ اپ دکھاتا ہے۔ اپنے کوڈ میں چلتی درخواستوں کو سیشنز کی تعداد تک محدود رکھیں، تاکہ وہ آپ کی طرف قطار میں لگیں، جہاں آپ انہیں دیکھ سکیں:

import asyncio
SESSIONS = 4
gate = asyncio.Semaphore(SESSIONS)

async def ask(client, messages):
    async with gate:
        return await client.chat.completions.create(
            model="broadnet/deepseek-v4.1-flash", messages=messages, max_tokens=4000)

متوازی ایجنٹس کے ساتھ کیا غلط ہوتا ہے؟

  • ہر ایجنٹ کو ایک ساتھ شروع کرنا۔ ایک ساتھ آنے والی پہلی کالز کی بوچھاڑ فوراً آپ کے سیشنز سے بڑھ جاتی ہے۔ آغاز کو چند سیکنڈ کے وقفے پر رکھیں۔
  • دوبارہ کوششوں کا طوفان۔ اگر ہر ایجنٹ ایک ہی لمحے دوبارہ کوشش کرے، تو وہ پھر ٹکراتے ہیں۔ backoff میں jitter شامل کریں۔
  • بہت کم max_tokens۔ DeepSeek V4.1 Flash جواب سے پہلے ریزننگ کرتا ہے؛ چھوٹی حد خالی جواب لوٹا سکتی ہے۔ کیوں۔
  • ایک کلید کئی لوگوں میں شیئر کرنا۔ کلیدیں ذاتی ہیں۔ ہر ڈویلپر کو اس کا اپنا اکاؤنٹ دیں۔

ہر ایجنٹ کتنا کانٹیکسٹ استعمال کر سکتا ہے؟

DeepSeek V4.1 Flash پر ہر درخواست میں 1,048,576 ٹوکن تک ہو سکتے ہیں۔ سب ایجنٹ مختصر کیے گئے خلاصے کے بجائے وہ پورا ماڈیول پڑھ سکتا ہے جس پر وہ کام کر رہا ہے، اور پلان پر لمبا پرامپٹ اضافی خرچ نہیں لیتا۔ 1M ٹوکن ونڈو کب کام آتی ہے۔

سیٹ اپ کو سستے میں کیسے آزمائیں؟

جتنے سیشن آپ کے خیال میں چاہییں، ہر ایک کے لیے ایک Meteor گھنٹہ ($1) خریدیں، اور اپنا اصل ایجنٹ ورک فلو چلائیں۔ اگر ایجنٹس بار بار ایک دوسرے کا انتظار کریں، تو ایک سیشن شامل کریں۔ اگر کوئی خالی بیٹھا رہے، تو اسے ہٹا دیں۔ پھر Full Moon یا ہفتے بھر کے Orbit سیشنز (ہر ایک $15) پر جائیں۔

BroadNet Inference کہاں فٹ ہوتا ہے

پلان سیشن ایک ماڈل پر مستحکم، متوازی ایجنٹس کے لیے موزوں ہیں، کیونکہ بل اس پر منحصر ہے کہ ایک ساتھ کتنے چلتے ہیں، نہ کہ وہ کتنا پڑھتے ہیں۔ اگر آپ کے ایجنٹس کو کئی مختلف ماڈلز چاہییں، یا وہ ماڈل کو صرف مختصر اچھال میں کال کرتے ہیں، تو استعمال کے مطابق ادائیگی والی کلید یا کوئی راؤٹر کم خرچ ہو سکتا ہے۔ پہلے بریک ایون کے حساب سے موازنہ کریں۔

عام سوالات

اگر دو ایجنٹس ایک ہی سیشن کو ایک ساتھ استعمال کریں تو کیا ہوتا ہے؟

ایک سیشن ایک وقت میں ایک درخواست چلاتا ہے، اور BroadNet کے صفحات یہ نہیں بتاتے کہ دوسری درخواست انتظار کرتی ہے یا 429 کے ساتھ رد کر دی جاتی ہے۔ کسی پر بھروسہ نہ کریں: اپنے کوڈ میں چلتی درخواستوں کو سیشنز کی تعداد تک محدود رکھیں، 429 پر backoff کے ساتھ دوبارہ کوشش کریں، اور اگر ایجنٹس بہت دیر انتظار کریں تو ایک سیشن شامل کریں۔

میں کتنے کوڈنگ ایجنٹس متوازی چلا سکتا ہوں؟

جتنی اوورلیپ ہونے والی درخواستوں کے لیے آپ کے پاس سیشن ہیں۔ ہر پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے، اس لیے ایک ہی لمحے ماڈل کو کال کرنے والے چار ایجنٹس کو چار سیشن چاہییں۔ جو ایجنٹس زیادہ تر ٹولز چلاتے ہیں، وہ کم سیشن بانٹ سکتے ہیں، اگر آپ کا کوڈ ان کی ماڈل کالز کو قطار میں لگائے۔

متوازی ایجنٹس کو ایک ہی فائلوں میں ترمیم سے کیسے روکوں؟

ہر ایجنٹ کو اس کا اپنا git worktree اور برانچ دیں، اور کام کو فائل یا ماڈیول کے حساب سے بانٹیں۔ عام pull requests یا آخری ریویو مرحلے سے مرج کریں۔

کیا میں پلان اور استعمال کے مطابق ادائیگی کو ملا سکتا ہوں؟

جی ہاں۔ پلان کلیدیں اور استعمال کے مطابق ادائیگی والی کلیدیں الگ ہیں۔ ایک عام طریقہ: مستحکم ایجنٹس کے لیے پلان سیشن، اور کبھی کبھار کے اچھال یا دوسرے ماڈلز کے لیے استعمال کے مطابق ادائیگی والی کلید۔

کیا سیشن الگ الگ کلیدوں پر ہونے چاہییں؟

نہیں۔ ایک کلید میں کئی سیشن ہو سکتے ہیں، یا آپ انہیں کئی کلیدوں میں بانٹ سکتے ہیں، مثلاً ہر سرور یا ہر پروجیکٹ کے لیے ایک کلید۔

کیا مقررہ قیمت والے پلان پر متوازی ایجنٹس زیادہ مہنگے پڑتے ہیں؟

صرف سیشنز کی تعداد کے حساب سے۔ پلان پر ٹوکن ناپے نہیں جاتے، اس لیے بل = سیشنز ضرب پلان کی قیمت، چاہے ہر ایجنٹ کتنا بھی پڑھے یا لکھے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں