BroadRouter

मल्टीमोडल AI (multimodal AI)

अपडेट किया गया

मल्टीमोडल AI ऐसा मॉडल या सिस्टम है जो एक से ज़्यादा तरह के डेटा, जैसे टेक्स्ट, इमेज, वीडियो और ऑडियो, के साथ काम करता है। कोई मल्टीमोडल मॉडल फ़ोटो और सवाल साथ पढ़ सकता है, या आवाज़ लेकर टेक्स्ट में जवाब दे सकता है। vision-language मॉडल इसका सबसे आम रूप है।

अन्य नाम: मल्टीमोडल, मल्टीमोडल मॉडल, मल्टी-मोडल AI, multimodal kya hai, multimodal ai kya hota hai, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“मल्टीमोडल” बताता है कि कोई मॉडल क्या-क्या ले सकता है। हमेशा सटीक सूची जाँचें, क्योंकि मल्टीमोडल कहलाने वाले दो मॉडल काफ़ी अलग इनपुट ले सकते हैं।

यह कैसे काम करता है

हर तरह का इनपुट उसी चीज़ में बदला जाता है जिसे लैंग्वेज मॉडल पहले से पढ़ता है: उसकी कॉन्टेक्स्ट विंडो में वेक्टरों की एक sequence। टेक्स्ट tokenizer से गुज़रता है। इमेज एक vision encoder से गुज़रकर इमेज टोकन का एक ब्लॉक बनती है। वीडियो आम तौर पर फ़्रेम की एक श्रृंखला के रूप में सँभाला जाता है, और ऑडियो एक audio encoder से।

मॉडल कार्ड दिखाते हैं कि यह कितना बारीक होता है, एक ही परिवार के अंदर भी:

मॉडल मॉडल कार्ड पर दिए इनपुट आउटपुट
Gemma 4 26B A4B टेक्स्ट, इमेज, फ़्रेम के रूप में वीडियो; ऑडियो नहीं (Google ऑडियो सिर्फ़ E2B, E4B और 12B साइज़ के लिए बताता है) टेक्स्ट
Qwen3.8 27B टेक्स्ट, इमेज, वीडियो टेक्स्ट

API भी काम को एंडपॉइंट के हिसाब से बाँटते हैं। उदाहरण के लिए, OpenAI की ऑडियो गाइड फ़ाइल ट्रांसक्रिप्शन को speech-to-text एंडपॉइंट पर भेजती है, और जिन चैट ऐप को ऑडियो चाहिए उन्हें एक अलग audio-in-chat फ़ीचर की ओर ले जाती है।

टेक्स्ट और इमेज के लिए ज़्यादा सीमित शब्द vision-language मॉडल है।

यह क्यों मायने रखता है

  • लागत. टेक्स्ट के अलावा दूसरे इनपुट टोकन में बदले जाते हैं या मीडिया की इकाई के हिसाब से बिल होते हैं। BroadNet पर बड़ी इमेज ज़्यादा इनपुट टोकन लेती है, इसलिए उतने डिटेल तक ही resize करें जितना चाहिए।
  • आर्किटेक्चर. अगर कोई अकेला मॉडल आपके सारे इनपुट नहीं लेता, तो मॉडल जोड़ें: पहले speech-to-text, फिर टेक्स्ट या vision मॉडल।
  • क्वालिटी जाँच. छपा हुआ इनवॉइस, चार्ट या हाथ से लिखा नोट पढ़ना अलग-अलग हुनर हैं। हर modality को अपने दस्तावेज़ों पर टेस्ट करें, सिर्फ़ डेमो इमेज पर नहीं।

BroadNet Inference पर

BroadNet के डॉक्स हर मॉडल के लिए ये इनपुट बताते हैं:

मॉडल इनपुट
DeepSeek V4.1 Flash टेक्स्ट और इमेज
GLM 5.3 टेक्स्ट
Qwen3.8 27B टेक्स्ट और vision
BroadNet Gemma 4 VL 26B टेक्स्ट और इमेज
BroadNet Transcribe Arabic / BroadNet Transcribe ऑडियो, /v1/audio/transcriptions पर

इमेज /v1/chat/completions पर मैसेज content सूची में data: URL के रूप में जाती हैं; अरबी इनवॉइस गाइड में पूरा उदाहरण है। ऑडियो एक अलग अनुरोध है: 26,214,400 बाइट तक की WAV या MP3, language सेट करके, जैसा WhatsApp वॉइस नोट गाइड में है। इसलिए वॉइस नोट असिस्टेंट दो कॉल करता है: पहले ट्रांसक्राइब, फिर चैट।

अक्सर पूछे जाने वाले सवाल

क्या vision-language मॉडल मल्टीमोडल होता है?

हाँ। vision-language मॉडल मल्टीमोडल मॉडल का सबसे आम रूप है, जो टेक्स्ट और इमेज लेता है। मल्टीमोडल ज़्यादा व्यापक शब्द है और इसमें ऑडियो और वीडियो भी आते हैं।

क्या मैं BroadNet पर चैट मॉडल को ऑडियो भेज सकता हूँ?

BroadNet के डॉक्स ऑडियो सिर्फ़ ट्रांसक्रिप्शन एंडपॉइंट पर दिखाते हैं। पहले ऑडियो ट्रांसक्राइब करें, फिर टेक्स्ट चैट मॉडल को भेजें।

क्या इमेज टेक्स्ट से महँगी पड़ती है?

BroadNet की उपयोग के अनुसार भुगतान वाली keys पर इमेज मॉडल की इनपुट कीमत पर इनपुट टोकन के रूप में बिल होती है, और बड़ी इमेज ज़्यादा टोकन लेती है। प्लान पर इमेज फ़्लैट कीमत में शामिल हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें