BroadRouter
Mulakan

AI multimodal (multimodal AI)

Dikemas kini

AI multimodal ialah model atau sistem yang berfungsi dengan lebih daripada satu jenis data, seperti teks, imej, video dan audio. Model multimodal mungkin membaca foto dan soalan bersama-sama, atau menerima pertuturan dan menjawab dalam teks. Model bahasa-penglihatan (vision-language model) ialah jenis yang paling lazim.

Juga dikenali sebagai: multimodal, model multimodal, multimodal AI, multimodal model, multimodal input, multi-modal, modaliti

“Multimodal” memberitahu anda apa yang boleh diterima oleh sesuatu model. Sentiasa semak senarai tepatnya, kerana dua model yang sama-sama dipanggil multimodal boleh menerima input yang agak berbeza.

Cara ia berfungsi

Setiap jenis input ditukar kepada perkara yang sudah dibaca oleh model bahasa: jujukan vektor dalam tetingkap konteks model itu. Teks melalui tokenizer. Imej melalui pengekod penglihatan (vision encoder) dan menjadi satu blok token imej. Video biasanya dikendalikan sebagai siri bingkai, dan audio melalui pengekod audio.

Kad model menunjukkan betapa spesifiknya perkara ini, malah dalam satu keluarga yang sama:

Model Input yang disenaraikan pada kad modelnya Output
Gemma 4 26B A4B teks, imej, video sebagai bingkai; tiada audio (Google menyenaraikan audio hanya untuk saiz E2B, E4B dan 12B) teks
Qwen3.8 27B teks, imej, video teks

API juga membahagikan kerja mengikut endpoint. Sebagai contoh, panduan audio OpenAI menghantar transkripsi fail ke endpoint speech-to-text dan mengarahkan aplikasi chat yang memerlukan audio kepada ciri audio-dalam-chat yang berasingan.

Istilah yang lebih sempit untuk teks dan imej ialah model bahasa-penglihatan.

Mengapa ia penting

  • Kos. Input bukan teks ditukar kepada token atau dicaj bagi setiap unit media. Di BroadNet, imej yang lebih besar menggunakan lebih banyak token input, jadi ubah saiznya kepada butiran yang anda perlukan.
  • Seni bina. Jika tiada satu model yang menerima semua input anda, rantaikan model: speech-to-text dahulu, kemudian model teks atau penglihatan.
  • Semakan kualiti. Membaca invois bercetak, carta atau nota tulisan tangan ialah kemahiran yang berbeza. Uji modaliti itu pada dokumen anda sendiri, bukan hanya pada imej demo.

Di BroadNet Inference

Dokumentasi BroadNet menyenaraikan input berikut bagi setiap model:

Model Input
DeepSeek V4.1 Flash teks dan imej
GLM 5.3 teks
Qwen3.8 27B teks dan penglihatan
BroadNet Gemma 4 VL 26B teks dan imej
BroadNet Transcribe Arabic / BroadNet Transcribe audio, pada /v1/audio/transcriptions

Imej dihantar ke /v1/chat/completions sebagai URL data: dalam senarai kandungan mesej; panduan invois Arab mempunyai contoh penuh. Audio ialah permintaan berasingan: WAV atau MP3 sehingga 26,214,400 bait, dengan language ditetapkan, seperti dalam panduan nota suara WhatsApp. Oleh itu, pembantu nota suara membuat dua panggilan: transkripsi, kemudian chat.

Soalan lazim

Adakah model bahasa-penglihatan itu multimodal?

Ya. Model bahasa-penglihatan ialah jenis model multimodal yang paling lazim, menerima teks dan imej. Multimodal ialah istilah yang lebih luas dan turut merangkumi audio dan video.

Bolehkah saya menghantar audio kepada model chat di BroadNet?

Dokumentasi BroadNet menyenaraikan audio hanya pada endpoint transkripsi. Transkripsikan audio dahulu, kemudian hantar teksnya kepada model chat.

Adakah imej lebih mahal daripada teks?

Pada kunci bayar ikut guna BroadNet, imej dicaj sebagai token input pada harga input model, dan imej yang lebih besar menggunakan lebih banyak token. Pada pelan, imej termasuk dalam harga tetap.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity