“Multimodal” memberitahu anda apa yang boleh diterima oleh sesuatu model. Sentiasa semak senarai tepatnya, kerana dua model yang sama-sama dipanggil multimodal boleh menerima input yang agak berbeza.
Cara ia berfungsi
Setiap jenis input ditukar kepada perkara yang sudah dibaca oleh model bahasa: jujukan vektor dalam tetingkap konteks model itu. Teks melalui tokenizer. Imej melalui pengekod penglihatan (vision encoder) dan menjadi satu blok token imej. Video biasanya dikendalikan sebagai siri bingkai, dan audio melalui pengekod audio.
Kad model menunjukkan betapa spesifiknya perkara ini, malah dalam satu keluarga yang sama:
| Model | Input yang disenaraikan pada kad modelnya | Output |
|---|---|---|
| Gemma 4 26B A4B | teks, imej, video sebagai bingkai; tiada audio (Google menyenaraikan audio hanya untuk saiz E2B, E4B dan 12B) | teks |
| Qwen3.8 27B | teks, imej, video | teks |
API juga membahagikan kerja mengikut endpoint. Sebagai contoh, panduan audio OpenAI menghantar transkripsi fail ke endpoint speech-to-text dan mengarahkan aplikasi chat yang memerlukan audio kepada ciri audio-dalam-chat yang berasingan.
Istilah yang lebih sempit untuk teks dan imej ialah model bahasa-penglihatan.
Mengapa ia penting
- Kos. Input bukan teks ditukar kepada token atau dicaj bagi setiap unit media. Di BroadNet, imej yang lebih besar menggunakan lebih banyak token input, jadi ubah saiznya kepada butiran yang anda perlukan.
- Seni bina. Jika tiada satu model yang menerima semua input anda, rantaikan model: speech-to-text dahulu, kemudian model teks atau penglihatan.
- Semakan kualiti. Membaca invois bercetak, carta atau nota tulisan tangan ialah kemahiran yang berbeza. Uji modaliti itu pada dokumen anda sendiri, bukan hanya pada imej demo.
Di BroadNet Inference
Dokumentasi BroadNet menyenaraikan input berikut bagi setiap model:
| Model | Input |
|---|---|
| DeepSeek V4.1 Flash | teks dan imej |
| GLM 5.3 | teks |
| Qwen3.8 27B | teks dan penglihatan |
| BroadNet Gemma 4 VL 26B | teks dan imej |
| BroadNet Transcribe Arabic / BroadNet Transcribe | audio, pada /v1/audio/transcriptions |
Imej dihantar ke /v1/chat/completions sebagai URL data: dalam senarai kandungan mesej; panduan invois Arab mempunyai contoh penuh. Audio ialah permintaan berasingan: WAV atau MP3 sehingga 26,214,400 bait, dengan language ditetapkan, seperti dalam panduan nota suara WhatsApp. Oleh itu, pembantu nota suara membuat dua panggilan: transkripsi, kemudian chat.