“Multimodal” memberi tahu Anda apa saja yang bisa diterima model. Selalu periksa daftar persisnya, karena dua model yang sama-sama disebut multimodal bisa menerima input yang cukup berbeda.
Cara kerjanya
Setiap jenis input diubah menjadi hal yang sudah dibaca oleh model bahasa: urutan vektor di dalam context window-nya. Teks melewati tokenizer. Gambar melewati vision encoder dan menjadi blok token gambar. Video biasanya ditangani sebagai rangkaian frame, dan audio lewat audio encoder.
Model card menunjukkan betapa spesifiknya hal ini, bahkan dalam satu keluarga model:
| Model | Input yang tercantum di model card | Output |
|---|---|---|
| Gemma 4 26B A4B | teks, gambar, video sebagai frame; tanpa audio (Google mencantumkan audio hanya untuk ukuran E2B, E4B, dan 12B) | teks |
| Qwen3.8 27B | teks, gambar, video | teks |
API juga membagi pekerjaan per endpoint. Panduan audio OpenAI, misalnya, mengirim transkripsi file ke endpoint speech-to-text dan mengarahkan aplikasi chat yang membutuhkan audio ke fitur audio-dalam-chat yang terpisah.
Istilah yang lebih sempit untuk teks plus gambar adalah vision-language model.
Mengapa penting
- Biaya. Input non-teks diubah menjadi token atau ditagih per unit media. Di BroadNet, gambar yang lebih besar memakai lebih banyak token input, jadi ubah ukurannya sesuai detail yang Anda perlukan.
- Arsitektur. Jika tidak ada satu model yang menerima semua input yang Anda punya, rangkai beberapa model: speech-to-text dulu, lalu model teks atau vision.
- Pemeriksaan kualitas. Membaca invoice cetak, grafik, atau catatan tulisan tangan adalah keterampilan yang berbeda. Uji modalitasnya pada dokumen Anda sendiri, bukan hanya pada gambar demo.
Di BroadNet Inference
Dokumentasi BroadNet mencantumkan input berikut per model:
| Model | Input |
|---|---|
| DeepSeek V4.1 Flash | teks dan gambar |
| GLM 5.3 | teks |
| Qwen3.8 27B | teks dan vision |
| BroadNet Gemma 4 VL 26B | teks dan gambar |
| BroadNet Transcribe Arabic / BroadNet Transcribe | audio, di /v1/audio/transcriptions |
Gambar dikirim ke /v1/chat/completions sebagai URL data: di dalam daftar konten pesan; panduan invoice berbahasa Arab punya contoh lengkapnya. Audio adalah request terpisah: WAV atau MP3 hingga 26.214.400 byte, dengan language diisi, seperti di panduan pesan suara WhatsApp. Karena itu, asisten pesan suara melakukan dua panggilan: transkripsi, lalu chat.