BroadRouter
Mulai

AI multimodal (multimodal AI)

Diperbarui

AI multimodal adalah model atau sistem yang bekerja dengan lebih dari satu jenis data, seperti teks, gambar, video, dan audio. Model multimodal bisa membaca foto dan pertanyaan sekaligus, atau menerima ucapan lalu menjawab dalam teks. Jenis yang paling umum adalah vision-language model.

Disebut juga: AI multimodal, model multimodal, model AI multimodal, input multimodal, multimodal AI, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“Multimodal” memberi tahu Anda apa saja yang bisa diterima model. Selalu periksa daftar persisnya, karena dua model yang sama-sama disebut multimodal bisa menerima input yang cukup berbeda.

Cara kerjanya

Setiap jenis input diubah menjadi hal yang sudah dibaca oleh model bahasa: urutan vektor di dalam context window-nya. Teks melewati tokenizer. Gambar melewati vision encoder dan menjadi blok token gambar. Video biasanya ditangani sebagai rangkaian frame, dan audio lewat audio encoder.

Model card menunjukkan betapa spesifiknya hal ini, bahkan dalam satu keluarga model:

Model Input yang tercantum di model card Output
Gemma 4 26B A4B teks, gambar, video sebagai frame; tanpa audio (Google mencantumkan audio hanya untuk ukuran E2B, E4B, dan 12B) teks
Qwen3.8 27B teks, gambar, video teks

API juga membagi pekerjaan per endpoint. Panduan audio OpenAI, misalnya, mengirim transkripsi file ke endpoint speech-to-text dan mengarahkan aplikasi chat yang membutuhkan audio ke fitur audio-dalam-chat yang terpisah.

Istilah yang lebih sempit untuk teks plus gambar adalah vision-language model.

Mengapa penting

  • Biaya. Input non-teks diubah menjadi token atau ditagih per unit media. Di BroadNet, gambar yang lebih besar memakai lebih banyak token input, jadi ubah ukurannya sesuai detail yang Anda perlukan.
  • Arsitektur. Jika tidak ada satu model yang menerima semua input yang Anda punya, rangkai beberapa model: speech-to-text dulu, lalu model teks atau vision.
  • Pemeriksaan kualitas. Membaca invoice cetak, grafik, atau catatan tulisan tangan adalah keterampilan yang berbeda. Uji modalitasnya pada dokumen Anda sendiri, bukan hanya pada gambar demo.

Di BroadNet Inference

Dokumentasi BroadNet mencantumkan input berikut per model:

Model Input
DeepSeek V4.1 Flash teks dan gambar
GLM 5.3 teks
Qwen3.8 27B teks dan vision
BroadNet Gemma 4 VL 26B teks dan gambar
BroadNet Transcribe Arabic / BroadNet Transcribe audio, di /v1/audio/transcriptions

Gambar dikirim ke /v1/chat/completions sebagai URL data: di dalam daftar konten pesan; panduan invoice berbahasa Arab punya contoh lengkapnya. Audio adalah request terpisah: WAV atau MP3 hingga 26.214.400 byte, dengan language diisi, seperti di panduan pesan suara WhatsApp. Karena itu, asisten pesan suara melakukan dua panggilan: transkripsi, lalu chat.

Pertanyaan umum

Apakah vision-language model termasuk multimodal?

Ya. Vision-language model adalah jenis model multimodal yang paling umum, menerima teks dan gambar. Multimodal adalah istilah yang lebih luas dan juga mencakup audio dan video.

Bisakah saya mengirim audio ke model chat di BroadNet?

Dokumentasi BroadNet mencantumkan audio hanya di endpoint transkripsi. Transkripsikan audionya dulu, lalu kirim teksnya ke model chat.

Apakah gambar lebih mahal daripada teks?

Pada kunci bayar sesuai pemakaian BroadNet, gambar ditagih sebagai token input dengan harga input model, dan gambar yang lebih besar memakai lebih banyak token. Pada paket, gambar sudah termasuk dalam harga tetap.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity