BroadRouter
Bắt đầu

AI đa phương thức (multimodal AI)

Cập nhật

AI đa phương thức là model hoặc hệ thống làm việc với nhiều loại dữ liệu, như văn bản, hình ảnh, video và audio. Một model đa phương thức có thể đọc ảnh cùng câu hỏi, hoặc nhận giọng nói và trả lời bằng văn bản. Vision-language model là loại phổ biến nhất.

Còn gọi là: multimodal, đa phương thức, model đa phương thức, multimodal AI, đầu vào đa phương thức, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“Đa phương thức” cho bạn biết model nhận được những gì. Luôn kiểm tra danh sách chính xác, vì hai model cùng được gọi là đa phương thức có thể nhận đầu vào khá khác nhau.

Cách hoạt động

Mỗi loại đầu vào được chuyển thành cùng một thứ mà language model vốn đã đọc: một chuỗi vector trong context window của nó. Văn bản đi qua tokenizer. Hình ảnh đi qua bộ mã hóa thị giác (vision encoder) và trở thành một khối token hình ảnh. Video thường được xử lý như một chuỗi khung hình, còn audio đi qua bộ mã hóa audio.

Model card cho thấy mức độ cụ thể này, ngay cả trong cùng một họ model:

Model Đầu vào ghi trên model card Đầu ra
Gemma 4 26B A4B văn bản, hình ảnh, video dạng khung hình; không có audio (Google chỉ ghi audio cho các kích thước E2B, E4B và 12B) văn bản
Qwen3.8 27B văn bản, hình ảnh, video văn bản

Các API cũng chia việc theo endpoint. Ví dụ, hướng dẫn audio của OpenAI gửi việc chép lời tệp tới endpoint speech-to-text, và hướng các ứng dụng chat cần audio sang một tính năng audio-trong-chat riêng.

Thuật ngữ hẹp hơn cho văn bản cộng hình ảnh là vision-language model.

Vì sao quan trọng

  • Chi phí. Đầu vào không phải văn bản được chuyển thành token hoặc tính phí theo đơn vị media. Trên BroadNet, ảnh lớn hơn dùng nhiều token đầu vào hơn, nên hãy thu nhỏ ảnh về mức chi tiết bạn cần.
  • Kiến trúc. Nếu không có model nào nhận được mọi đầu vào bạn có, hãy nối các model: speech-to-text trước, rồi tới model văn bản hoặc model vision.
  • Kiểm tra chất lượng. Đọc hóa đơn in, biểu đồ hay ghi chú viết tay là những kỹ năng khác nhau. Hãy kiểm thử phương thức đó trên tài liệu của chính bạn, không chỉ trên ảnh demo.

Trên BroadNet Inference

Tài liệu BroadNet liệt kê đầu vào theo từng model:

Model Đầu vào
DeepSeek V4.1 Flash văn bản và hình ảnh
GLM 5.3 văn bản
Qwen3.8 27B văn bản và vision
BroadNet Gemma 4 VL 26B văn bản và hình ảnh
BroadNet Transcribe Arabic / BroadNet Transcribe audio, trên /v1/audio/transcriptions

Hình ảnh được gửi tới /v1/chat/completions dưới dạng URL data: trong danh sách nội dung của message; hướng dẫn đọc hóa đơn tiếng Ả Rập có ví dụ đầy đủ. Audio là một request riêng: WAV hoặc MP3 tối đa 26.214.400 byte, có đặt language, như trong hướng dẫn chép lời tin nhắn thoại WhatsApp. Vì vậy một trợ lý xử lý tin nhắn thoại sẽ gọi hai lần: chép lời, rồi chat.

Câu hỏi thường gặp

Vision-language model có phải là đa phương thức không?

Có. Vision-language model là loại model đa phương thức phổ biến nhất, nhận văn bản và hình ảnh. Đa phương thức là thuật ngữ rộng hơn, bao gồm cả audio và video.

Tôi có gửi audio cho model chat trên BroadNet được không?

Tài liệu BroadNet chỉ liệt kê audio ở endpoint chép lời. Hãy chép lời audio trước, rồi gửi văn bản cho model chat.

Hình ảnh có đắt hơn văn bản không?

Với key trả theo mức dùng của BroadNet, hình ảnh được tính là token đầu vào theo giá đầu vào của model, và ảnh lớn hơn dùng nhiều token hơn. Với gói, hình ảnh nằm trong giá cố định.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity