---
title: "AI에서 멀티모달이란? 텍스트, 이미지, 오디오 입력 | BroadRouter"
description: "멀티모달 모델은 텍스트, 이미지, 영상, 오디오 등 여러 종류의 입력을 받습니다. API에서 입력별 비용과, 모델 하나로 안 될 때 여러 모델을 연결하는 방법을 정리했습니다."
url: https://broadrouter.com/ko/glossary/multimodal/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/multimodal/) (2026-11-16 업데이트).

# 멀티모달 AI(multimodal AI)

업데이트 2026-11-16

멀티모달 AI(multimodal AI)는 텍스트, 이미지, 영상, 오디오처럼 두 가지 이상의 데이터 유형을 다루는 모델이나 시스템입니다. 사진과 질문을 함께 읽거나, 음성을 받아 텍스트로 답할 수 있습니다. 가장 흔한 형태는 비전-언어 모델입니다.

다른 이름: 멀티모달, 멀티모달 모델, 멀티모달 AI 모델, 멀티모달 입력, 다중 모달, 모달리티, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“멀티모달”은 모델이 무엇을 입력으로 받을 수 있는지 알려 줍니다. 그래도 정확한 목록은 항상 확인하세요. 똑같이 멀티모달이라고 불리는 두 모델이 받는 입력은 꽤 다를 수 있습니다.

## 작동 방식

각 입력 유형은 언어 모델이 이미 읽는 형태, 즉 [컨텍스트 윈도우](https://broadrouter.com/ko/glossary/context-window/) 안의 벡터 시퀀스로 변환됩니다. 텍스트는 [토크나이저](https://broadrouter.com/ko/glossary/tokenizer/)를 거칩니다. 이미지는 비전 인코더를 거쳐 이미지 토큰 묶음이 됩니다. 영상은 보통 프레임의 연속으로 처리하고, 오디오는 오디오 인코더를 거칩니다.

모델 카드를 보면 같은 계열 안에서도 얼마나 세세하게 갈리는지 알 수 있습니다.

| 모델 | 모델 카드에 표기된 입력 | 출력 |
| --- | --- | --- |
| Gemma 4 26B A4B | 텍스트, 이미지, 프레임 단위 영상. 오디오 없음(Google은 E2B, E4B, 12B 크기에만 오디오를 표기) | 텍스트 |
| Qwen3.8 27B | 텍스트, 이미지, 영상 | 텍스트 |

API도 엔드포인트별로 작업을 나눕니다. 예를 들어 OpenAI의 오디오 가이드는 파일 전사는 음성 인식(speech-to-text) 엔드포인트로 보내고, 오디오가 필요한 채팅 앱은 별도의 채팅 내 오디오 기능을 안내합니다.

텍스트와 이미지만 다루는 좁은 의미의 용어는 [비전-언어 모델](https://broadrouter.com/ko/glossary/vision-language-model/)입니다.

## 왜 중요한가

-   **비용.** 텍스트가 아닌 입력은 토큰으로 변환되거나 미디어 단위로 과금됩니다. BroadNet에서는 이미지가 클수록 입력 토큰을 더 쓰므로, 필요한 정도의 해상도로 줄이세요.
-   **아키텍처.** 가진 입력을 모두 받는 단일 모델이 없다면 모델을 연결하세요. 먼저 음성 인식을 하고, 그다음 텍스트 모델이나 비전 모델을 씁니다.
-   **품질 확인.** 인쇄된 청구서, 차트, 손글씨 메모를 읽는 것은 서로 다른 능력입니다. 데모 이미지만이 아니라 자신의 문서로 해당 모달리티를 테스트하세요.

## BroadNet Inference에서는

BroadNet 문서에 표기된 모델별 입력은 다음과 같습니다.

| 모델 | 입력 |
| --- | --- |
| DeepSeek V4.1 Flash | 텍스트와 이미지 |
| GLM 5.3 | 텍스트 |
| [Qwen3.8 27B](https://broadrouter.com/ko/models/qwen3.8-27b/) | 텍스트와 비전 |
| [BroadNet Gemma 4 VL 26B](https://broadrouter.com/ko/models/gemma-4-vl-26b/) | 텍스트와 이미지 |
| BroadNet Transcribe Arabic / BroadNet Transcribe | 오디오, `/v1/audio/transcriptions` |

이미지는 메시지 콘텐츠 목록에 `data:` URL로 넣어 `/v1/chat/completions`로 보냅니다. 전체 예시는 [아랍어 청구서 가이드](https://broadrouter.com/ko/guides/read-arabic-invoices-with-vision/)에 있습니다. 오디오는 별도 요청입니다. 최대 26,214,400바이트의 WAV 또는 MP3를 `language`를 지정해 보내며, [WhatsApp 음성 메시지 가이드](https://broadrouter.com/ko/guides/transcribe-whatsapp-voice-notes/)에 예시가 있습니다. 따라서 음성 메시지 어시스턴트는 전사, 채팅의 두 번 호출을 합니다.

## 자주 묻는 질문

### 비전-언어 모델도 멀티모달인가요?

네. 비전-언어 모델은 텍스트와 이미지를 받는, 가장 흔한 종류의 멀티모달 모델입니다. 멀티모달은 더 넓은 용어로 오디오와 영상까지 포함합니다.

### BroadNet에서 채팅 모델에 오디오를 보낼 수 있나요?

BroadNet 문서에는 오디오가 전사 엔드포인트에만 표기되어 있습니다. 먼저 오디오를 전사한 뒤, 그 텍스트를 채팅 모델에 보내세요.

### 이미지는 텍스트보다 비싼가요?

BroadNet 종량제 키에서 이미지는 모델의 입력 단가로 입력 토큰으로 과금되며, 이미지가 클수록 토큰을 더 씁니다. 플랜에서는 이미지도 정액 가격에 포함됩니다.

## 함께 보기

-   [비전-언어 모델(VLM)](https://broadrouter.com/ko/glossary/vision-language-model/) (용어)
-   [광학 문자 인식(OCR)](https://broadrouter.com/ko/glossary/ocr/) (용어)
-   [음성 인식(Speech-to-text, STT)](https://broadrouter.com/ko/glossary/speech-to-text/) (용어)
-   [토큰(token)](https://broadrouter.com/ko/glossary/token/) (용어)
-   [컨텍스트 윈도우(context window)](https://broadrouter.com/ko/glossary/context-window/) (용어)
-   [비전 모델로 아랍어 인보이스와 영수증 읽기](https://broadrouter.com/ko/guides/read-arabic-invoices-with-vision/) (가이드)
-   [API로 WhatsApp 음성 메시지를 텍스트로 전사하기](https://broadrouter.com/ko/guides/transcribe-whatsapp-voice-notes/) (가이드)
-   [비전 LLM으로 송장·영수증·양식 데이터를 JSON으로 추출하기](https://broadrouter.com/ko/blog/extract-data-from-documents-with-vision-llm/) (글)
-   [가장 저렴한 비전 LLM API: 이미지 1장, 문서 1페이지당 비용 계산](https://broadrouter.com/ko/blog/cheapest-vision-llm-api/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-multimodal&utm_content=page-cta) ·

**출처**

-   [Hugging Face 모델 카드, google/gemma-4-26B-A4B-it(모델 크기별 모달리티) (2026-11-16 확인)](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [Hugging Face 모델 카드, Qwen/Qwen3.8-27B(이미지 및 영상 입력) (2026-11-16 확인)](https://huggingface.co/Qwen/Qwen3.8-27B)
-   [OpenAI, 오디오 및 음성 가이드(전사와 채팅 내 오디오) (2026-11-16 확인)](https://developers.openai.com/api/docs/guides/audio)
-   [BroadNet Inference API 레퍼런스, 모델과 모달리티 (2026-11-16 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-multimodal&utm_content=sources)
