BroadRouter
시작하기

멀티모달 AI(multimodal AI)

업데이트

멀티모달 AI(multimodal AI)는 텍스트, 이미지, 영상, 오디오처럼 두 가지 이상의 데이터 유형을 다루는 모델이나 시스템입니다. 사진과 질문을 함께 읽거나, 음성을 받아 텍스트로 답할 수 있습니다. 가장 흔한 형태는 비전-언어 모델입니다.

다른 이름: 멀티모달, 멀티모달 모델, 멀티모달 AI 모델, 멀티모달 입력, 다중 모달, 모달리티, multimodal model, multimodal AI model, multimodal input, multi-modal, modalities

“멀티모달”은 모델이 무엇을 입력으로 받을 수 있는지 알려 줍니다. 그래도 정확한 목록은 항상 확인하세요. 똑같이 멀티모달이라고 불리는 두 모델이 받는 입력은 꽤 다를 수 있습니다.

작동 방식

각 입력 유형은 언어 모델이 이미 읽는 형태, 즉 컨텍스트 윈도우 안의 벡터 시퀀스로 변환됩니다. 텍스트는 토크나이저를 거칩니다. 이미지는 비전 인코더를 거쳐 이미지 토큰 묶음이 됩니다. 영상은 보통 프레임의 연속으로 처리하고, 오디오는 오디오 인코더를 거칩니다.

모델 카드를 보면 같은 계열 안에서도 얼마나 세세하게 갈리는지 알 수 있습니다.

모델 모델 카드에 표기된 입력 출력
Gemma 4 26B A4B 텍스트, 이미지, 프레임 단위 영상. 오디오 없음(Google은 E2B, E4B, 12B 크기에만 오디오를 표기) 텍스트
Qwen3.8 27B 텍스트, 이미지, 영상 텍스트

API도 엔드포인트별로 작업을 나눕니다. 예를 들어 OpenAI의 오디오 가이드는 파일 전사는 음성 인식(speech-to-text) 엔드포인트로 보내고, 오디오가 필요한 채팅 앱은 별도의 채팅 내 오디오 기능을 안내합니다.

텍스트와 이미지만 다루는 좁은 의미의 용어는 비전-언어 모델입니다.

왜 중요한가

  • 비용. 텍스트가 아닌 입력은 토큰으로 변환되거나 미디어 단위로 과금됩니다. BroadNet에서는 이미지가 클수록 입력 토큰을 더 쓰므로, 필요한 정도의 해상도로 줄이세요.
  • 아키텍처. 가진 입력을 모두 받는 단일 모델이 없다면 모델을 연결하세요. 먼저 음성 인식을 하고, 그다음 텍스트 모델이나 비전 모델을 씁니다.
  • 품질 확인. 인쇄된 청구서, 차트, 손글씨 메모를 읽는 것은 서로 다른 능력입니다. 데모 이미지만이 아니라 자신의 문서로 해당 모달리티를 테스트하세요.

BroadNet Inference에서는

BroadNet 문서에 표기된 모델별 입력은 다음과 같습니다.

모델 입력
DeepSeek V4.1 Flash 텍스트와 이미지
GLM 5.3 텍스트
Qwen3.8 27B 텍스트와 비전
BroadNet Gemma 4 VL 26B 텍스트와 이미지
BroadNet Transcribe Arabic / BroadNet Transcribe 오디오, /v1/audio/transcriptions

이미지는 메시지 콘텐츠 목록에 data: URL로 넣어 /v1/chat/completions로 보냅니다. 전체 예시는 아랍어 청구서 가이드에 있습니다. 오디오는 별도 요청입니다. 최대 26,214,400바이트의 WAV 또는 MP3를 language를 지정해 보내며, WhatsApp 음성 메시지 가이드에 예시가 있습니다. 따라서 음성 메시지 어시스턴트는 전사, 채팅의 두 번 호출을 합니다.

자주 묻는 질문

비전-언어 모델도 멀티모달인가요?

네. 비전-언어 모델은 텍스트와 이미지를 받는, 가장 흔한 종류의 멀티모달 모델입니다. 멀티모달은 더 넓은 용어로 오디오와 영상까지 포함합니다.

BroadNet에서 채팅 모델에 오디오를 보낼 수 있나요?

BroadNet 문서에는 오디오가 전사 엔드포인트에만 표기되어 있습니다. 먼저 오디오를 전사한 뒤, 그 텍스트를 채팅 모델에 보내세요.

이미지는 텍스트보다 비싼가요?

BroadNet 종량제 키에서 이미지는 모델의 입력 단가로 입력 토큰으로 과금되며, 이미지가 클수록 토큰을 더 씁니다. 플랜에서는 이미지도 정액 가격에 포함됩니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기