BroadRouter
시작하기

LLM API 용어집

업데이트

개발자가 LLM이나 음성 인식 API를 호출할 때 만나는 용어를 출처와 함께 짧게 정의합니다. 토큰과 컨텍스트 윈도우가 무엇인지, 캐시 입력과 정액 플랜이 청구액을 어떻게 바꾸는지, 속도 제한과 데이터 무보관이 실제로 무엇을 뜻하는지 설명합니다.

API와 연동

구조화된 출력(Structured output)
구조화된 출력(structured output)은 모델의 응답을 개발자가 지정한 형식, 주로 JSON Schema에 맞추도록 제한해 코드가 안정적으로 파싱할 수 있게 하는 LLM API 기능입니다. 유효한 JSON만 보장하고 특정 구조는 보장하지 않는 JSON 모드보다 더 엄격합니다.
도구 호출(tool calling)
도구 호출(tool calling)은 함수 호출(function calling)이라고도 하며, 모델이 개발자가 정의한 함수를 실행해 달라는 구조화된 요청을 JSON 인자와 함께 반환하는 LLM API 기능입니다. 함수는 애플리케이션이 실행하고 그 결과를 다시 보냅니다. 모델이 직접 코드를 실행하지는 않습니다.
동시 처리(concurrency)
동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.
리랭킹(reranking)
리랭킹(reranking)은 검색의 두 번째 단계로, 더 정확하지만 느린 모델(주로 크로스 인코더)이 1차 검색에서 나온 질의와 후보 문서 쌍마다 점수를 매겨 순서를 다시 정합니다. 그래서 가장 관련성 높은 몇 개만 언어 모델에 전달됩니다.
멀티 에이전트 시스템(multi-agent system)
멀티 에이전트 시스템(multi-agent system)은 각자 프롬프트, 도구, 컨텍스트를 가진 여러 에이전트가 하나의 작업을 나눠 처리하는 LLM 애플리케이션입니다. 흔한 설계는 오케스트레이터-워커 방식으로, 리드 에이전트가 계획을 세우고 워커 에이전트를 병렬로 실행한 뒤 결과를 합칩니다.
멱등성 키(idempotency key)
멱등성 키(idempotency key)는 결제나 구매처럼 상태를 바꾸는 요청에 클라이언트가 붙이는 고유한 값으로, 보통 UUID 같은 무작위 ID입니다. 같은 요청이 같은 키로 다시 오면 서버는 작업을 두 번 수행하지 않고 처음 결과를 돌려줍니다.
모델 지원 중단(model deprecation)
모델 지원 중단(model deprecation)은 API 제공업체가 모델 제공을 멈추겠다고 발표하는 것으로, 보통 종료(retirement 또는 shutdown) 날짜와 권장 대체 모델을 함께 밝힙니다. 그 날짜 이후에는 해당 모델로 보낸 요청이 실패하므로, 애플리케이션은 그 전에 다른 모델 ID로 옮겨야 합니다.
모델 폴백(model fallback)
모델 폴백(model fallback)은 실패한 LLM 요청을 순서가 정해진 목록의 다른 모델이나 제공업체로 다시 보내는 안정성 패턴입니다. 오류, 속도 제한, 컨텍스트 길이 오류, 콘텐츠 정책 거부가 계기가 될 수 있으며, 클라이언트나 API 앞단의 게이트웨이에서 실행됩니다.
배치 API(Batch API)
배치 API는 많은 요청을 보통 파일 형태로 한 번에 받아, 즉시가 아니라 정해진 시간 창 안에 처리한 뒤 결과를 함께 돌려주는 비동기 LLM 엔드포인트입니다. OpenAI와 Anthropic 같은 제공업체는 배치 요청을 표준 API보다 할인된 가격으로 제공합니다.
벡터 데이터베이스(vector database)
벡터 데이터베이스는 임베딩 벡터를 원본 텍스트, 메타데이터와 함께 저장하고 최근접 이웃 쿼리에 답하는 데이터 저장소입니다. 쿼리 벡터가 주어지면 저장된 벡터 중 가장 비슷한 것을 돌려주며, 보통 코사인 거리, 유클리드 거리, 내적으로 유사도를 잽니다.
병렬 도구 호출(parallel tool calls)
병렬 도구 호출(parallel tool calls)은 모델이 한 번의 응답에서 도구 호출을 둘 이상 반환하는 것입니다. 예를 들어 파일 세 개를 한꺼번에 읽습니다. OpenAI 형식에서는 tool_calls의 여러 항목으로 오며, parallel_tool_calls를 false로 설정하면 턴당 호출이 0개나 1개로 제한됩니다.
서버 전송 이벤트(SSE, Server-Sent Events)
서버 전송 이벤트(SSE, Server-Sent Events)는 서버가 text/event-stream 콘텐츠 타입의 오래 유지되는 HTTP 응답 하나로 클라이언트에 텍스트 이벤트 스트림을 보내는 웹 표준입니다. 각 이벤트는 data: 같은 필드 줄 하나 이상으로 이루어지며 빈 줄로 끝납니다.
서버리스 추론(serverless inference)
서버리스 추론은 플랫폼이 엔드포인트 뒤의 컴퓨팅을 자동으로 시작하고 확장하고 중지하는 머신러닝 모델 실행 방식입니다. 유휴 시에는 0까지 줄이는 경우가 많고, 예약한 머신이 아니라 사용량으로 청구합니다. 그 대가로 콜드 스타트 지연이 생길 수 있습니다.
서브에이전트(subagent)
서브에이전트(subagent)는 메인 에이전트가 집중된 작업 하나를 처리하려고 시작하는 별도의 에이전트입니다. 자체 컨텍스트 윈도우, 시스템 프롬프트, 도구 접근 권한으로 작업을 수행하고, 결과나 요약만 메인 에이전트에 돌려주므로 메인 대화가 작게 유지됩니다.
속도 제한(rate limit)
속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.
스트리밍(streaming)
스트리밍은 언어 모델의 응답을 마지막에 한 번에 돌려주는 대신, 아직 생성 중일 때 작은 청크로 나눠 돌려주는 방식입니다. OpenAI 호환 API는 요청에서 stream을 true로 설정하면 서버 전송 이벤트(SSE)로 스트리밍합니다.
시스템 프롬프트(system prompt)
시스템 프롬프트는 애플리케이션이 대화보다 앞서 언어 모델에 보내는 지시문으로, 보통 system 또는 developer 역할의 메시지로 전달됩니다. 모델의 역할, 규칙, 어조, 출력 형식을 정하며, 모델은 이와 충돌하는 사용자 메시지보다 시스템 프롬프트를 따르도록 되어 있습니다.
요청 타임아웃(request timeout)
요청 타임아웃(request timeout)은 HTTP 클라이언트가 요청을 포기하기 전까지 서버를 기다리는 최대 시간입니다. 클라이언트는 보통 연결을 여는 연결 타임아웃과 데이터를 기다리는 읽기 타임아웃으로 나눕니다. 긴 답변은 시간이 걸리므로 LLM 호출에는 넉넉한 읽기 타임아웃이 필요합니다.
유니코드 정규화(Unicode normalization)
유니코드 정규화는 텍스트를 표준 형식으로 바꿔, 똑같아 보이는 문자열이 같은 코드 포인트를 쓰게 하는 작업입니다. 형식은 NFD, NFC, NFKD, NFKC 네 가지이며, K 형식은 아랍어 표시형(presentation form)이나 합자 같은 호환 문자도 일반 글자로 바꿉니다.
중지 시퀀스(stop sequences)
중지 시퀀스(stop sequences)는 요청과 함께 보내는 문자열로, 모델이 그중 하나를 생성하는 즉시 생성을 멈추게 합니다. OpenAI는 이 필드를 stop이라 부르며 최대 4개까지 받고, Anthropic은 stop_sequences라고 부릅니다. 일치한 텍스트는 보통 반환되는 출력에서 빠집니다.
지수 백오프(exponential backoff)
지수 백오프(exponential backoff)는 클라이언트가 시도에 실패할 때마다 더 오래 기다렸다가 다시 시도하는 재시도 전략으로, 보통 상한까지 지연 시간을 두 배씩 늘립니다. 각 대기 시간에 무작위 지터를 더하면 여러 클라이언트의 재시도가 분산되어 같은 순간에 서버로 몰리지 않습니다.
지연 시간(latency)
언어 모델 API에서 지연 시간(latency)은 요청을 보낸 시점부터 마지막 출력 토큰을 받을 때까지 걸리는 시간입니다. 첫 토큰까지의 시간(TTFT)과 생성 시간을 더한 값이며, 보통 평균이 아니라 p50, p95 같은 백분위수로 보고합니다.
처리량(throughput)
LLM 서빙에서 처리량(throughput)은 시스템이 모든 동시 요청에 걸쳐 단위 시간당 끝내는 전체 작업량으로, 보통 초당 출력 토큰 수나 초당 요청 수로 측정합니다. 요청 하나가 토큰을 받는 속도인 스트림당 속도와는 다른 개념입니다.
첫 토큰까지의 시간(TTFT)
첫 토큰까지의 시간(TTFT)은 언어 모델에 요청을 보낸 시점부터 첫 출력 토큰이 도착할 때까지의 시간입니다. 네트워크 시간, 서버의 대기열 시간, 그리고 모델이 프롬프트 전체를 읽는 단계인 프리필(prefill)이 포함되므로, 프롬프트가 길고 부하가 클수록 늘어납니다.
청킹(chunking, RAG)
청킹(chunking)은 검색 파이프라인에서 문서를 임베딩하고 인덱싱하기 전에 청크라고 부르는 작은 조각으로 나누는 단계입니다. 청크 크기는 조각 하나에 담기는 텍스트 양을 정하고, 청크 오버랩은 이웃한 청크 사이에 일부 텍스트를 반복해 경계에서 잘린 내용이 사라지지 않게 합니다.
추론 제공업체(Inference provider)
추론 제공업체(inference provider)는 머신러닝 모델, 주로 오픈 웨이트 LLM을 자체 소유, 장기 임차 또는 단기 임대한 GPU에서 실행하고, API로 이용 권한을 판매하는 회사입니다. 요금은 보통 토큰, 요청, 시간 단위로 매기며, 서빙과 확장, 하드웨어 관리를 맡습니다.
하이브리드 검색(hybrid search)
하이브리드 검색(hybrid search)은 같은 쿼리로 BM25 같은 키워드 검색과 임베딩 기반 벡터 검색을 함께 실행한 뒤, 두 순위 목록을 하나로 합치는 검색 방식입니다. 합칠 때는 주로 역순위 융합(RRF)이나 정규화한 점수의 가중합을 씁니다.
AI 에이전트(AI agent)
AI 에이전트는 언어 모델이 목표를 향해 스스로 단계를 정하는 시스템입니다. 어떤 도구를 호출할지 결정하고, 결과를 읽고, 최종 답변을 내거나 한도에 닿을 때까지 이를 반복합니다. 정해진 지점에서 모델을 호출하는 고정된 스크립트는 보통 워크플로라고 부릅니다.
AI 코딩 에이전트(AI coding agent)
AI 코딩 에이전트는 언어 모델이 코드베이스를 대상으로 루프를 돌며 일하는 소프트웨어 도구입니다. 파일을 읽고, 수정하고, 테스트 같은 명령을 실행하고, 출력을 읽은 뒤 다음 단계를 정하는 과정을 작업이 끝나거나 한도에 이를 때까지 반복합니다.
base URL(베이스 URL)
base URL은 https://api.example.com/v1처럼 API의 고정된 루트 주소로, 클라이언트가 /chat/completions 같은 모든 엔드포인트 경로 앞에 붙입니다. OpenAI 호환 SDK에서는 base URL을 API 키, 모델 ID와 함께 바꾸면 같은 코드로 다른 제공업체를 호출할 수 있습니다.
BM25
BM25(Okapi BM25)는 키워드 검색용 랭킹 함수로, 쿼리 단어가 문서에 얼마나 자주 나오는지, 그 단어가 전체 컬렉션에서 얼마나 드문지, 문서가 얼마나 긴지를 바탕으로 문서 점수를 매깁니다. Lucene과 Elasticsearch의 기본 유사도 함수입니다.
Chat Completions API
Chat Completions API는 OpenAI의 HTTP 엔드포인트인 POST /v1/chat/completions로, 모델 이름과 역할이 붙은 메시지 목록을 받아 모델의 다음 메시지를 반환합니다. 이 요청과 응답 구조는 OpenAI 호환 제공업체와 SDK가 재사용하는 공통 형식이 되었습니다.
finish_reason(종료 이유)
finish_reason은 chat completion 응답의 각 choice에 붙는 필드로, 모델이 생성을 멈춘 이유를 알려 줍니다. OpenAI 형식의 값은 stop, length, tool_calls, content_filter, 그리고 deprecated된 function_call입니다. Anthropic Messages API는 같은 개념을 stop_reason으로 보고합니다.
JSON 모드(JSON mode)
JSON 모드는 OpenAI 방식 API의 response_format {"type": "json_object"} 같은 LLM API 설정으로, 모델의 응답을 파싱 가능한 유효한 JSON으로 만듭니다. JSON Schema를 쓰는 구조화된 출력과 달리, 객체에 어떤 키와 타입, 값이 들어갈지는 보장하지 않습니다.
JSON Schema(JSON 스키마)
JSON Schema는 JSON으로 작성하는 어휘로, 타입, 필수 필드, 허용 값, 중첩 같은 JSON 데이터의 구조를 기술하고 검증합니다. 현재 버전은 2020-12입니다. LLM API는 이를 사용해 도구 파라미터와 구조화된 출력이 따라야 할 정확한 형태를 정의합니다.
LLM 라우터(LLM router)
LLM 라우터(LLM router)는 애플리케이션과 하나 이상의 언어 모델 API 사이에 위치해, 요청마다 어떤 모델이나 제공업체가 처리할지 정하는 소프트웨어나 서비스입니다. 판단 기준으로는 비용, 지연 시간, 가용성, 작업 유형 같은 규칙을 씁니다.
MCP(Model Context Protocol)
MCP(Model Context Protocol)는 JSON-RPC 2.0 위에 만들어진 개방형 프로토콜로, LLM 애플리케이션이 외부 도구와 데이터에 연결하는 방식을 표준화합니다. MCP 서버는 도구, 리소스, 프롬프트를 제공하고, 호스트 애플리케이션 안의 MCP 클라이언트가 이를 찾아 모델의 도구 호출을 서버에 전달합니다.
OpenAI 호환 API(OpenAI-compatible API)
OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.
RAG(검색 증강 생성)
RAG(검색 증강 생성, retrieval-augmented generation)는 애플리케이션이 먼저 검색 인덱스나 벡터 인덱스 같은 외부 저장소에서 질문과 관련된 구절을 찾고, 이를 프롬프트에 추가해 언어 모델이 기억에만 의존하지 않고 그 텍스트를 바탕으로 답하게 하는 패턴입니다.
ReAct(추론과 행동, reason and act)
ReAct(추론과 행동)는 Yao 외가 2022년에 소개한 프롬프팅 패턴으로, 언어 모델이 추론 과정과 검색이나 도구 호출 같은 행동을 번갈아 수행합니다. 모델은 각 관찰 결과를 읽고 계획을 고친 뒤, 최종 답변을 낼 수 있을 때까지 이를 반복합니다.
RTL 텍스트(오른쪽에서 왼쪽 쓰기, right-to-left text)
RTL(right-to-left) 텍스트는 아랍어나 히브리어처럼 오른쪽에서 왼쪽으로 표시되는 문자입니다. 컴퓨터는 이를 읽는 순서인 논리 순서로 저장하며, RTL 텍스트가 왼쪽에서 오른쪽으로 쓰는 텍스트, 숫자, 모델 이름, 코드와 섞이면 유니코드 양방향 알고리즘이 표시 순서를 정합니다.
seed 파라미터(시드 값)
seed 파라미터는 요청과 함께 보내는 정수로, 같은 요청을 반복할 때 API가 같은 토큰을 샘플링하도록 시도하게 합니다. OpenAI는 이를 최선 노력(best effort)으로 설명합니다. 결정성은 보장되지 않으며, system_fingerprint 필드로 백엔드 구성이 바뀐 시점을 알 수 있습니다.
SLA(서비스 수준 협약, service level agreement)
SLA(서비스 수준 협약)는 제공업체가 측정 가능한 서비스 수준, 보통 월간 가동률을 계약으로 약속하고, 이를 지키지 못했을 때의 구제 수단, 보통 서비스 크레딧을 정해 둔 것입니다. SLA는 무엇을 다운타임으로 보는지, 무엇이 제외되는지, 어떻게 청구하는지를 정의합니다.
tool_choice(도구 선택 파라미터)
tool_choice는 도구 사용을 제어하는 요청 파라미터입니다. OpenAI Chat Completions에서는 auto(모델이 결정), required(도구를 하나 이상 반드시 호출), none(도구 사용 안 함), 또는 강제할 함수 이름을 지정할 수 있습니다. Anthropic의 대응 옵션은 auto, any, tool, none입니다.

모델과 토큰

개체명 인식(NER, named entity recognition)
개체명 인식(NER)은 텍스트에서 이름을 찾아 사람, 조직, 장소 같은 유형을 붙이는 작업입니다. 전통적인 시스템은 모든 토큰에 태그를 붙이고, LLM에는 보통 개체 목록을 JSON으로 반환하게 한 뒤 원문과 대조해 확인합니다.
광학 문자 인식(OCR)
광학 문자 인식(OCR)은 이미지, 스캔본, PDF 속 인쇄되거나 손으로 쓴 글자를 찾아 기계가 읽을 수 있는 문자로 변환하는 기술입니다. 전통적인 OCR은 텍스트와 페이지 내 위치를 출력하고, 비전-언어 모델은 텍스트를 읽고 그에 관한 질문에 바로 답할 수 있습니다.
그라운딩(grounding)
그라운딩(grounding)은 언어 모델의 출력을 제공한 문서, 검색 결과, 데이터베이스 레코드처럼 구체적이고 검증 가능한 정보 출처에 연결하고, 그 출처를 근거로 답하도록 지시하는 방법입니다. 그라운딩된 답은 출처까지 추적할 수 있고 지어낸 사실이 들어갈 가능성이 낮습니다.
멀티모달 AI(multimodal AI)
멀티모달 AI(multimodal AI)는 텍스트, 이미지, 영상, 오디오처럼 두 가지 이상의 데이터 유형을 다루는 모델이나 시스템입니다. 사진과 질문을 함께 읽거나, 음성을 받아 텍스트로 답할 수 있습니다. 가장 흔한 형태는 비전-언어 모델입니다.
모델 라이선스(model license)
모델 라이선스(model license)는 모델의 가중치, 코드, 출력을 사용하고 수정하고 공유할 수 있는 법적 조건입니다. 오픈 웨이트 모델은 Apache 2.0이나 MIT 같은 표준 소프트웨어 라이선스, 또는 대규모 상업 서비스 제한 같은 조건을 추가할 수 있는 자체 모델 라이선스를 씁니다.
바이트 페어 인코딩(BPE)
바이트 페어 인코딩(BPE)은 개별 문자나 바이트에서 시작해, 가장 자주 나란히 나오는 쌍을 새 어휘 항목으로 반복해서 병합하다가 목표 어휘 크기에 이르면 멈추는 서브워드 토큰화 알고리즘입니다. 현재 대부분의 LLM 토크나이저는 BPE나 그 바이트 수준 변형을 씁니다.
비전-언어 모델(VLM)
비전-언어 모델(VLM)은 이미지와 텍스트를 함께 입력받아 텍스트를 출력하는 모델입니다. 그래서 그림을 설명하고, 그림에 관한 질문에 답하고, 문서, 차트, 스크린샷을 읽을 수 있습니다. VLM은 image-text-to-text 모델 또는 멀티모달 모델이라고도 합니다.
빈도 페널티와 존재 페널티(frequency/presence penalty)
빈도 페널티(frequency penalty)와 존재 페널티(presence penalty)는 출력에 이미 나온 토큰의 점수를 낮추는 샘플링 설정입니다. 존재 페널티는 토큰이 한 번이라도 나오면 한 번 적용되고, 빈도 페널티는 반복될 때마다 커집니다. OpenAI API에서 둘 다 범위는 -2.0~2.0이고 기본값은 0입니다.
생각의 사슬(CoT, chain-of-thought)
생각의 사슬(chain-of-thought, CoT)은 언어 모델이 최종 답 전에 중간 추론 단계를 쓰도록 예시를 보여 주거나 요청하는 프롬프팅 기법입니다. 산술과 논리처럼 여러 단계가 필요한 문제에서 정확도를 높이며, 지금은 추론 모델이 이를 자동으로 생성합니다.
아라비지(Arabizi)
아라비지(Arabizi)는 아랍어를 라틴 문자로 비공식적으로 적는 방식으로, ع를 3으로 쓰는 것처럼 라틴 문자에 없는 아랍어 소리를 숫자로 나타냅니다. 채팅과 소셜 미디어에서 흔하고, 대부분 방언이며, 표준 철자가 없고, 영어나 프랑스어와 섞이는 경우가 많습니다.
아랍어 발음 구별 기호(타슈킬, tashkeel)
아랍어 발음 구별 기호, 즉 타슈킬(tashkeel)은 글자 위아래에 붙여 짧은 모음, 겹자음, 모음 없음을 나타내는 작은 기호입니다. 필수가 아니어서 뉴스를 포함한 대부분의 아랍어 텍스트는 이를 생략하며, 독자와 소프트웨어는 문맥으로 모음을 추론합니다.
아랍어 방언 식별(Arabic dialect identification)
아랍어 방언 식별은 텍스트나 녹음이 이집트, 걸프, 레반트, 마그레브 방언이나 현대 표준 아랍어 중 어떤 변종인지를 지역, 국가, 도시 단위로 판별하는 작업입니다. 메시지 라우팅, 프롬프트 선택, 평가 세트 분할에 쓰입니다.
아랍어 방언(dialectal Arabic)
아랍어 방언(dialectal Arabic)은 이집트, 걸프, 레반트, 마그레브 아랍어처럼 지역이나 도시에서 일상적으로 쓰는 구어 아랍어입니다. 방언은 소리, 어휘, 문법에서 현대 표준 아랍어와 다르고, 표준 철자가 없으며, 온라인에서 점점 더 많이 글로 쓰이기 때문에 언어 모델이 다루기 더 어렵습니다.
아랍어 텍스트 정규화(Arabic text normalization)
아랍어 텍스트 정규화는 같은 단어의 여러 표기를 매칭 전에 하나의 형태로 바꾸는 단계입니다. 발음 구별 기호와 타트윌을 지우고, 알리프 형태를 통일하며, ى를 ي로, ة를 ه로 바꾸는 경우가 많습니다. 화면에 보여 줄 텍스트가 아니라 검색 키와 평가에 적용합니다.
양자화(quantization)
양자화(quantization)는 신경망의 숫자, 주로 가중치를 16비트 대신 8비트나 4비트 같은 낮은 정밀도 형식으로 저장해, 모델이 메모리를 덜 쓰고 대개 더 빠르게 실행되도록 하는 과정입니다. 좋은 방법은 정확도 손실을 작게 유지합니다.
어휘 크기(vocabulary size)
어휘 크기(vocabulary size)는 언어 모델 토크나이저에 들어 있는 서로 다른 토큰의 수로, 토큰마다 고유한 ID와 임베딩이 있습니다. 어휘가 크면 흔한 텍스트를 더 적은 토큰으로 인코딩할 수 있지만, 임베딩 층과 출력 층이 커지고, 어휘 학습에 쓰인 종류의 텍스트에서만 효과가 있습니다.
오픈 웨이트 모델(open-weight model)
오픈 웨이트 모델은 학습된 가중치를 공개해 누구나 내려받아 실행할 수 있게 한 머신러닝 모델로, 보통 조건이 붙은 라이선스로 배포됩니다. 학습 코드와 학습 데이터에 대한 상세한 정보까지 공개해 다른 사람이 모델을 연구하고 재현할 수 있게 하는 완전한 오픈 소스 AI와는 다릅니다.
이미지 토큰(image tokens)
이미지 토큰(image tokens)은 비전 언어 모델이 프롬프트 속 이미지를 표현하는 데 쓰는 입력 토큰입니다. 제공업체는 보통 이미지를 리사이즈한 뒤 고정 크기 패치나 타일로 나눠 토큰 수를 계산하고, 텍스트 입력 토큰처럼 청구하므로 큰 이미지일수록 비용이 늘어납니다.
임베딩(embedding)
임베딩은 모델이 텍스트, 이미지 등의 입력을 표현하기 위해 만드는 부동소수점 숫자 목록(벡터)입니다. 의미가 비슷한 입력은 서로 가까운 벡터를 얻으므로, 벡터 사이의 거리로 검색 결과의 순위를 매기거나 문서를 군집화하거나 관련 항목을 찾을 수 있습니다.
전문가 혼합(MoE, mixture of experts)
전문가 혼합(MoE, mixture of experts)은 한 레이어에 여러 전문가 서브네트워크를 두고, 학습된 라우터가 각 토큰을 그중 몇 개에만 보내는 신경망 설계입니다. MoE 언어 모델은 전체 파라미터 수는 크지만 토큰마다 작은 활성 부분집합만 사용합니다.
지식 증류(knowledge distillation)
증류(distillation), 또는 지식 증류는 더 작은 학생 모델이 더 큰 교사 모델의 출력, 예컨대 확률 분포나 생성한 답을 재현하도록 학습하는 방법입니다. 그 결과 학생 모델은 더 낮은 실행 비용으로 교사 모델의 품질을 상당 부분 유지합니다.
채팅 템플릿(chat template)
채팅 템플릿은 역할이 붙은 채팅 메시지 목록을 모델이 기대하는 단일 토큰 시퀀스로 바꾸는 서식 규칙으로, 모델 고유의 특수 제어 토큰까지 포함합니다. 보통 Jinja로 작성되어 모델의 토크나이저와 함께 배포됩니다. 잘못된 템플릿을 쓰면 모델의 답변 품질이 크게 떨어질 수 있습니다.
초당 토큰 수(TPS, tokens per second)
초당 토큰 수(TPS)는 언어 모델이 출력 토큰을 생성하는 속도로, 보통 요청 하나에 대해 첫 토큰이 도착한 뒤부터 잽니다. 응답이 시작된 뒤 얼마나 빨리 스트리밍되는지를 결정합니다. 모든 동시 요청을 합하면 시스템 처리량이 되며, 첫 토큰 전의 대기 시간은 따로 측정합니다.
추론 토큰(reasoning tokens)
추론 토큰(reasoning tokens)은 추론 모델이 눈에 보이는 답변을 쓰기 전에 문제를 풀기 위해 생성하는 토큰입니다. 보통 출력 토큰으로 과금되고, 출력 한도와 컨텍스트 윈도우에 포함되며, API에 따라 숨겨지거나 요약되어 제공됩니다.
추측 디코딩(speculative decoding)
추측 디코딩(speculative decoding)은 작고 빠른 초안(draft) 모델이 다음 토큰 여러 개를 제안하고, 큰 대상(target) 모델이 이를 순전파 한 번으로 검증해 받아들인 토큰을 유지하는 추론 기법입니다. 출력 분포를 바꾸지 않고 생성 속도를 높입니다.
컨텍스트 로트(context rot)
컨텍스트 로트(context rot)는 작업이 그대로이고 입력이 컨텍스트 윈도우 안에 충분히 들어가더라도, 입력이 길어질수록 언어 모델의 정확도와 신뢰성이 점점 떨어지는 현상입니다. 18개 모델을 시험한 2025년 Chroma 기술 보고서로 널리 알려진 용어입니다.
컨텍스트 압축(context compaction)
컨텍스트 압축(context compaction)은 컨텍스트 윈도우 한도에 가까워진 대화를 요약하고 그 요약에서 세션을 이어 가는 방식입니다. 에이전트는 핵심 결정과 상태는 유지하고, 오래된 도구 출력 같은 원시 기록은 버립니다.
컨텍스트 엔지니어링(context engineering)
컨텍스트 엔지니어링(context engineering)은 언어 모델이 요청마다 보는 토큰 집합, 즉 시스템 프롬프트, 도구 정의, 대화 기록, 검색한 문서, 메모를 고르고 관리하는 작업입니다. 목표는 모델이 작업을 잘 해내는 데 필요한, 신호가 강한 정보의 가장 작은 집합을 건네는 것입니다.
컨텍스트 윈도우(context window)
컨텍스트 윈도우는 언어 모델이 요청 한 번에 다룰 수 있는 최대 토큰 수입니다. 프롬프트, 대화 기록, 도구 정의, 이미지, 그리고 추론 토큰을 포함한 생성 출력이 모두 여기에 들어갑니다. 들어가지 않는 내용은 잘라 내거나 요약하거나 여러 요청으로 나눠야 합니다.
타 마르부타(taa marbuta, ة)
타 마르부타(ة, U+0629)는 단어 끝에만 나타나는 아랍어 글자로, 여성 명사와 형용사를 표시하는 경우가 많습니다. 점 두 개가 붙은 헤(ه, U+0647)처럼 생겨서 입력된 텍스트에서 둘이 섞이며, 많은 검색 정규화 도구가 ة를 ه로 바꿉니다.
토크나이저(tokenizer)
토크나이저(tokenizer)는 텍스트를 언어 모델이 읽는 정수 토큰 ID 시퀀스로 변환하고, 생성된 ID를 다시 텍스트로 바꾸는 구성 요소입니다. 모델마다 자체 토크나이저가 있으므로, 같은 텍스트도 모델에 따라 토큰 수가 달라질 수 있습니다.
토큰(token)
토큰은 언어 모델이 읽고 쓰는 텍스트 단위로, 모델의 토크나이저가 만들어 내는 단어, 단어의 일부, 문장 부호 또는 바이트 시퀀스입니다. LLM API는 사용량을 토큰 단위로 집계하고 제한하며, 대개 토큰 단위로 과금합니다.
파인튜닝(fine-tuning)
파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 언어 모델을 예시 대화 같은 작고 작업에 특화된 데이터셋으로 계속 학습시키는 과정입니다. 가중치가 바뀌므로, 모델은 프롬프트마다 긴 지시문이나 예시를 넣지 않아도 해당 작업이나 스타일을 더 안정적으로 수행합니다.
퓨샷 프롬프팅(few-shot prompting)
퓨샷 프롬프팅(few-shot prompting)은 실제 입력 앞에 입력-출력 예시를 몇 개 넣어, 언어 모델이 예시에서 작업과 형식을 추론하게 하는 기법입니다. 모델의 가중치는 바뀌지 않습니다. 예시가 없으면 제로샷, 하나면 원샷이라고 합니다.
프롬프트 엔지니어링(prompt engineering)
프롬프트 엔지니어링은 언어 모델이 요구 사항에 맞는 출력을 일관되게 내도록, 모델에 주는 지시문을 작성하고 구조화하고 테스트하는 과정입니다. 역할 메시지, 명확한 지시, 예시, 형식 지정, 그리고 테스트 케이스로 결과를 측정하는 일까지 포함합니다.
프리필과 디코드(prefill and decode)
프리필과 디코드(prefill and decode)는 LLM 추론의 두 단계입니다. 프리필에서 모델은 프롬프트 전체를 병렬로 처리해 KV 캐시를 채우고, 디코드에서는 그 캐시를 재사용하며 답변을 토큰 하나씩 생성합니다. 프리필은 주로 첫 토큰까지의 시간을, 디코드는 출력 속도를 결정합니다.
할루시네이션(환각, hallucination)
할루시네이션(환각)은 언어 모델의 출력이 그럴듯하게 들리지만 사실이 아니거나, 지어냈거나, 주어진 입력으로 뒷받침되지 않는 경우를 말합니다. 지어낸 인용, 틀린 숫자, 존재하지 않는 API 등이 그 예입니다. 모델이 사실을 확인하지 않고 그럴듯한 텍스트를 예측하기 때문에 생깁니다.
함자(hamza)
함자(hamza, ء)는 성문 파열음을 나타내는 아랍어 글자입니다. 단독으로 쓰거나 받침 글자 위에 씁니다. 받침은 알리프(أ إ), 와우(ؤ), 야(ئ)이며, آ는 알리프와 마다를 합친 것입니다. 입력된 텍스트에서 함자 표기가 일관되지 않아 검색 엔진과 음성 채점은 알리프 형태들을 ا 하나로 합치는 경우가 많습니다.
현대 표준 아랍어(MSA, Modern Standard Arabic)
현대 표준 아랍어(MSA)는 아랍 세계 전역에서 글, 뉴스, 교육, 격식 있는 연설에 쓰는 표준화된 아랍어입니다. 누구도 일상 모국어로 쓰지 않습니다. 사람들은 이집트 아랍어나 걸프 아랍어 같은 지역 방언으로 말하고, 격식 있는 자리에서 MSA로 바꿉니다.
AWQ(활성화 인식 가중치 양자화)
AWQ(activation-aware weight quantization, 활성화 인식 가중치 양자화)는 LLM의 가중치를 주로 4비트 정수 같은 낮은 정밀도로 압축하는 학습 후 양자화 방법입니다. 작은 보정(calibration) 세트의 활성값 통계로 가장 중요한 가중치 채널을 찾아 스케일을 조정해 정확도 손실을 줄이며, 역전파가 필요 없습니다.
FP8(8비트 부동소수점)
FP8은 딥러닝에 쓰이는 8비트 부동소수점 숫자 형식으로, 지수 4비트와 가수 3비트인 E4M3, 지수 5비트와 가수 2비트인 E5M2 두 가지 인코딩이 있습니다. 16비트 형식보다 메모리를 절반으로 줄이며, 최신 GPU에서 네이티브로 실행됩니다.
GGUF(llama.cpp 모델 파일 형식)
GGUF는 llama.cpp 같은 GGML 기반 런타임에서 추론하기 위해 언어 모델을 저장하는 바이너리 파일 형식입니다. GGUF 파일 하나에 (대개 양자화된) 가중치와 토크나이저, 아키텍처 정보 등 모델을 불러오는 데 필요한 메타데이터가 들어 있으며, 메모리 매핑으로 빠르게 불러올 수 있습니다.
INT4(4비트 정수 양자화)
INT4는 16단계를 표현할 수 있는 4비트 정수 형식입니다. LLM 추론에서는 보통 4비트 가중치 전용 양자화(W4A16)를 뜻합니다. 가중치를 스케일 계수와 함께 INT4로 저장했다가 계산할 때 16비트로 풀어 쓰며, 16비트 가중치의 약 4분의 1 메모리만 씁니다.
KV 캐시(KV cache)
KV 캐시(KV cache)는 트랜스포머 언어 모델이 이미 처리한 모든 토큰에 대해 계산한 어텐션 키와 값을 저장하는 메모리입니다. 새 토큰은 전체 시퀀스를 다시 계산하지 않고 이를 재사용합니다. 컨텍스트 길이에 따라 커지며, GPU 하나가 처리할 수 있는 요청 수를 제한하는 경우가 많습니다.
LLM 벤치마크(LLM benchmark)
LLM 벤치마크(LLM benchmark)는 채점 방법이 정해진, 대개 공개된 고정 작업 세트로, 지식 문제, 코딩, 음성 인식처럼 한 가지 능력에서 언어 모델을 측정하고 비교하는 데 씁니다. 벤치마크 점수는 그 테스트에서의 상대적 능력을 보여 줄 뿐, 내 워크로드에서의 성능을 보여 주지는 않습니다.
LLM 평가(eval)
eval(evaluation의 줄임말, 평가)은 언어 모델이나 프롬프트를 반복해서 시험하는 테스트입니다. 고정된 입력 세트, 좋은 출력의 기준, 그리고 각 출력에 점수를 매기는 채점기(코드, 사람 또는 다른 모델)로 이루어져 버전끼리 비교할 수 있게 해 줍니다.
LLM-as-a-judge(LLM 평가자)
LLM-as-a-judge는 언어 모델이 다른 모델의 출력을 채점하는 평가 방법으로, 답변 하나를 루브릭에 따라 점수 매기거나 두 답변 중 더 나은 쪽을 고릅니다. 훨씬 적은 비용으로 사람의 판단에 근접하지만, 첫 번째 답이나 더 긴 답을 선호하는 등 알려진 편향이 있습니다.
Logprobs(로그 확률)
Logprobs(로그 확률)는 언어 모델이 생성한 토큰에 부여한 로그 확률입니다. 이를 반환하는 API는 출력 토큰마다 모델이 그 토큰을 얼마나 가능성 있다고 판단했는지, 그리고 원하면 그 위치에서 가능성이 높았던 다른 후보 토큰도 보여 줍니다.
LoRA(저랭크 적응, low-rank adaptation)
LoRA(low-rank adaptation, 저랭크 적응)는 사전 학습된 모델의 가중치를 고정하고, 선택한 레이어에 작은 저랭크 행렬 한 쌍만 학습시키는 파라미터 효율적 파인튜닝 방법입니다. 학습된 변화량은 작은 어댑터로 저장하거나 가중치에 병합할 수 있어 추론 지연 시간이 늘지 않습니다.
Lost in the middle(중간 정보 손실)
Lost in the middle은 언어 모델이 긴 입력에서 관련 정보가 처음이나 끝 근처에 있을 때 가장 잘 활용하고, 중간에 있을 때 가장 못 활용하는 경향을 말합니다. Liu 외의 2023년 연구에서 이름이 붙었습니다.
max_tokens(최대 출력 토큰)
max_tokens는 모델이 응답 하나에서 생성할 수 있는 최대 토큰 수를 정하는 LLM API 파라미터입니다. 생성이 이 한도에 닿으면 멈추고, 응답에는 잘렸다는 표시가 붙습니다. 예를 들어 finish_reason이 "length"로 설정됩니다.
Temperature(온도)
Temperature(온도)는 언어 모델 출력의 무작위성을 조절하는 샘플링 파라미터입니다. 모델은 토큰 점수를 확률로 바꾸기 전에 temperature로 나눕니다. 값이 낮으면 가장 가능성 높은 토큰이 압도적으로 선택되고, 값이 높으면 분포가 평평해져 가능성이 낮은 토큰도 더 자주 선택됩니다.
Top-p(뉴클리어스 샘플링)
Top-p(뉴클리어스 샘플링, nucleus sampling)는 언어 모델이 가능성이 가장 높은 토큰부터 모아 확률 합이 0.9 같은 임곗값 p에 도달하는 가장 작은 집합에서만 다음 토큰을 샘플링하고, 가능성이 낮은 나머지 꼬리는 버리는 디코딩 방식입니다.
vLLM
vLLM은 UC 버클리 Sky Computing Lab에서 처음 개발된 LLM 추론·서빙용 오픈소스 라이브러리입니다. PagedAttention으로 KV 캐시 메모리를 관리하고, 들어오는 요청을 연속적으로 배칭하며, 다양한 양자화 형식을 지원하고, OpenAI 호환 HTTP 서버를 제공합니다.

가격과 결제

선불 크레딧(prepaid credit)
선불 크레딧(prepaid credit)은 사용 전에 API 계정에 넣어 두는 금액입니다. 요청마다 비용이 잔액에서 차감되며, 잔액이 바닥나면 충전할 때까지 종량제 요청이 중단됩니다. 지출은 넣어 둔 금액을 넘지 않습니다.
입력 토큰과 출력 토큰(input and output tokens)
입력 토큰은 언어 모델이 요청에서 읽는 토큰으로, 시스템 프롬프트, 대화 기록, 도구 정의, 이미지가 포함됩니다. 출력 토큰은 모델이 응답으로 생성하는 토큰으로, 추론도 포함됩니다. LLM API는 보통 둘에 따로 가격을 매기며, 대개 출력이 더 비쌉니다.
종량제(Pay-as-you-go)
종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.
지출 한도(spend limit)
지출 한도(spend limit)는 API 계정, 프로젝트 또는 키가 일정 기간, 보통 한 달 동안 쓸 수 있는 금액의 상한입니다. 사용량이 한도에 도달하면 제공업체는 기간이 초기화되거나 한도가 올라갈 때까지 이후 요청을 거부하며, 흔히 HTTP 429 또는 400 오류를 반환합니다.
캐시된 입력 토큰(cached input tokens)
캐시된 입력 토큰은 LLM 제공업체가 최근에 처리해 두었다가 다시 계산하지 않고 캐시에서 재사용할 수 있는 프롬프트 토큰입니다. 보통 시스템 프롬프트나 문서처럼 반복되는 접두부(prefix)이며, 제공업체는 이를 새 입력 토큰보다 낮은 단가로 과금합니다.
GPU 시간(GPU-hour)
GPU 시간(GPU-hour)은 그래픽 프로세서 하나를 1시간 사용한 양입니다. 클라우드 제공업체는 임대한 GPU 인스턴스를 시간 또는 초 단위로 청구하고, 연구자는 작업에 든 연산량을 GPU 시간으로 나타냅니다. 기계가 일을 하든 안 하든 그 시간만큼 비용을 냅니다.
LLM 정액 플랜(Flat-rate LLM plan)
LLM 정액 플랜은 언어 모델 API를 토큰당 과금하지 않고, 한 달 같은 기간 단위로 고정 요금을 받는 요금제입니다. 이런 플랜은 보통 동시 실행 수, 속도, 모델, 사용 시간대 같은 다른 항목을 제한하므로 가격만큼 제한 조건도 중요합니다.

개인정보 보호와 보안

가드레일(guardrails)
가드레일(guardrails)은 언어 모델 호출이 정해진 한계 안에 머물도록 애플리케이션이 호출 앞뒤에서 실행하는 검사입니다. 입력 가드레일은 모델에 들어가는 내용을, 출력 가드레일은 나오는 내용을 검사하고, 도구 가드레일은 실행 전에 동작을 검증합니다. 검사에 실패하면 요청을 차단하거나 고치거나 표시합니다.
데이터 레지던시(data residency)
데이터 레지던시(data residency)는 데이터를 특정 국가나 지역 안에서 저장하고 처리해야 한다는 요건 또는 약속입니다. LLM API에서는 추론 중 프롬프트가 처리되는 위치와 저장된 콘텐츠가 있는 위치를 다루며, 계정과 결제 데이터는 제외되는 경우가 많습니다.
데이터 비보관(Zero data retention, ZDR)
데이터 비보관(ZDR)은 AI 제공업체가 프롬프트와 출력을 요청 처리에만 사용하고, 처리 후에는 그 내용을 로그, 캐시, 학습 데이터 어디에도 저장하지 않는 데이터 처리 정책입니다. 토큰 수나 처리 시간처럼 내용이 없는 기록은 보통 계속 보관됩니다.
프롬프트 인젝션(prompt injection)
프롬프트 인젝션(prompt injection)은 사용자가 입력하거나 웹 페이지, 이메일, 파일, 도구 결과에 숨겨진 텍스트가 언어 모델의 동작을 개발자의 의도와 다르게 바꾸는 공격입니다. OWASP는 LLM 애플리케이션 Top 10에서 이를 1위(LLM01:2025)로 꼽습니다.
하위 처리자(subprocessor)
하위 처리자(subprocessor)는 처리자가 컨트롤러를 대신해 개인정보 처리를 수행하도록 맡기는 제3자입니다. LLM API에서는 GPU 호스트, 파트너 추론 제공업체, 백업 용량이 하위 처리자가 될 수 있습니다. GDPR 제28조에 따라 컨트롤러의 승인이 필요하며 같은 데이터 보호 의무를 집니다.
API 키(API key)
API 키는 API를 호출하는 클라이언트를 식별하고 승인하는 비밀 문자열입니다. LLM API는 보통 이 키를 Authorization: Bearer 헤더로 받으며, 키를 가진 사람은 누구나 키 소유 계정으로 과금되는 요청을 보낼 수 있습니다.
DPA(데이터 처리 계약)
DPA(데이터 처리 계약)는 처리자가 개인정보를 어떻게 다룰지 정하는 컨트롤러와 처리자 사이의 계약입니다. GDPR 제28조 제3항이 이를 요구하며 내용도 정합니다. 문서화된 지시, 비밀 유지, 보안, 하위 처리자 규칙, 데이터 삭제 또는 반환, 감사가 들어갑니다.
GDPR(EU 일반 개인정보 보호법)
GDPR(일반 개인정보 보호법, 규정(EU) 2016/679)은 개인정보 처리에 관한 EU 법입니다. 2018년 5월 25일부터 적용되며, EU에 설립된 조직과 일부 EU 밖 조직에 적용됩니다. LLM API에서는 처리자 계약, 국외 이전, 데이터 최소화를 규율합니다.
IP 허용 목록(IP allow list)
IP 허용 목록(IP allow list)은 목록에 있는 IP 주소나 CIDR 범위에서 온 요청만 받고 나머지는 모두 거부하는 보안 통제입니다. API에서는 키가 유출되어도 목록에 없는 네트워크에서는 작동하지 않으므로 피해를 줄여 줍니다.
LLM 탈옥(jailbreak)
탈옥(jailbreak)은 언어 모델이 안전 학습이나 모델을 배포한 애플리케이션의 규칙을 무시하게 만들어, 평소라면 거부할 콘텐츠를 생성하거나 행동을 하도록 꾸민 입력입니다. OWASP는 탈옥을 프롬프트 인젝션의 한 형태로 봅니다.
PDPL(사우디·UAE 개인정보 보호법)
PDPL(Personal Data Protection Law)은 칙령 M/19로 공포되고 SDAIA가 집행하는 사우디아라비아 개인정보 보호법과, UAE의 2021년 연방 법령 제45호를 함께 부르는 통칭입니다. 두 법 모두 개인정보 처리를 규율하고, 해외 LLM API로 보내는 프롬프트를 포함한 국외 이전에 조건을 둡니다.
PII(개인 식별 정보)
PII(개인 식별 정보)는 이름, 신분 번호, 생체 기록처럼 개인의 신원을 구별하거나 추적하는 데 쓸 수 있는 정보와, 그 사람과 연결되거나 연결될 수 있는 기타 정보입니다. GDPR은 더 넓은 용어인 개인 데이터를 씁니다. LLM 작업에서 PII 마스킹은 프롬프트가 내 시스템을 떠나기 전에 이를 제거합니다.

음성

단어 오류율(WER)
단어 오류율(WER)은 음성 인식의 표준 정확도 지표입니다. 전사 결과를 올바른 정답 텍스트로 바꾸는 데 필요한 단어 치환, 삭제, 삽입 횟수를 정답 텍스트의 단어 수로 나눈 값이며, 낮을수록 좋습니다.
문자 오류율(CER)
문자 오류율(CER)은 전사나 OCR의 정확도를 문자 단위로 측정하는 지표로, 출력을 정답 텍스트로 바꾸는 데 필요한 치환, 삭제, 삽입 횟수를 정답 텍스트의 문자 수로 나눈 값입니다. 낮을수록 좋고, 0이면 완전히 일치합니다.
샘플링 레이트(sample rate)
샘플링 레이트(sample rate)는 1초 동안 기록하는 오디오 샘플 수로, 헤르츠(Hz) 단위로 나타냅니다. 음성 인식 모델은 보통 16,000Hz(16kHz) 모노 오디오를 기대합니다. 샘플링 레이트는 비트 깊이, 채널 수와 함께 비압축 오디오 파일의 분당 크기를 결정합니다.
음성 인식(Speech-to-text, STT)
음성 인식(STT)은 자동 음성 인식(ASR)이라고도 하며, 말소리 오디오를 글로 변환하는 기술입니다. 음성 인식 API는 오디오 파일이나 스트림을 받아 전사 텍스트를 반환하며, 보통 오디오 분당 요금이 붙습니다. 정확도는 단어 오류율로 측정하며 억양, 방언, 녹음 품질에 따라 달라집니다.
음성 합성(TTS, text-to-speech)
TTS(text-to-speech), 즉 음성 합성은 글로 쓴 텍스트를 음성 오디오로 변환합니다. TTS API는 텍스트, 목소리, MP3나 WAV 같은 출력 형식을 받아 생성된 음성을 반환합니다. 오디오를 텍스트로 바꾸는 음성 인식(STT)의 반대 방향입니다.
음성 활동 감지(VAD)
음성 활동 감지(VAD)는 오디오를 짧은 프레임으로 나눠 각 프레임이 음성인지 아닌지 분류하는 신호 처리 단계입니다. 음성 시스템은 이를 이용해 무음을 건너뛰고, 긴 녹음을 쉬는 지점에서 나누고, 화자가 말을 마쳤는지 감지하고, 배경 소음을 전사하지 않도록 합니다.
코드 스위칭(code-switching)
코드 스위칭(code-switching)은 말이나 글에서 같은 대화나 문장 안에 둘 이상의 언어, 또는 한 언어의 여러 변종을 섞어 쓰는 것입니다. 아랍어 사용자가 방언에 영어 단어를 섞거나, 현대 표준 아랍어와 자기 방언을 오가는 것이 그 예입니다.
타임스탬프(음성 인식, ASR timestamps)
음성 인식의 타임스탬프는 전사본의 각 부분에 붙는 초 단위 시작·종료 시간입니다. 세그먼트 타임스탬프는 구절이나 문장 단위이고, 단어 타임스탬프는 단어마다 붙습니다. 자막, 녹음 내 검색, 텍스트와 화자 정렬에 필요합니다.
화자 분리(speaker diarization)
화자 분리(speaker diarization)는 오디오 녹음을 화자별 구간으로 나눠 "누가 언제 말했는가"에 답하는 작업입니다. 각 발화 구간에 SPEAKER_00 같은 익명 화자 ID를 붙이며, 보통 전사본과 결합해 각 줄을 누가 말했는지 보여 줍니다.
Ogg Opus(오그 오퍼스)
Ogg Opus는 Opus 코덱(RFC 6716)으로 인코딩해 Ogg 컨테이너(RFC 7845)에 저장한 오디오입니다. 낮은 비트레이트의 음성과 실시간 대화형 오디오용으로 설계되었으며, WhatsApp이 음성 메시지에 쓰는 형식으로 보통 .ogg 또는 .opus 파일입니다.
SRT 자막(SRT subtitles)
SRT(SubRip)는 일반 텍스트 자막 형식입니다. 각 자막은 순번, hh:mm:ss,mmm --> hh:mm:ss,mmm 형태로 쓴 시작·종료 시간, 한 줄 이상의 텍스트, 빈 줄로 이루어집니다. WebVTT는 HTML 비디오에서 쓰는 비슷한 웹 형식입니다.
WAV
WAV(Waveform Audio File Format, WAVE)는 Microsoft와 IBM의 RIFF 형식을 바탕으로 한 오디오 컨테이너입니다. 보통 비압축 선형 PCM 샘플을 담기 때문에 크기를 예측하기 쉽습니다. 초당 크기는 샘플링 레이트 × 샘플당 바이트 수 × 채널 수입니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기