---
title: "LLM API 스트리밍이란? 서버 전송 이벤트(SSE) 정리 | BroadRouter"
description: "스트리밍은 LLM 응답을 생성되는 동안 청크 단위로 돌려줍니다. 서버 전송 이벤트와 [DONE]의 작동 방식, 사용량 받는 법, 스트림이 끊겼을 때의 대처를 정리했습니다."
url: https://broadrouter.com/ko/glossary/streaming/
lang: ko
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/glossary/streaming/) (2026-11-14 업데이트).

# 스트리밍(streaming)

업데이트 2026-11-14

스트리밍은 언어 모델의 응답을 마지막에 한 번에 돌려주는 대신, 아직 생성 중일 때 작은 청크로 나눠 돌려주는 방식입니다. OpenAI 호환 API는 요청에서 stream을 true로 설정하면 서버 전송 이벤트(SSE)로 스트리밍합니다.

다른 이름: 스트리밍 응답, 응답 스트리밍, 토큰 스트리밍, 스트림 응답, streaming responses, stream=true, token streaming

스트리밍이 없으면 클라이언트는 답변 전체가 끝날 때까지 기다립니다. 스트리밍을 쓰면 모델이 쓰는 대로 텍스트가 나타납니다.

## 작동 방식

스트리밍은 [서버 전송 이벤트(SSE)](https://broadrouter.com/ko/glossary/sse/)를 씁니다. 서버는 콘텐츠 유형 `text/event-stream`으로 응답하고 연결을 열어 둡니다. MDN은 형식을 이렇게 설명합니다. `field: value` 형태의 줄로 이루어지며, 메시지는 “separated by a pair of newline characters.”(번역: 줄바꿈 문자 두 개로 구분된다)입니다.

Chat Completions 형식에서는 이벤트마다 작은 `delta`가 든 청크가 담깁니다.

```text
data: {"choices":[{"index":0,"delta":{"content":"Hel"}}]}

data: {"choices":[{"index":0,"delta":{"content":"lo"}}]}

data: {"choices":[],"usage":{"prompt_tokens":12,"completion_tokens":2}}

data: [DONE]
```

클라이언트는 델타를 이어 붙입니다. 문자 그대로의 `data: [DONE]` 줄이 끝을 표시합니다. 사용량 청크는 요청에서 `stream_options: {"include_usage": true}`로 요청한 경우에만 나타납니다.

## 왜 중요한가

-   **체감 속도.** 사용자는 응답 전체가 아니라 [첫 토큰까지의 시간](https://broadrouter.com/ko/glossary/time-to-first-token/)이 지나면 첫 단어를 봅니다. 그 뒤로는 모델의 [초당 토큰 수](https://broadrouter.com/ko/glossary/tokens-per-second/) 속도로 텍스트가 흘러나옵니다.
-   **긴 출력.** 스트리밍은 연결을 계속 활성 상태로 유지하므로, 유휴 요청을 끊는 프록시가 있을 때 도움이 됩니다.
-   **빠른 대응.** 에이전트와 UI가 끝나기 전에 파싱이나 렌더링을 시작할 수 있습니다.

비용도 있습니다. OpenAI는 스트리밍이 콘텐츠 검수를 어렵게 한다고 지적하는데, “partial completions may be more difficult to evaluate.”(번역: 부분적인 완성 결과는 평가하기가 더 어려울 수 있다)이기 때문입니다. 스트림은 중간에 끊길 수도 있고, 스트리밍 중인 응답은 끝날 때까지 [동시 실행](https://broadrouter.com/ko/glossary/concurrency/) 슬롯 하나를 차지합니다.

## BroadNet Inference에서는

BroadNet은 `https://inference.broadnet.ai/v1/chat/completions` 주소에서 표준 chat completions 스트리밍 형식을 쓰므로 [Python](https://broadrouter.com/ko/guides/openai-python-sdk/) SDK와 [Node](https://broadrouter.com/ko/guides/openai-node-sdk/) SDK가 알아서 파싱합니다. curl을 쓴다면 `-N`을 추가해 버퍼링을 끄세요.

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to three."}]}'
```

추론 모델은 마지막 사용량 청크에 `reasoning_tokens`와 `cached_tokens`를 보고할 수 있습니다. `[DONE]` 전에 연결이 닫히면 답변을 불완전한 것으로 처리하고, `X-Request-ID` 헤더를 기록하고, 새 요청을 보내도 안전한지 판단하세요. BroadNet 문서는 프로덕션에서 의존하기 전에 실제로 배포할 모델에서 스트리밍을 검증하라고 안내합니다. 자세한 내용은 [스트리밍 가이드](https://broadrouter.com/ko/guides/streaming-chat-completions/)와 [오류와 재시도](https://broadrouter.com/ko/guides/errors-and-retries/)에 있습니다.

## 흔한 실수

-   닫힌 연결을 완료된 답변으로 처리하는 것. 완료를 뜻하는 것은 `[DONE]`뿐입니다.
-   클라이언트 앞에 버퍼링하는 프록시를 두는 것. 그러면 응답이 한꺼번에 도착합니다.

## 자주 묻는 질문

### 스트리밍을 쓰면 모델이 빨라지나요?

아닙니다. 생성 속도는 같습니다. 스트리밍은 첫 단어를 더 일찍 보여 줘서 응답이 빠르게 느껴지게 하고, 코드가 부분 출력을 바로 처리할 수 있게 해 줍니다.

### 스트림에서 토큰 사용량을 받으려면 어떻게 하나요?

Chat Completions 형식에서는 include\_usage를 true로 설정한 stream\_options를 보내세요. 그러면 마지막 청크에 usage와 빈 choices 목록이 담겨 옵니다.

### 재시도한 스트림은 두 번 과금되나요?

토큰당 과금 키라면 대개 그렇습니다. 재시도는 새 추론이므로 다시 과금됩니다. 토큰 미터가 없는 정액제 플랜에서는 시간만 듭니다.

## 함께 보기

-   [초당 토큰 수(TPS, tokens per second)](https://broadrouter.com/ko/glossary/tokens-per-second/) (용어)
-   [동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/) (용어)
-   [OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/) (용어)
-   [입력 토큰과 출력 토큰(input and output tokens)](https://broadrouter.com/ko/glossary/input-and-output-tokens/) (용어)
-   [서버 전송 이벤트(SSE, Server-Sent Events)](https://broadrouter.com/ko/glossary/sse/) (용어)
-   [첫 토큰까지의 시간(TTFT)](https://broadrouter.com/ko/glossary/time-to-first-token/) (용어)
-   [채팅 완성 스트리밍과 끊긴 연결 처리하기](https://broadrouter.com/ko/guides/streaming-chat-completions/) (가이드)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/) (가이드)
-   [BroadNet Inference에서 OpenAI Node.js SDK 사용하기](https://broadrouter.com/ko/guides/openai-node-sdk/) (가이드)
-   [BroadNet Inference 오류 코드와 재시도해야 하는 경우](https://broadrouter.com/ko/guides/errors-and-retries/) (가이드)
-   [OpenAI 호환 API로 전환하기: 마이그레이션 체크리스트](https://broadrouter.com/ko/blog/openai-compatible-api-migration-checklist/) (글)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-streaming&utm_content=page-cta) ·

**출처**

-   [MDN, 서버 전송 이벤트 사용하기](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [OpenAI, API 응답 스트리밍](https://developers.openai.com/api/docs/guides/streaming-responses)
-   [BroadNet Inference API 레퍼런스, 스트리밍 (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-glossary-streaming&utm_content=sources#requests)
