BroadRouter
시작하기

BM25

업데이트

BM25(Okapi BM25)는 키워드 검색용 랭킹 함수로, 쿼리 단어가 문서에 얼마나 자주 나오는지, 그 단어가 전체 컬렉션에서 얼마나 드문지, 문서가 얼마나 긴지를 바탕으로 문서 점수를 매깁니다. Lucene과 Elasticsearch의 기본 유사도 함수입니다.

다른 이름: BM25 알고리즘, 키워드 검색, 어휘 검색, 렉시컬 검색, Okapi BM25, lexical search

BM25는 대부분의 검색 시스템에서 키워드 쪽을 담당합니다. 빠르고, 저렴하고, 정확한 용어에 강합니다.

작동 방식

BM25는 확률적 관련성 프레임워크에서 나왔으며, Robertson과 Zaragoza가 “The Probabilistic Relevance Framework: BM25 and Beyond”(2009)에서 정리했습니다. Lucene 클래스 문서에 따르면 Robertson, Walker, Jones 등이 TREC-3에서 처음 소개했습니다.

BM25는 쿼리 단어마다 세 가지 신호를 결합합니다.

  • 단어 빈도(TF): 문서에 많이 나올수록 점수가 오르지만, 증가 폭은 점점 줄어듭니다.
  • 역문서 빈도(IDF): 드문 단어일수록 더 크게 칩니다. Lucene은 이를 log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5))로 구현합니다.
  • 길이 정규화: 짧은 문서에서의 일치가 긴 문서에서의 같은 일치보다 더 크게 칩니다.

파라미터 두 개로 조정합니다. Elasticsearch 문서의 설명은 다음과 같습니다.

파라미터 기본값 조절하는 것
k1 1.2 “non-linear term frequency normalization (saturation)“(번역: 비선형 단어 빈도 정규화(포화))
b 0.75 “to what degree document length normalizes tf values”(번역: 문서 길이가 tf 값을 어느 정도 정규화하는지)

BM25는 Elasticsearch의 기본 유사도 함수입니다.

왜 중요한가

  • 정확 일치. 제품 코드, 이름, 오류 메시지는 임베딩이 가장 약하고 BM25가 강한 영역입니다.
  • 비용. 모델 호출이나 GPU 없이 역색인만 있으면 됩니다.
  • 하이브리드 검색. 대부분의 프로덕션 RAG 시스템은 BM25를 벡터 검색과 함께 씁니다. 하이브리드 검색을 참고하세요.

아랍어 텍스트와 BM25

BM25는 토큰을 정확히 일치시키므로 텍스트를 어떻게 분석하느냐에 달려 있습니다. 아랍어에서는 같은 단어가 다른 알리프 형태로, 발음 구별 기호가 있거나 없이, 또는 테 마르부타(ة)를 헤(ه)로 적은 채 쓰일 수 있고, 관사와 접속사가 단어에 붙습니다. 아랍어 텍스트 정규화와 어간 추출을 하지 않으면 이런 변형은 매칭되지 않습니다.

Elasticsearch의 내장 arabic 분석기는 lowercase, decimal_digit, arabic_stop, arabic_normalization, 키워드 마커, arabic_stemmer 필터를 차례로 적용합니다. 쿼리와 문서를 같은 방식으로 정규화하세요. 검색을 위한 아랍어 텍스트 정규화에서는 어떤 규칙이 도움이 되고 어떤 규칙이 해가 되는지 테스트하며, 아랍어 텍스트 정규화 도구로 내 텍스트에 직접 적용해 볼 수 있습니다.

BroadNet Inference에서는

BM25는 LLM이 아니라 검색 엔진에서 실행됩니다. BroadNet은 임베딩이나 리랭킹 엔드포인트를 제공하지 않으며, 검색한 내용을 읽는 채팅 모델을 서빙합니다. BM25나 하이브리드 검색의 상위 결과를 Chat Completions API로 Qwen3.8 27B 같은 모델에 보내세요. 아랍어 RAG 검색에서 전체 파이프라인을 보여 줍니다.

자주 묻는 질문

임베딩이 있어도 BM25가 쓸모 있나요?

네. BM25는 임베딩이 흐릿하게 처리하기 쉬운 이름, 코드, 오류 문자열 같은 정확한 용어에 강합니다. 많은 RAG 시스템이 둘을 함께 돌리고 하이브리드 검색으로 결과를 합칩니다.

k1과 b는 무엇을 조절하나요?

k1은 반복되는 단어가 얼마나 빨리 점수를 더 이상 올리지 않게 되는지(단어 빈도 포화)를 조절합니다. b는 문서 길이로 얼마나 정규화할지를 조절합니다. Lucene과 Elasticsearch의 기본값은 k1 1.2, b 0.75입니다.

BM25는 아랍어에도 쓸 수 있나요?

네, 텍스트를 먼저 아랍어용으로 분석한다면 가능합니다. 정규화와 어간 추출을 하지 않으면 표기 변형과 앞에 붙는 접두사 때문에 단어가 매칭되지 않습니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기