BroadRouter
Mulakan

BM25

Dikemas kini

BM25 (Okapi BM25) ialah fungsi kedudukan untuk carian kata kunci yang memberi skor kepada dokumen berdasarkan kekerapan istilah pertanyaan muncul di dalamnya, sejauh mana istilah itu jarang dalam keseluruhan koleksi, dan panjang dokumen. Ia ialah similarity lalai dalam Lucene dan Elasticsearch.

Juga dikenali sebagai: Okapi BM25, lexical search, carian leksikal, carian kata kunci, BM25 ranking

BM25 ialah separuh bahagian kata kunci dalam kebanyakan sistem carian: pantas, murah dan bagus untuk istilah tepat.

Cara ia berfungsi

BM25 berasal daripada rangka kerja relevans probabilistik, yang diringkaskan oleh Robertson dan Zaragoza dalam “The Probabilistic Relevance Framework: BM25 and Beyond” (2009). Nota kelas Lucene menyatakan ia diperkenalkan oleh Robertson, Walker, Jones dan lain-lain di TREC-3.

Bagi setiap istilah pertanyaan, BM25 menggabungkan tiga isyarat:

  • Kekerapan istilah (term frequency): lebih banyak kemunculan dalam dokumen menaikkan skor, tetapi dengan pulangan yang semakin berkurang.
  • Inverse document frequency (IDF): istilah yang jarang lebih bernilai. Lucene melaksanakannya sebagai log(1 + (docCount - docFreq + 0.5)/(docFreq + 0.5)).
  • Penormalan panjang: padanan dalam dokumen pendek lebih bernilai daripada padanan sama dalam dokumen panjang.

Dua parameter melaraskannya. Dokumentasi Elasticsearch:

Parameter Lalai Apa yang dikawal
k1 1.2 “non-linear term frequency normalization (saturation)” (Terjemahan BroadRouter: “penormalan kekerapan istilah tak linear (ketepuan)”)
b 0.75 “to what degree document length normalizes tf values” (Terjemahan BroadRouter: “sejauh mana panjang dokumen menormalkan nilai tf”)

BM25 ialah similarity lalai dalam Elasticsearch.

Mengapa ia penting

  • Padanan tepat. Kod produk, nama dan mesej ralat ialah tempat embedding paling lemah dan BM25 paling kuat.
  • Kos. Ia tidak memerlukan panggilan model atau GPU, hanya indeks songsang (inverted index).
  • Carian hibrid. Kebanyakan sistem RAG produksi menggandingkannya dengan carian vektor; lihat carian hibrid.

Teks Arab dan BM25

BM25 memadankan token secara tepat, jadi ia bergantung pada cara teks dianalisis. Dalam bahasa Arab, perkataan yang sama boleh ditulis dengan bentuk alif berbeza, dengan atau tanpa baris, atau dengan teh marbuta (ة) ditulis sebagai heh (ه), dan kata sandang serta kata hubung bercantum dengan perkataan. Tanpa penormalan teks Arab dan stemming, varian tersebut tidak sepadan.

Analyzer arabic terbina dalam Elasticsearch merangkaikan penapis ini: lowercase, decimal_digit, arabic_stop, arabic_normalization, penanda kata kunci, dan arabic_stemmer. Normalkan pertanyaan dan dokumen dengan cara yang sama. Penormalan teks Arab untuk carian menguji peraturan mana yang membantu dan mana yang merugikan, dan alat Arabic text normalizer membolehkan anda mencubanya pada teks anda sendiri.

Di BroadNet Inference

BM25 berjalan dalam enjin carian anda, bukan dalam LLM. BroadNet tidak menawarkan endpoint embedding atau rerank; ia menyajikan model chat yang membaca apa yang anda dapatkan semula. Hantar hasil BM25 atau hibrid teratas anda kepada model seperti Qwen3.8 27B melalui Chat Completions API. Carian RAG Arab menunjukkan pipeline penuh.

Soalan lazim

Adakah BM25 masih berguna jika saya sudah ada embedding?

Ya. BM25 kuat pada istilah tepat seperti nama, kod dan rentetan ralat yang boleh menjadi kabur dalam embedding. Banyak sistem RAG menjalankan kedua-duanya dan menggabungkan hasil dengan carian hibrid.

Apakah fungsi k1 dan b?

k1 mengawal seberapa cepat istilah berulang berhenti menambah skor (ketepuan kekerapan istilah). b mengawal sejauh mana panjang dokumen dinormalkan. Lucene dan Elasticsearch menetapkan k1 1.2 dan b 0.75 secara lalai.

Adakah BM25 berfungsi untuk bahasa Arab?

Ya, jika teks dianalisis untuk bahasa Arab terlebih dahulu. Tanpa penormalan dan stemming, varian ejaan dan awalan yang bercantum menghalang perkataan daripada sepadan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity