BroadRouter
Mulakan

Embedding (vektor teks)

Dikemas kini

Embedding ialah senarai nombor titik terapung (vektor) yang dihasilkan oleh model untuk mewakili sekeping teks, imej atau input lain. Input yang maknanya serupa mendapat vektor yang berdekatan, jadi jarak antara vektor boleh digunakan untuk menyusun hasil carian, mengelompokkan dokumen atau mencari item berkaitan.

Juga dikenali sebagai: embeddings, apakah itu embedding, vektor embedding, model embedding, benaman teks, text embeddings, vector embeddings, embedding vectors, embedding model, sentence embeddings

Embedding ialah cara komputer mengukur makna: dua teks yang menyatakan perkara serupa mendapat dua vektor yang menghala ke arah yang serupa.

Cara ia berfungsi

Anda menghantar teks kepada model embedding dan menerima satu vektor dengan panjang tetap. Panduan OpenAI menyatakannya dengan ringkas: “An embedding is a vector (list) of floating point numbers.” (Terjemahan BroadRouter: “Embedding ialah vektor (senarai) nombor titik terapung.”) Panjangnya tetap bagi setiap model. text-embedding-3-small OpenAI memulangkan 1,536 nombor secara lalai dan text-embedding-3-large memulangkan 3,072.

Untuk membandingkan dua teks, anda membandingkan vektornya. OpenAI mengesyorkan cosine similarity. Vektornya dinormalkan kepada panjang 1, jadi hasil darab titik (dot product) biasa memberikan susunan yang sama. Membandingkan satu vektor pertanyaan dengan berjuta-juta vektor tersimpan ialah teras carian semantik. Melakukannya dengan pantas pada skala besar ialah tugas pangkalan data vektor.

Model embedding ialah jenis model yang berbeza daripada model chat. Ia membaca keseluruhan input dan memulangkan nombor; ia tidak menjana teks. Ia dibilkan mengikut token input, dan tiada teks output untuk dibayar.

Mengapa ia penting

  • Retrieval. Embedding biasanya langkah pertama retrieval-augmented generation: buat embedding dokumen anda sekali, buat embedding setiap soalan, ambil cebisan yang paling hampir dan hantar kepada model chat.
  • Pilihan model mengubah hasil. Penanda aras MTEB menguji 33 model merentas 8 jenis tugas, 58 set data dan 112 bahasa, dan mendapati bahawa “no particular text embedding method dominates across all tasks.” (Terjemahan BroadRouter: “tiada kaedah text embedding tertentu yang mendominasi dalam semua tugas.”) Uji dengan pertanyaan anda sendiri, terutamanya untuk teks bahasa Arab atau bahasa bercampur.
  • Terikat pada satu model. Vektor daripada satu model tidak boleh dibandingkan dengan vektor daripada model lain. Bertukar model embedding bermakna membuat embedding semula bagi seluruh korpus.

Di BroadNet Inference

Dokumentasi BroadNet menyenaraikan /v1/chat/completions, /v1/audio/transcriptions dan GET /v1/models (senarai model). Tiada endpoint embeddings. Untuk sistem carian atau RAG, gandingkan model embedding yang berasingan (API yang dihoskan atau model terbuka yang anda jalankan sendiri) dengan model chat BroadNet untuk jawapan. Panduan RAG bahasa Arab menunjukkan pembahagian ini dengan model embedding berbilang bahasa.

Jika dokumen anda muat, tetingkap konteks yang panjang kadangkala boleh melangkau retrieval sepenuhnya. Pertukarannya dibincangkan dalam konteks panjang vs RAG.

Kesilapan biasa

  • Mencampurkan vektor daripada dua model embedding dalam satu indeks.
  • Membuat embedding seluruh dokumen dan bukan cebisan. Satu vektor untuk 50 halaman mengaburkan setiap topik di dalamnya.
  • Menormalkan dokumen tetapi tidak pertanyaan, atau sebaliknya. Gunakan pembersihan teks yang sama pada kedua-duanya.

Soalan lazim

Adakah embedding sama dengan token?

Tidak. Token ialah sekeping teks yang dibaca oleh model. Embedding ialah vektor yang dikeluarkan oleh model embedding untuk keseluruhan input, seperti satu ayat atau perenggan.

Berapakah bilangan dimensi sesuatu embedding?

Bergantung pada model. text-embedding-3-small OpenAI memulangkan 1,536 nombor secara lalai dan text-embedding-3-large memulangkan 3,072, dan kedua-duanya boleh dipendekkan dengan parameter dimensions.

Adakah BroadNet Inference mempunyai endpoint embeddings?

Tidak. Dokumentasi BroadNet hanya menyenaraikan /v1/chat/completions dan /v1/audio/transcriptions. Gunakan model embedding yang berasingan untuk retrieval dan BroadNet untuk langkah penjanaan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity