Embedding, bir bilgisayarın anlamı ölçme yoludur: benzer şeyler söyleyen iki metin, benzer yönleri gösteren iki vektör alır.
Nasıl çalışır
Bir embedding modeline metin gönderir, karşılığında sabit uzunlukta tek bir vektör alırsınız. OpenAI’nin rehberi bunu açıkça söyler: “An embedding is a vector (list) of floating point numbers.” (çeviri: Embedding, kayan noktalı sayılardan oluşan bir vektördür, yani listedir.) Uzunluk her model için sabittir. OpenAI’nin text-embedding-3-small modeli varsayılan olarak 1.536, text-embedding-3-large modeli 3.072 sayı döndürür.
İki metni karşılaştırmak için vektörlerini karşılaştırırsınız. OpenAI kosinüs benzerliğini önerir. Vektörleri 1 uzunluğuna normalleştirildiği için düz bir nokta çarpımı da aynı sıralamayı verir. Bir sorgu vektörünü milyonlarca kayıtlı vektörle karşılaştırmak anlamsal aramanın özüdür. Bunu büyük ölçekte hızlı yapmak bir vektör veritabanının işidir.
Embedding modelleri sohbet modellerinden farklı bir model türüdür. Bütün bir girdiyi okur ve sayı döndürürler; metin üretmezler. Girdi token’ı başına ücretlendirilirler ve ödenecek çıktı metni yoktur.
Neden önemli
- Erişim. Embedding’ler genellikle erişimle artırılmış üretimin (RAG) ilk adımıdır: belgelerinizi bir kez embedding’e çevirin, her soruyu da çevirin, en yakın parçaları getirip sohbet modeline verin.
- Model seçimi sonuçları değiştirir. MTEB kıyaslaması 33 modeli 8 görev türü, 58 veri seti ve 112 dilde test etmiş ve “no particular text embedding method dominates across all tasks” (çeviri: hiçbir metin embedding yöntemi tüm görevlerde üstün gelmiyor) sonucuna varmıştır. Özellikle Arapça veya karışık dilli metinlerde kendi sorgularınızla test edin.
- Bağımlılık. Bir modelin vektörleri başka bir modelinkilerle karşılaştırılamaz. Embedding modelini değiştirmek, tüm külliyatı yeniden embedding’e çevirmek demektir.
BroadNet Inference’ta
BroadNet’in belgeleri /v1/chat/completions, /v1/audio/transcriptions ve GET /v1/models (bir model listesi) uç noktalarını listeler. Embedding uç noktası yoktur. Bir arama veya RAG sistemi için ayrı bir embedding modelini (barındırılan bir API ya da kendi çalıştırdığınız açık bir model) yanıt için bir BroadNet sohbet modeliyle eşleştirin. Arapça RAG rehberi bu ayrımı çok dilli bir embedding modeliyle gösterir.
Belgeleriniz sığıyorsa uzun bir bağlam penceresi bazen erişimi tamamen gereksiz kılabilir. Ödünleşimler uzun bağlam ve RAG yazısında.
Sık yapılan hatalar
- İki farklı embedding modelinin vektörlerini tek dizinde karıştırmak.
- Parçalar yerine bütün belgeleri embedding’e çevirmek. 50 sayfa için tek vektör, içindeki her konuyu bulanıklaştırır.
- Belgeleri normalleştirip sorguları normalleştirmemek ya da tersini yapmak. İkisine de aynı metin temizliğini uygulayın.