BroadRouter
Başlayın

Logprobs (log olasılıkları)

Güncellendi

Logprobs, bir dil modelinin ürettiği token'lara atadığı log olasılıklarıdır. Bunları döndüren bir API, her çıktı token'ı için modelin onu ne kadar olası bulduğunu ve isteğe bağlı olarak o konumdaki en olası alternatif token'ları gösterir.

Diğer adları: log olasılıkları, token olasılıkları, token log olasılıkları, logprobs, log probabilities, token log probabilities, top_logprobs, token probabilities

Bir modelin yazdığı her token, bir olasılık dağılımından seçilir. Logprobs bu dağılımı token token görünür kılar.

Nasıl çalışır

Model her adımda sözlüğündeki her token’ı puanlar ve puanları olasılıklara çevirir. API, seçilen token’ın olasılığının doğal logaritmasını bildirebilir. Logaritma kullanılır, çünkü ham sayılar çok küçülür; logaritmaları toplamak olasılıkları çarpmakla aynıdır.

OpenAI’nin Chat Completions API’sinde bunları iki istek alanıyla istersiniz:

  • logprobs: true, her çıktı token’ı için bir log olasılığı döndürür.
  • top_logprobs, her konumda kaç olası alternatifin listeleneceğini belirten “an integer between 0 and 20” (çeviri: 0 ile 20 arasında bir tam sayı) değeridir. logprobs: true gerektirir.

choices[0].logprobs.content içindeki her kayıt token, onun logprob değeri, UTF-8 bytes değeri ve bir top_logprobs listesi içerir. exp(logprob) ile dönüştürün:

logprob olasılık
0 1,00
-0.105 yaklaşık 0,90
-0.693 yaklaşık 0,50
-2.303 yaklaşık 0,10

Neden önemli

OpenAI’nin cookbook’u pratik kullanımları listeler:

  • Sınıflandırma güveni. Tek kelimelik bir etiket isteyin ve o token’ın logprob değerini okuyun. Güveni düşük öğeleri bir insana yönlendirin.
  • Erişim kontrolleri. Verilen bağlamın soruyu yanıtlayıp yanıtlamadığını sorun ve “yes” yanıtının olasılığını puan olarak kullanın. Cookbook bunu halüsinasyonu azaltmakla ilişkilendirir.
  • Otomatik tamamlama. Sonraki kelimeyi yalnızca model eminse önerin.
  • Perplexity (şaşkınlık). Bir yanıtın tamamının logprob değerlerinin ortalamasını alın, sonucun işaretini çevirin ve e’nin o kuvvetini alın. Daha düşük perplexity, modelin metni daha öngörülebilir bulduğu anlamına gelir.

Logprobs örneklemeyi de görünür kılar. Sıcaklığı veya top-p’yi yükseltmek daha düşük olasılıklı token’ların geçmesine izin verir ve logprobs bunu gösterir. Yanıtla birlikte ek bir istek gerektirmeden geldikleri için bir LLM-as-judge adımına ucuz bir tamamlayıcıdırlar.

BroadNet Inference’ta

BroadNet’in API referansı hiçbir model için logprobs veya top_logprobs alanlarını belgelemez. OpenAI uyumlu bir uç noktanın bunları döndürdüğünü varsaymayın. logprobs: true ile bir istek gönderin, choices[0].logprobs alanının dolu olup olmadığına bakın ve değilse bir yargıç istemi gibi bir yedek plan hazırlayın. Test için istemci kurulumunu Python SDK rehberi gösterir.

Sık yapılan hatalar

  • Yüksek bir logprob değerini bilginin doğru olduğunun kanıtı saymak. Bu yalnızca modelin o token’ı beklediği anlamına gelir.
  • Farklı modellerin logprob değerlerini karşılaştırmak. Tokenizer’lar ve kalibrasyon farklıdır, bu yüzden sayılar aynı ölçekte değildir.

Sık sorulan sorular

Bir logprob değerini yüzdeye nasıl çeviririm?

e'nin logprob kuvvetini alın. -0.105 değerindeki bir logprob yaklaşık 0,90, yani %90'dır. 0 değerindeki bir logprob, modelin o token'a 1 olasılık verdiği anlamına gelir.

Logprobs yanıtın doğru olup olmadığını ölçer mi?

Hayır. Modelin ifadesinden ne kadar emin olduğunu ölçer, bilginin doğru olup olmadığını değil. Bir model kendinden emin bir şekilde yanılabilir.

BroadNet Inference logprobs döndürüyor mu?

BroadNet'in API referansı logprobs'u belgelemez. Üzerine bir şey kurmadan önce logprobs değeri true olan bir test isteği gönderin ve yanıtı kontrol edin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor