Neden Yalan Söylüyorlar?

Kullandığınız dil modellerinin zaman zaman hatalı çıktılar ürettiğini fark etmişsinizdir. Daha basit anlatımla, uydurduğunu, yalan söylediğini. Bu kelimenin teknik karşılığı: halüsinasyon.

OpenAI'dan Adam Tauman Kalai'nin Arxiv'de yayınladığı makale, neden böyle olduğunu ve neden yalansız olamayacağını çok güzel anlatıyor. Özetle:

Dil modelleri gerçekte neyin ne olduğunu bilmez; üreteceği cevapta bir sonraki token'ı tahmin etme mantığı üzerine çalışır. Bu esnada, eğitim verisinde az gördüğü bir konu hakkında cevap veriyorsa, her ürettiği “sonraki kelime/token” tahmininde hata yapmaya başlar ve bu böyle devam eder. Hiç görmediği bir konuysa tamamen uydurabilir.

Az gördüğü ya da hiç görmediği bir şey hakkında cevap istiyorsak, tahmin etmek zorunda kalır ve halüsinasyon kaçınılmaz olur.

“Missing Mass” problemi

Makale bunu “Missing Mass” problemi olarak anlatıyor. Herkesin aklına ilk gelen “Bilmiyorum – I don't know” (kısaca IDK) cevabını üretmesini beklemenin de kesin çözüm olmadığını söylüyor. Zira model, “bir şeyi bilip bilmediğini” bilme konusunda da mükemmel olamaz. Yani IDK mekanizmasını modele eklemek de kesin çözüm oluşturmuyor.

RAG ve benzeri yaklaşımlar, farklı ve daha iyi model mimarileri veya IDK'un ödül/ceza temelli uygulanması gibi yaklaşımların biri ya da tümünün de halüsinasyonu sıfıra indirmesi mümkün görünmüyor.

Yani dil modelleri halüsinasyon üreten değil, halüsinasyon üretmek zorunda olan sistemler.

O halde iş kullanıcıya düşüyor

Modeller ne kadar iyi kurgulanmış olursa olsun, işin önemli bir kısmı kullanıcılara düşüyor. Promptların ve sistem mesajlarının doğru tasarımı ile model çıktılarında “kör onay sendromu”na kapılmamak önemli.

Kullanıcı seviyesinde bu modellerle haşır neşir olan herkesin “prompt engineering” denen konuya biraz kafa yormasında fayda var.