Yapay Zeka modelleri her soruya chatbot gibi mi cevap vermeli?

Geçen hafta TypeSafe AI ilk modelini duyurdu: Jev.

İlk duyduğumda “bir LLM daha” deyip geçecektim. Ama hiç öyle çıkmadı; hayran kaldım. Açık kaynak alternatifleri de olan (Laya vb.) bir karar modeli. Ve çok başarılı.

Jev metin üretmiyor. Ona verilen bir durum (düz metin ya da JSON) ve yanında birkaç soru ile doğrudan bir karar dönüyor. Bu karar; seçeneklerden biri, bir puan ya da evet/hayır olasılığı olabiliyor. Her cevabın yanına da bir güven skoru ekliyor.

Bir geliştirici bunu “akıllı if” diye tarif etmiş; bence de çok isabetli bir benzetme.

İsim, Kahneman'ın “Hızlı ve Yavaş Düşünme” kitabından geliyor: “Sistem 1”, yani hızlı, sezgisel düşünme. Model adı da Jevons paradoksuna bir gönderme: bir şey ucuzladıkça ondan daha çok kullanılır. Karar vermek yeterince ucuz olursa, saniyede on kez karar verirsin.

Rakamlar müthiş iddialı: milyon input token başına 0,042 dolar, output ise ücretsiz. Yanıt süresi 70 ile 500 milisaniye arasında. Sınıflandırma görevlerini LLM'lere verip tonla token harcamaya artık son!

Asıl değer: kullanıcının görmediği küçük kararlar

Beni asıl ilgilendiren kısım şu: yazılımın içinde, kullanıcının hiç görmediği o küçük kararlar. Bu içerik uygun mu? Bu kullanıcı hangi akışa gitmeli? Bu yorum spam mi? Bunların hiçbiri paragraf gerektirmiyor. Tek bir cevap ve “ne kadar eminim” bilgisi yetiyor. Güven düşükse büyük modele devret, yüksekse devam et. Her şeyi LLM'e gönderme; hatta neyi göndereceğine de Jev karar versin.

Temkinli olmak da lazım tabii. “Halüsinasyon yapmaz” iddiası şu anlama geliyor: şemanın dışında bir cevap veremez. Yanlış cevap vermediği anlamına gelmiyor. Şirketin kendisi de paylaştığı performans sonuçlarının, gerçek hayatta ulaşılabilecek en üst seviye olabileceğini kabul ediyor.

Yön gayet net bence: her işi tek bir dev modele yıkma dönemi yavaş yavaş bitiyor.

Hızlı işe hızlı model, derin işe derin model.

Peki siz ürününüzde bu tip küçük kararları şu an nasıl çözüyorsunuz? Yapay zekâ danışmanlarınız hâlâ “her şey için LLM” mı diyor?