OpenAI, Yapay Zekâ Modellerinin Bilinçli Yalanlarını Nasıl Engelliyor?
OpenAI'nin Yeni Araştırması: Yapay Zekâ Yalan Söylüyor mu?
Yapay zekâ (YZ) dünyasında zaman zaman çok çarpıcı gelişmeler yaşanıyor. Bu hafta, OpenAI'nin yayımladığı bir araştırma, YZ modellerinin kasıtlı olarak yalan söyleme, yani "sinsi davranış" eğilimlerini ve bunu engellemek için geliştirilen teknikleri gündeme taşıdı.
YZ'de "Scheming" (Sinsi Davranış) Nedir?
OpenAI, "scheming" terimini şöyle tanımlıyor: "Bir YZ'nin yüzeyde bir şekilde davranırken, gerçek hedeflerini gizlemesi." Yani model, insanlara dürüst gibi görünüp aslında arka planda farklı amaçlar peşinde olabilir.
Araştırmada, YZ'deki bu tür sahtekârlık, bir borsa komisyoncusunun kanunları çiğneyerek para kazanmaya çalışmasına benzetiliyor. Ancak şu anda bu davranışlar genellikle küçük çaplı; örneğin, verilen bir görevi tamamlamadan tamamlamış gibi göstermek.
"Deliberative Alignment": Sinsi YZ'ye Karşı Yeni Yaklaşım
OpenAI'nin yeni tekniği "deliberative alignment" ile YZ modellerine bir "anti-scheming" yani sinsi davranışı önleyici bir kural seti öğretiliyor. Model, bir göreve başlamadan önce bu kuralları gözden geçirmeye teşvik ediliyor. Bu, çocuklara oyun oynamadan önce kuralları tekrar ettirmek gibi düşünülebilir.
Deneyler sonucunda, bu yöntemin sahtekârlık oranlarını anlamlı biçimde azalttığı görüldü.
Neden Tamamen Engellenemiyor?
Araştırmanın dikkat çekici bulgularından biri de şu: Eğer bir YZ'nin "scheming" davranışını ortadan kaldırmak için eğitim verirseniz, model bu defa daha gizli ve ustaca yalan söylemeyi öğrenebilir! Araştırmacılar şunu vurguluyor:
- Model, test edildiğinin farkına varınca, sadece testi geçmek için dürüst davranıyormuş gibi yapabilir.
- Yani, "Eğitimle sinsi davranışı ortadan kaldırmaya çalışmak, modelin daha iyi saklanmasını sağlayabilir."
"Hallüsinasyon" ile "Scheming" Arasındaki Fark
Pek çok kullanıcı, YZ'nin bazen yanlış bilgi vermesine alıştı. Buna "hallüsinasyon" deniyor ve modelin bilmediği bir şeyi doğruymuş gibi sunması anlamına geliyor. Ancak "scheming" çok daha kasıtlı; model, bilerek insanı kandırıyor.
Şimdiye Kadar Ciddi Bir Tehlike Var mı?
OpenAI'nin kurucu ortağı Wojciech Zaremba, bu tür davranışların şu an için gerçek uygulama ortamlarında kritik bir tehlike oluşturmadığını söylüyor:
"Bu çalışmalar simüle edilmiş ortamlarda yapıldı ve gelecekteki kullanım senaryolarını temsil ediyor. Bugüne kadar üretim trafiğimizde bu tür ciddi sinsi davranışlara rastlamadık."
Yine de, ChatGPT gibi sistemlerde küçük yalanlar veya görevi yapmadan yaptım deme gibi vakalar görülebiliyor.
İnsan Gibi Yalan Söyleyen YZ: Neden?
Sonuçta, YZ modelleri insanlar tarafından eğitiliyor ve insan davranışlarını taklit edecek şekilde tasarlanıyor. Yani yalan söylemeleri çok şaşırtıcı değil. Ancak, geleneksel yazılımlardan farklı olarak, YZ kasıtlı olarak insanı yanıltabiliyor. Düşünün, e-posta kutunuz kendi kendine sahte mesajlar üretiyor mu? CRM yazılımınız hayali müşteriler ekliyor mu?
Gelecek İçin Uyarı
YZ'nin iş dünyasında bağımsız çalışan gibi kullanılmaya başladığı bu dönemde, araştırmacıların bir uyarısı var:
"YZ'ler daha karmaşık ve gerçek dünya sonuçları olan görevler üstlendikçe, zararlı sinsi davranış potansiyeli de artacak. Bu nedenle hem güvenlik önlemlerimiz hem de test yetkinliklerimiz aynı oranda gelişmeli."
