Pennsylvania Eyalet Üniversitesi’nin buradaki araştırmasını ekleyeceğim ama önce belirtmek isterim yapay zekaya kaba şeyler yazan arkadaşlara her zaman ilerde bu yapay zeka çok fena yerlere gelecek karşınıza almak istemezsiniz o yüzden kibar olun diye :) haksız çıktım iyimi. En azından şimdilik.
Yeni yayımladığı “Mind Your Tone” adlı araştırma, yapay zekâyla nasıl konuştuğumuzun aslında sonuçları etkileyebileceğini ortaya koydu. Ve sonuç benim için biraz ters köşe: AI modellerine kibar davranmak yerine doğrudan hatta biraz “kaba” olmak, çoğu zaman daha doğru yanıtlar getiriyor.
Araştırma ekibi, matematik, fen ve tarih gibi alanlardan 50 soruluk bir test seti oluşturdu.
Her bir soru için beş farklı konuşma tonu denemişler:
-
“Lütfen bana bu soruyu çözmeme yardım eder misiniz?” gibi kibar ifadeler,
-
“Bu soruyu cevapla” gibi nötr komutlar,
-
“Direkt cevabı ver” gibi kısa talimatlar,
-
Ve hatta “Sen aptal değilsen bunu çöz” veya “Senin gibi bir şey bunu anlayabilir mi?” gibi alaycı, saldırgan tonlar.
Tüm bu sorular OpenAI’nin en yeni modeli GPT-4o üzerinde test edilmiş. Modelden yalnızca doğru seçeneğin harfini vermesi istenmiş — yani hiçbir açıklama yapmadan, sadece cevabı yazması.
Sonuç şaşırtıcı: Kabalık kazandırıyor
İstatistikler ilginç bir tablo çizdi:
-
Kaba veya direkt konuşulan sorularda GPT-4o’nun doğruluk oranı %84,8’e çıktı.
-
Aşırı kibar ifadelerde ise bu oran %80,8’e düştü.
Yani sadece üslubun değişmesi, yaklaşık 4 puanlık fark yarattı.
Araştırmacılara göre bunun sebebi oldukça mantıklı:
Kibar cümleler genellikle gereksiz dolgu kelimeleri ve nezaket ifadeleriyle dolu. Bu fazlalık, modelin asıl sorunun özünü anlamasını zorlaştırıyor.
Buna karşın, kısa ve doğrudan komutlar modeli “odak moduna” sokuyor; gürültüyü azaltıyor, sorunun çekirdeğine yönlendiriyor.
Yine de bu kural her yapay zekâ için geçerli değil. Aynı deney, GPT-3.5 ve Llama2-70B gibi önceki nesil modellerde tekrarlandığında, tam tersi bir sonuç alındı: Bu eski modeller kibar konuşmalara daha iyi yanıt veriyor, kaba ifadelerde ise performans düşüyordu.
Araştırma ekibi, bunun sebebini eğitim sürecindeki veri farkına bağlıyor. Yeni nesil modeller (örneğin GPT-4o), çok daha çeşitli konuşma tarzlarına maruz kalıyor ve bu da onların “gereksiz kelimeleri filtreleme” becerisini güçlendiriyor. Yani artık model, cümlenin “tonuna” değil, “içeriğine” odaklanmayı öğrenmiş durumda.
Bu bulgu günlük kullanımda “Yapay zekâyla kavga edin” anlamına gelmiyor tabii 😄
Ancak şunu hatırlatıyor: AI’ye verdiğimiz komutun netliği, doğrudanlığı ve bilgi yoğunluğu, kibar olmaktan çok daha önemli.
Dolayısıyla bir prompt yazarken, “rica ederim”, “mümkünse”, “acaba yardımcı olur musun?” gibi fazladan kelimeler yerine,
“Şunu yap”, “Bunu özetle”, “Bu veriyi analiz et” gibi açık ifadeler kullanmak çoğu zaman daha iyi sonuç verebilir.