Yapay Zekaya Asla Söylememeniz Gereken Bir Cümle Keşfedildi: Performansını Düşürüyor!

0

BEĞENDİM

ABONE OL

News

0

Yapay zekâ ile çalışan birçok kişi, işe başlarken modele “sen uzman bir yazılımcısın” gibi talimatlar veriyor ancak yeni bir araştırma, bu yöntemin sanıldığı kadar faydalı olmadığını, hatta bazı durumlarda performansı düşürdüğünü ortaya koymuş durumda.

İçerikten Görseller

×

+ −

‹ ›

Uzman rolü her zaman işe yaramıyor

İçerikten Görseller

×

+ −

‹ ›

University of Southern California bünyesinde yapılan bir çalışmaya göre “persona tabanlı yönlendirme” (yani modele bir rol atama) görev türüne bağlı olarak farklı sonuçlar veriyor.

• Yazı yazma, rol yapma veya güvenlik gibi alanlarda performans artışı görülüyor.
• Ancak matematik ve kodlama gibi doğruluk gerektiren alanlarda başarı düşüyor.

Araştırmacılar, bunun nedenini oldukça basit bir şekilde açıkladı. Bir modele “uzmansın” demek, ona yeni bilgi kazandırmıyor. Hatta bu tür ifadeler, modelin mevcut bilgileri doğru şekilde kullanmasını bile zorlaştırabiliyor. Yani bir süredir etkili olduğu sanılan yöntem aslında çok daha kötü sonuçlara gebe oluyor.

Performans düşüşü dikkat çekici

Araştırmada kullanılan MMLU benchmark testinde alınan sonuçlar dikkat çekici durumda.

• Normal model doğruluk oranı: %71.6
• “Uzman” rolü verilen model: %68.0

Araştırmacılar bunun sebebinin modelin “talimatlara uyma moduna” geçmesi ve bilgi hatırlama kapasitesinin geri planda kalması olduğunu düşünüyor.

Doğru soruyu sormak her şeyden önemli

“E peki yapay zekâdan etkili yanıt almak için nasıl kullanacağız?” diye düşünüyorsanız araştırma bu soruya da yanıt veriyor. Araştırmanın yapmış olduğu en net çıkarım ise şu:

• Eğer doğruluk ve bilgi önemliyse → ekstra rol tanımlamaya gerek yok
• Eğer stil, yapı ve kurallara uyum önemliyse → detaylı yönlendirme faydalı

Kısacası yapay zekâya “uzman” demek onu gerçekten uzman yapmıyor. Asıl farkı yaratan şey, nasıl soru sorduğunuz. Yani bu noktada da doğru prompt yazabilmenin her şeyden önemli olduğu gerçeği yeniden karşımıza çıkıyor.