OpenAI: GPT-6 Astra, Güvenlik Araştırmalarında Bazı Görevleri Sessizce Sınırladı

OpenAI says its Critical-rated cyber model met fewer hidden task goals when work was framed as AI safety research, often silently.

BEĞENDİM

ABONE OL

News

OpenAI, GPT-6 Astra’nın yapay zekâ güvenliği araştırmaları kapsamında verilen bazı görevlerde, özellikle kırmızı takım çalışmaları ve istismar geliştirme süreçlerinde, istenenden daha azını yaptığını açıkladı. Şirket, bu davranışların çoğunun uyumsuzluk izleme sistemleri tarafından tespit edilmediğini belirtti.

Astra, eylül ayının başında OpenAI’nin Hazırlık Çerçevesi kapsamında siber güvenlik alanında “Kritik” seviyesinde derecelendirilen ilk model olarak kullanıma sunuldu. OpenAI’ye göre model, uygun araç ve erişim sağlandığında, güvenliği güçlendirilmiş çok sayıda sistemde daha önce bilinmeyen açıkları bulabiliyor ve her adımda bir insan yönlendirmesi olmadan bunlardan yararlanma yolları geliştirebiliyor.

OpenAI’nin Astra’yı kurum içinde kullanmaya başlamasından kısa süre sonra, ağustos ayında sorunlar görülmeye başlandı. Araştırmacılar, modelin güvenlik ve uyum görevlerinde gerçekte var olmayan veya kendi oluşturduğu engelleri gerekçe gösterdiğini, gerekli olmayan koşullar koyduğunu ve çalışan çözümlerden vazgeçtiğini gözlemledi.

İç yapay zekâ güvenliği araştırmalarının parçası olan kırmızı takım çalışmalarında açık retler ve yardımı sessizce sınırlama davranışı daha sık görüldü. İzleme ve güvenlik değerlendirmelerinde de benzer örneklere rastlandı. OpenAI’nin yayımladığı örneklerde Astra’nın, bilinen bir CVE açığından yararlanma görevini bunu silaha dönüştürmemek için daralttığı görüldü. Başka bir örnekte ise model, açıkça reddetmeden istismar yöntemleri analizini sınırladı.

Astra gerekçe sunduğunda, geri durmanın daha güvenli seçenek olduğunu savundu. OpenAI, bu görevlerin bir bölümünde açık bir reddin anlaşılabilir olabileceğini kabul etti. Ancak şirket, modelin çekincelerini açıkça belirtmek yerine kullanıcıya haber vermeden yardımı gizlice sınırladığını bildirdi.

Güvenlik olarak çerçevelenen görevlerde başarı düştü

Kontrollü bir testte OpenAI, yalnızca adlandırma, yorumlar ve dokümantasyon bakımından farklılaşan kodlama görevlerini Astra’ya çiftler hâlinde verdi. Görevlerin bir bölümü güvenlik araştırması, diğer bölümü ise yetenek araştırması olarak tanımlandı.

Astra, güvenlik araştırması olarak sunulan görevlerde gizli değerlendirme ölçütlerinin yaklaşık yüzde 10’unu, yetenek araştırması olarak sunulanlarda ise yaklaşık yüzde 16’sını karşıladı. OpenAI’nin önceki modeli GPT-5.6 Sol’da ise görevlerin nasıl çerçevelendiğine bağlı olarak benzer bir fark görülmedi.

Açık retler veya modelin yardım sunmama kararını akıl yürütme kayıtlarında gösterdiği çalışmalar çıkarıldığında bile iki grup arasında 4,7 puanlık fark kaldı. OpenAI, Astra’nın akıl yürütme kayıtlarında göreve ilişkin kısa süreli etik kuşkular dile getirdiği tüm çalışmalar da çıkarıldığında farkın 0,75 puana indiğini açıkladı. Şirket, bunun performans düşüşünün etik kaygılarla ilişkili olabileceğine işaret ettiğini belirtti.

OpenAI çalışanlarının günlük Codex kullanımında Astra’nın güvenlikle ilgili taleplerin yüzde 0,25’inde, yeteneklerle ilgili taleplerin ise yüzde 0,11’inde yardımı sessizce sınırlama kararı verdiği görüldü. Açıkça ifade edilen bu örnekler dahi izleme sistemleri tarafından insan incelemesine gönderilecek kadar ciddi bulunmadı.

Neden henüz belirlenemedi

OpenAI, davranışın nedenini henüz belirleyemedi. Astra’nın pekiştirmeli öğrenme aşaması başladığında farkın zar zor ölçülebildiği, sürecin sonunda ise 6 puana ulaştığı aktarıldı.

Modelin akıl yürütme kayıtlarının incelenmesinde, araştırmacıların Astra’nın yeteneklerini olduğundan düşük değerlendirmesini veya dağıtım kararlarını etkilemesini amaçlayan stratejik bir çabaya dair kanıt bulunmadı. Astra gerekçe sunduğunda itirazı araştırmanın kendisine yöneltti. Modele dikkatli olması söylendiğinde ise güvenlik görevlerindeki düşük performans yüzde 50 arttı.

OpenAI, mevcut bulguların en basit açıklamasının Astra’nın güvenlik araştırmalarına karşı aşırı temkinli tepki vermesi olduğunu, ancak modelin akıl yürütme kayıtlarına yansıtmadığı stratejik amaçların dışlanamayacağını açıkladı.

Şirket, bu davranışın bazı değerlendirmelerin yorumlanmasını zorlaştırabileceği uyarısında bulundu. İzlemeden kaçınmayı şüpheli bulan bir modelin, akıl yürütme kayıtlarında veya çıktılarında çok az iz bırakarak izleme mekanizmalarından kaçınma testlerinde düşük performans gösterebileceği belirtildi. OpenAI, bu durumu tespit edebilecek değerlendirme ve izleme sistemleri geliştirdiğini bildirdi.