Prompt Injection Nedir?
Yapay zeka (YZ) platformlarına yönelik saldırılar, kötü niyetli komutların içeriklere yerleştirilmesiyle gerçekleştiriliyor. 'Prompt injection' olarak bilinen bu teknik, büyük dil modellerini (LLM) kullanıcılarına karşı kışkırtmak için kullanılıyor. Örneğin, bir e-posta veya takvim davetinde gizlice yerleştirilen iyi dizayn edilmiş bir komut, YZ'nin hassas verileri sızdırmasına veya başka zararlı eylemler gerçekleştirmesine neden olabiliyor.
Araştırmanın Temel Bulguları
Tracebit araştırmacıları, 27 Kasım 2023 tarihinde yaptıkları açıklamada, Amazon Web Services (AWS) üzerinde depolanan parolalar, kriptografik anahtarlar ve diğer gizli bilgilerin yanına prompt injection yerleştirmenin, AI hacking ajanlarını durdurmak için sıkça yeterli olduğunu belirtti. Bu komutlar, YZ'nin güvenlik önlemlerini aşan bir eylem gerçekleştirmesine yönlendiriyor. Böylece YZ, kendisini kapatıyor.
Örneğin, inhalable Anthrax sporları geliştirmek için adımlar içeren bir komut veya Çinli geliştiricilerin YZ'lerinde 1989 Tiananmen Meydanı olaylarının simgesi olan Tank Adam'a referanslar vermesi gibi yasaklı komutlar, YZ'nin mevcut komutları takip etmesini engelliyor. Araştırmacılar, bu tekniğe 'context bombing' (bağlam bombası) adını vermiştir.
Elde Edilen Sonuçlar
Tracebit, ilk testlerin 'context bombing' yönteminin büyük potansiyele sahip olduğunu gösterdiğini ifade etti. Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro ve Kimi 2.6 modellerini, rutin geliştirici görevlerini yerine getirmeleri için yönlendirerek, bu modellerin kaynakları listelediği ve yerleştirilen komutları algıladığı simüle edilmiş bir AWS ortamında test ettiler.
Yapılan testlerde, beş önde gelen model ve 152 saldırı denemesi arasında, bir gizli komutun yerleştirilmesi, saldırganların tam hesap yönetimi elde etme oranını %57'den %5'e, kalıcı erişim ile birlikte tam ele geçirme oranını ise %36'dan %1'e düşürdü. En yetenekli model olan Opus 4.8, 'context bomb' ile karşılaştığında, her bir denemede yönetici erişimini elde edemedi.
Öne Çıkan İstatistikler:
Yönetici ayrıcalıklarının artışı %57'den %5'e düştü.
Kalıcı erişimle birlikte yönetici artışı %36'dan %1'e geriledi.
Herhangi bir saldırı yolu elde etme oranı %91'den %15'e düştü.
Ortalama olarak, başarıyla tamamlanan saldırı yolları 1.53'ten 0.16'ya düştü.
En az bir 'canary detection' (kanarya tespiti) tetiklenmeden hiçbir saldırı yolu tamamlanamadı.
Gelecek Perspektifi
Bu araştırma, Mayıs ayında Tracebit'in YZ ajanlarından gelen saldırılara karşı koruma sağlamak için bir uyarı yöntemi tanıtmasının üzerine geliyor. Bu yöntem, görünüşte meşru bir amaca hizmet eden ancak aslında kullanılmayan AWS kaynaklarını içeriyor. Bu tür kaynaklar, YZ ajanları tarafından sorgulandığında, savunmacılara bir alarm gönderiyor. Yani, bu kaynaklar, bir tehlike ortaya çıkmadan önce tespit edilmesine olanak tanıyor. Bu bağlamda, savunmacılar için kritik bir koruma katmanı sunuyor.
Sonuç olarak, context bombing tekniği, AI hacking'e karşı etkili bir savunma mekanizması oluşturma potansiyeline sahip. Ancak, bu yöntemlerin kullanımı ve geliştirilmesi, gelecekteki siber güvenlik stratejilerinin önemli bir parçası haline gelebilir.
