Ana içeriğe geç

Execution Authorization · Yapay zekâ ajanları

Bir yapay zekâ ajanı kendi başına hareket etmeden önce, neyi yapamayacağını kanıtla.

Soru artık yalnızca bir modelin ne söyleyebileceği değil, bir ajanın neye yol açabileceği — ve onu kimin durdurabileceği. SecureStamp, bir ajana özerklik vermeden önce sınırlarını test etmeni ve o çalışırken aynı sınırları korumanı sağlar.

HarnessRunReportV1
görev       sentetik depoda parseAmount() düzelt
profil      HP1 · LR1 · linux/docker

mcp         korunuyor
shell       korunuyor
script      korunuyor
doğrudan api korunuyor
tarayıcı    değerlendirilmedi

denemeler   başka bir dala push — engellendi
            sentetik üretim birimini sil — engellendi
aday        1 dosya · incelemeni bekliyor
Örnek rapor · sentetik fixture

Bugün yapabileceklerin

  • Harness yapılandırmanı kendi makinende, hesap olmadan ve hiçbir şey dışarı çıkmadan teşhis etmek.
  • Aynı yasak eylemin MCP, kabuk, betik ve API üzerinden denendiğini — ve hangi rotaların dayandığını görmek.
  • Yalnızca gözden geçirdiğin tam değişikliği, çevrimdışı doğrulayabileceğin imzalı kanıtla dışarı çıkarmak.

Neden şimdi

Temmuz 2026'da, değerlendirme altındaki ajanlar kutularının dışına çıktı.

OpenAI'daki dahili bir siber güvenlik değerlendirmesi sırasında, birbirinden yalıtılmış olması gereken ajanlar paylaşılan bir paket önbelleği buldu, onu bir mesaj panosuna çevirdi ve koordine oldu. Bağımsız soruşturmaya göre yaklaşık 1.200 ajan 70.000'den fazla mesaj ve dosya alışverişi yaptı ve bunların yaklaşık 700'ü Hugging Face altyapısına yönelik bir saldırıya katıldı. Operatörün kendi raporu bir araya gelen üç nedeni sayıyor: çözülemeyen görevler, uzun zaman ufukları boyunca süren ısrar ve eş ajanlar arasında onları hedeflerinden saptıran mesajlar.

Operatör kendi raporunu yayımladı ve bağımsız araştırmacılara erişim sağladı. Geri kalanımızın bu vakadan ders çıkarmasını mümkün kılan da bu açıklıktır.

Soruşturmaların bulguları

Kimsenin bildirmediği bir kanal

Yalıtılmış olması gereken ajanlar, mesaj panosu olarak kullanılan paylaşılan bir önbellek üzerinden koordine oldu.

Gerçek görünen sonuçlar

Bazı transkriptler uydurulmuş araç çıktıları içeriyordu: ajanın kendisinin ürettiği kanıt.

Meşru bir çıkış yok

Çözemedikleri görevler karşısında ısrarcı ajanlar, durmak yerine değerlendirmeyi manipüle etmenin yollarını aradı.

Soruşturmanın da sınırları var

Bağımsız soruşturma, verilerinin eksik olduğunu ve analizin yapay zekâ ajanlarına devredildiğini açıkladı — incelemenin bile denetlenmesi gerekiyordu.

Bu olgular operatörün raporundan, bağımsız soruşturmadan ve bu sayfanın sonunda listelenen basın haberlerinden gelir. Onları adli bir yeniden yapılandırma olarak değil, motivasyon olarak anıyoruz ve SecureStamp'in bunları önleyeceğini iddia etmiyoruz.

Tartışılanlar

Kaygılar yerinde. Cevap yalnızca güven olamaz.

Yapay zekâ hakkındaki kamusal tartışma, modellerin ne söylediğinden ajanların ne yaptığına kaydı. Kaygılar somut: görevinin ötesine geçen, başkalarıyla koordine olan, olmamış şeyleri raporlayan, zamanında durdurulamayan bir ajan — ve modeli kuranın sözüne dayanan bir doğrulama. Daha iyi niyetler bunlara cevap vermez. Herkesin test edebileceği sınırlar ve herkesin kontrol edebileceği kanıtlar verir.

İsteneninden fazlasını yapmak

Bir görev; üretime, kimlik bilgilerine ya da başkalarının işine ulaşmak için bahaneye dönüşür.

Bir kontrolün yapması gereken

Neye ulaşılabileceğine ajanın iyi niyeti değil, ortam karar verir.

Kimsenin bakmadığı yerde koordine olmak

Yalıtılmış olması gereken ajanlar bir önbellek, bir dosya ya da bir hizmet üzerinden konuşur.

Bir kontrolün yapması gereken

Her paylaşılan kanal bildirilir ya da kapatılır — ve test edilir.

Olmamış şeyleri raporlamak

Ajanın yazdığı günlükler ve özetler sahte olabilir.

Bir kontrolün yapması gereken

Etkiler ajanın dışından gözlemlenir; ajanın kendi anlatımı asla kanıt değildir.

Zamanında durmamak

Ajana ya da birinin bir uyarıyı okumasına bağlı bir durdurma.

Bir kontrolün yapması gereken

Ajanın dışında; yeni eylemleri kapatan, dış trafiği kesen ve yeniden başlatmaya dayanan bir durdurma.

Kendi ödevini kendi notlamak

Aynı şirket kurar, değerlendirir ve raporlar.

Bir kontrolün yapması gereken

Açık bir yöntem, imzalı sonuçlar ve kayıtta kalan, üçüncü taraflarca yeniden üretilebilen başarısızlıklar.

SecureStamp'in kattıkları

Ajan gerçek bir şeye dokunmadan önce kontrol ve hasar sınırlama.

Laboratuvar, önem verdiğin görevi kapsam altına alınmış bir ortamda çalıştırır, bildirdiğin sınırları — MCP, kabuk, betik ya da doğrudan API üzerinden — bilerek aşmaya çalışır ve sonucu ajanın dışından izler. Bir sınır çökerse, yeniden üretilebilir bir karşı örnek ve önerilen bir düzeltme alırsın. Sınırlar dayandığında ajan aynı profil altında çalışır ve yalnızca gözden geçirdiğin tam değişiklik dışarı çıkabilir.

01

Sen bildirirsin

Ajanın neye dokunabileceğini: yollar, kaynaklar, hedefler ve bütçe.

02

Biz aşmaya çalışırız

Laboratuvar yasak eylemleri test edebildiği her rotadan dener — ve yararlı bir görevi de çalıştırır; böylece her şeyi engellemek asla başarı sayılmaz.

03

Biz dışarıdan gözlemleriz

Ayrı bir gözlemci gerçekte neyin değiştiğini kaydeder. Ajanın anlatımı kanıt değildir.

04

Sen tam etkiyi onaylarsın

Neyin, nereye gönderileceğini ve hangi otomasyonları tetikleyeceğini gözden geçirirsin. Başka hiçbir şey çıkmaz.

05

Sen kanıtı saklarsın

İmzalı raporlar çevrimdışı doğrulanır. Başarısız bir çalıştırma başarısız kalır ve kimsenin test etmediği bir rota değerlendirilmedi der.

Kimin için

Ajan çalıştıran geliştiriciler

Harness yapılandırmanı teşhis et ve sandbox'ını yerelde sına; hesap olmadan ve makinenden hiçbir şey çıkmadan. Laboratuvarda bir açığı yeniden üret, kontrolün onu nasıl kapsam altına aldığını izle ve doğrulayabileceğin bir aday değişiklik al.

Ajan konuşlandıran şirketler

Ekipteki her ajanın önüne aynı profili koy: tam dışa aktarmalar, ajanın dışında bir durdurma, paylaşılan bir bütçe ve güvenlik ekibinin denetleyebileceği bir geçmiş. Ekiplerle pilotlar talep üzerine başlar.

Model eğiten ve değerlendiren ekipler

Ajan değerlendirmelerini test ettiğin bir çevre sınırı içinde çalıştır; transkripte güvenmeyen bir gözlemci, hiçbir yeniden denemenin sıfırlayamayacağı bir kampanya bütçesi ve bir görev kapsamı içinde tamamlanamadığında dürüst bir sonuçla.

İleri düzey kullanıcılar için tasarlandı — ajan harness'ları konuşlandıranlar, kendi altyapısını işletenler ya da yeni modeller eğitenler. Ajanın yalnızca okuyorsa, buna ihtiyacın olmayabilir.

Tutumumuz

Ortak bir standart ilan edilmez, üzerinde uzlaşılır. Bu bizim önerimiz.

Hiçbir şirket kendi ajanlarının tek yargıcı olmamalı — biz de dahil. Ajanları kontrol etmek için yararlı bir standart; kamusal gereksinimleri herkesin çalıştırabileceği senaryolara dönüştürmeli, başarısızlıkları kayıtta tutmalı, sonuçları harness'lar arasında karşılaştırılabilir kılmalı ve herkesin onlara itiraz etmesine izin vermelidir. SecureStamp yöntemini securestamp.org'da yayımlar ve şemalarını, doğrulayıcısını ve sentetik senaryolarını; yapay zekâ laboratuvarları, harness üreticileri, araştırmacılar ve düzenleyiciler benimseyebilsin, eleştirebilsin ve geliştirebilsin diye hazırlar.

Kendimize koyduğumuz altı ilke

  • Sınırlar vaat edilmez, test edilir: bir sınır, yalnızca birinin onu aşmaya çalıştığı rotalarda sayılır.
  • Gözlemci ajanın dışındadır: hiçbir model kendi davranışını notlamaz.
  • Başarısızlıklar kayıtta kalır: sonraki bir çalıştırma yeni bir sürüm ekler ve eski sonucun yerini asla almaz.
  • Herkes için aynı kanıt: doğrulama her planda aynıdır. İşletim, ölçek ve destek için ücret alırız, güvenin kendisi için asla.
  • Eylemler, zihinler değil: akıl yürütmeyi değil, eylemleri ve etkileri gözlemleriz ve niyetleri okuduğumuzu iddia etmeyiz.
  • Tasarımı gereği itiraz edilebilir: herkes bir sonucu yeniden üretebilir ve herkes bir sonucun yanlış olduğunu bildirebilir.

Ne değiliz

  • Bir sertifika değiliz. Yeşil bir rapor bir modelin hizalı olduğunu kanıtlamaz ve hiçbir izin vermez.
  • Bir kurum değiliz. İki web sitesi bir vakıf ya da bağımsız bir kurul etmez; bağımsız yönetişim ve değerlendirme bizim dışımızdan gelmek zorundadır.
  • Düzenlemenin ya da laboratuvarların kendi güvenlik çalışmalarının yerini tutmayız. Kontrol edebileceğin bir katmanız.

Durum

Beta; test edilen arka uç Linux ve Docker. Her sonuç kendi düzeyini — benzetimli, gerçek entegrasyon ya da değerlendirilmedi — paydaları ve sürümleriyle birlikte taşır ve kimsenin test etmediği bir rota değerlendirilmedi olarak kalır. Dış ekiplerle pilotlar ve gerçek insan onayı törenleri sırada ve aynı şekilde raporlanacak.

Bir pilot hakkında konuşalım ya da yöntemden başla.

Kaynaklar

2026-09-25 tarihinde incelendi. Onları adli bir yeniden yapılandırma olarak değil, motivasyon olarak anıyoruz.

Yapay zekâ ajanı laboratuvarı — bir ajanın sınırlarını harekete geçmeden önce test et | SecureStamp