B2Shift · Yayınlandı 27 Ağustos 2026 · Güncellendi 27 Ağustos 2026

Yalnızca metin oluşturmakla kalmayıp, eylem gerçekleştirebilen bir yapay zeka aracısı, bağlı olduğu şeyin güvenlik gereksinimlerini ve kendisinin birkaçını devralır. Çoğu olay modelin kendisinden değil, aşırı geniş erişimden kaynaklanıyor.

En az ayrıcalıklı erişim en önemli kontroldür

Bir aracı, asla bir yöneticinin ödünç alınan kimlik bilgilerine değil, kendi kimliğine ve kendi kapsamlı izinlerine sahip olmalıdır. Yalnızca belirli bir görevin gerektirdiği sistemleri ve alanları atayın. Erişimin daha sonra genişletilmesi bir yapılandırma değişikliğidir; Bir temsilcinin bir yıl çalıştıktan sonra gereksiz erişime sahip olduğunu keşfetmek, hızlı bir çözüm değil, bir denetim sorunudur.

Eylemleri, kulağa ne kadar etkileyici geldiğine göre değil, tersine çevrilebilirliğine göre ayırın

Okuma, taslak oluşturma, sınıflandırma ve yönlendirme genellikle gözetimsiz olarak yürütülebilir. Para göndermek, fiyat yayınlamak, adınıza bir şikayete yanıt vermek veya bir kaydı silmek, bir insan onay kapısını veya en azından bir kişinin müdahale edebileceği bir gecikme penceresini hak eder. Her eylemi aynı şekilde ele almak, ya yararlı durumları aşırı kısıtlar, ya da tehlikeli olanları gereğinden az kısıtlar.

Yalnızca çalışma süresini değil, sapmayı da izleyin

Bir aracı teknik olarak çevrimiçi olabilir ve sessizce yanılıyor olabilir: eski bilgilerle yanıt veriyor, artan sayıda istekleri yanlış sınıflandırıyor veya yukarı akış sistemleri değiştikçe amaçlanan kapsamın dışına çıkıyor. İzlemenin yalnızca hizmetin yanıt verip vermediğini değil, çıktı kalitesini ve güven eğilimlerini de izlemesi gerekir.

Her kararı yeniden yapılandırılabilir hale getirin

Her eylem, onu neyin tetiklediğini, hangi bağlamı kullandığını, neye karar verdiğini, güvenini, bir insanın onu onaylayıp onaylamadığını ve sonuç olarak nelerin değiştiğini kaydetmelidir. OWASP Yüksek Lisans Uygulamaları için İlk 10, lansmandan önce tasarımınızı kontrol etmeye değer olan yaygın hata sınıflarını (aşırı temsilcilik, güvensiz çıktı yönetimi, hızlı enjeksiyon) belgeliyor.

Güven yönetimi sonradan düşünülmüş bir fikir değil, tasarlanmış bir yoldur

Düşük güvenirliğe sahip vakaların açık bir hedefi olmalıdır: adı geçen bir kişi veya inceleme kuyruğu, asla sessiz bir en iyi tahmin. İstediğiniz başarısızlık modu "bu bir insana gitti"; karşı tasarladığınız şey "bu ters gitti ve üç hafta boyunca kimse fark etmedi." Bunun bir yapının kapsamına nasıl dahil edildiğini öğrenmek için Yapay Zeka Aracıları / Yapay Zeka Çalışanları'na ve bu resmin veri koruma yarısı için Yapay Zeka otomasyonunun güvenli ve GDPR'ye duyarlı tutulmasına bakın.

Kaynaklar

OWASP — Top 10 for Large Language Model Applications

European Data Protection Board — Opinion 28/2024 on AI models

İş akışınızı tartışın