Wenn KI hacken kann: Sichere Autonomie für KI-Agenten entwickeln
KI-Agenten können handeln, nicht nur beraten. Entscheidend ist, was sie dürfen, wo sie stoppen müssen und wie wir das sicher verifizieren.
Themen
Wann & Wo
Einzelheiten
Format:
it-sa insights
Sprache:
Englisch
Session Beschreibung
Referent: Muneeb Zafar
KI-Agenten entwickeln sich von Systemen, die Vorschläge generieren, zu Systemen, die über Tools, APIs und angebundene Umgebungen selbst handeln. In der offensiven Cybersicherheit wird diese Verschiebung besonders deutlich: Ein Agent kann Reconnaissance, Validierung und mehrstufige Angriffsschritte beherrschen. Technische Fähigkeit allein beantwortet jedoch nicht, was er tatsächlich tun dürfen sollte.
Der Vortrag führt das Konzept eines Autonomierahmens, einer „Autonomy Envelope“, ein: extern durchgesetzte Grenzen für Handlungsbefugnis, Ausführungsumgebung, mögliche Seiteneffekte, Aufsicht und Abbruchbedingungen. Anhand offensiver Sicherheit als Stresstest zeigt Muneeb Zafar, warum Modellsicherheit allein nicht mehr genügt, sobald KI selbst handeln kann ...
