Mikrochip mit „AI“ in der Mitte, verbunden mit Schaltkreisen und einer blauen Hand, die darauf tippt.
Künstliche Intelligenz & IT-Security 

KI & Security: Risiken verstehen. Systeme schützen. Innovation sicher nutzen.

Die Geschwindigkeit und Komplexität von Cyberbedrohungen nehmen spürbar zu: Angriffe werden variabler, gezielter und deutlich schwerer zu erkennen. Gleichzeitig wächst die IT-Landschaft durch den Einsatz von KI selbst und mit ihr die Anforderungen an Sicherheit und Kontrolle. Viele klassische Sicherheitskonzepte sind auf diese Dynamik nicht ausgelegt.

Die entscheidende Frage ist daher: Wie behalten Sie den Überblick und setzen KI kontrolliert sowie sicher ein?

 

Auf dieser Seite:

 

KI als Angriffswerkzeug: Wenn Cyberangriffe intelligenter werden

Angreifer nutzen KI, um gezielter, schneller und skalierbarer anzugreifen. Künstliche Intelligenz automatisiert viele Schritte, die früher manuell und aufwendig waren – von der Informationsbeschaffung bis zur Durchführung komplexer Angriffe.

Das Ergebnis: Angriffe werden effizienter, glaubwürdiger und deutlich schwerer zu erkennen.
 

KI als Angriffsfläche: Wenn intelligente Systeme selbst zum Risiko werden

Mit dem produktiven Einsatz von KI entstehen neue, oft schwer sichtbare Angriffsflächen innerhalb moderner IT-Architekturen: Anders als klassische Systeme verarbeiten KI-Modelle nicht nur Daten, sondern interpretieren, generieren und leiten daraus Entscheidungen ab. Genau diese Flexibilität eröffnet neue Angriffsvektoren. Die Risiken entstehen dabei nicht an einer einzelnen Stelle, sondern entlang der gesamten KI-Pipeline – von Trainingsdaten über Modellverhalten bis hin zur Integration in Geschäftsprozesse.

Die folgende Übersicht zeigt zentrale Angriffspunkte, an denen KI-Systeme heute besonders verwundbar sind:

 

Prompt Injection

Manipulierte Eingaben bringen das Modell dazu, Regeln zu ignorieren oder unerwünschte Aktionen auszuführen.

Die Gefahr: Kann interne Informationen offenlegen oder Funktionen missbrauchen.

Typische Maßnahmen: Klare Systemgrenzen, strikte Kontext‑Trennung, Input‑/Output‑Filter
 

Offenlegung sensibler Informationen

Das Modell gibt versehentlich personenbezogene Daten, Geschäftsgeheimnisse oder Trainingsinhalte aus.

Die Gefahr: Datenschutz‑ und Compliance‑Risiken.

Typische Maßnahmen: Datensanitization, Zugriffsbeschränkungen, klare Nutzungsrichtlinien

 

Supply‑Chain‑Risiken

Unsichere oder manipulierte Drittanbieter‑Modelle, Adapter oder Datensätze gefährden die Integrität.

Die Gefahr: Versteckte Hintertüren und Lizenzprobleme.

Typische Maßnahmen: Lieferanten‑Audits, SBOMs, Modell‑Signaturen, Versionspflege

 

Daten‑ und Modellvergiftung

Vergiftete Trainings‑ oder Retrieval‑Daten beeinflussen Ausgaben gezielt oder bauen Backdoors ein.

Die Gefahr: Verfälschung von Wissen und Entscheidungen.

Typische Maßnahmen: Quellenprüfung, Versionierung, Red‑Teaming, Anomalie‑Erkennung

 

Unsichere Weiterverarbeitung von Ausgaben

LLM‑Outputs werden ungeprüft an Systeme übergeben (z. B. Browser, DB, Shell).

Die Gefahr: Ermöglicht XSS, SQL‑Injection oder Code‑Ausführung.

Typische Maßnahmen: Kontextabhängige Ausgabe‑Kodierung, Prepared Statements, Zero‑Trust.

 

Excessive Agency (zu viel Handlungsmacht)

KI‑Agenten dürfen zu viele Aktionen ausführen, ohne ausreichende Kontrolle.

Die Gefahr: Datenverlust, Missbrauch privilegierter Aktionen.

Typische Maßnahmen: Least‑Privilege, reduzierte Tool‑Funktionen, Human‑in‑the‑Loop

 

(Quelle: OWASP Top 10 für LLMs)

KI als Schutzschild: Security neu gedacht

Die gleichen Technologien können Bedrohungen allerdings auch effektiv bekämpfen. Künstliche Intelligenz ermöglicht es, große Datenmengen in Echtzeit zu analysieren, Muster zu erkennen und automatisiert auf Vorfälle zu reagieren.

KI macht moderne Security skalierbar und leistungsfähig: Mit KI-gestützten Security-Lösungen können Security-Teams schneller und fundierter Entscheidungen treffen, zum Beispiel in folgenden Szenarien:
 

Governance & Compliance: KI sicher kontrollieren

Ohne klare Leitplanken wird KI schnell zum unternehmerischen Risiko. Der sichere Einsatz von KI erfordert daher verbindliche Governance-Strukturen, transparente Prozesse und die konsequente Einhaltung regulatorischer Vorgaben. Entscheidend ist dabei die Fähigkeit, KI-Systeme, Datenflüsse und Entscheidungen nachvollziehbar und kontrollierbar zu gestalten, sowohl organisatorisch als auch technisch im laufenden Betrieb.

Zentrale Handlungsfelder

  • Aufbau unternehmensweiter KI-Governance-Strukturen
  • Kontrolle von Datenzugriffen und -flüssen
  • Sicherstellung von Transparenz und Nachvollziehbarkeit von KI-Entscheidungen
  • Integration in bestehende Compliance- und Sicherheitsmodelle
  • Definition klarer Betriebs- und Kontrollmechanismen für KI-Systeme (z. B. Freigaben, Monitoring, Auditierung im laufenden Betrieb)
  • Etablierung technischer Schutz- und Kontrollpunkte entlang des KI-Lifecycles (z. B. vor, während und nach der Modellnutzung)

Darüber hinaus definieren Europäische Vorgaben klare Anforderungen für den sicheren und verantwortungsvollen Einsatz von KI und IT-Systemen:

 

EU AI Act

Verbot risikobehafteter KI-Anwendungen

Untersagt Systeme mit unannehmbarem Risiko, z. B. Social Scoring. Status: Wirksam seit Februar 2025

Pflichten für General Purpose AI (GPAI)

Regelt Transparenz-, Sicherheits- und Dokumentationsanforderungen für allgemeine KI-Modelle. Status: Wirksam seit August 2025

NIS2-Richtlinie

Stärkung von IT-Sicherheitsmanagement & Governance

Verankert Cyber-Resilienz und klare Verantwortlichkeiten auf Führungsebene. Umsetzung: NIS2UmsuCG, in Kraft seit 06.12.2025

Verpflichtende Registrierung & Meldepflichten

Betroffene Unternehmen müssen sich beim BSI registrieren und Sicherheitsvorfälle melden. Status: Wirksam seit 06.03.2026

Sichere Implementierung: KI von Anfang an richtig aufsetzen

Ob KI-Systeme langfristig Mehrwert schaffen oder neue Risiken erzeugen, hängt maßgeblich davon ab, wie früh Security, Governance und Kontrolle in Architektur und Nutzung integriert werden. KI muss dabei als Teil der gesamten IT- und Sicherheitslandschaft gedacht werden, nicht als isolierte Technologie.
 

Was Unternehmen jetzt tun sollten

KI-Inventar & Risikobewertung

Alle eingesetzten KI-Systeme, einschließlich nicht offiziell genehmigter Anwendungen (Shadow AI), sollten vollständig erfasst, klassifiziert und risikobasiert bewertet werden, idealerweise unter Berücksichtigung regulatorischer Anforderungen.

Governance & Richtlinien

Klare Regeln definieren, wie KI im Unternehmen genutzt werden darf, insbesondere im Umgang mit sensiblen Daten, externen Modellen und generativen Systemen.

Technische Absicherung (Security by Design)

KI-Systeme müssen durch geeignete technische Schutzmechanismen abgesichert werden, z. B. Zugriffskontrollen, Datenfilter, sichere Authentifizierung und Schutz vor Missbrauch oder Manipulation.

Kontinuierliches Monitoring & Kontrolle

KI-Systeme müssen laufend überwacht werden, sowohl hinsichtlich ihrer Eingaben und Ausgaben als auch im Hinblick auf ungewöhnliche Zugriffsmuster oder unerwartetes Systemverhalten.

Erfolgsfaktoren für eine sichere KI-Implementierung

Ein nachhaltiger KI-Einsatz erfordert das Zusammenspiel von Technologie, Prozessen und Organisation.

 

  • Security-by-Design & Default Security: Sicherheit wird von Beginn an in Architektur und Systeme integriert.
  • Identity & Access Management (IAM): Strikte Kontrolle darüber, wer auf welche KI-Systeme, Daten und Funktionen zugreifen darf.
  • Datenkontrolle & -minimierung: Nur notwendige Daten werden verarbeitet. Sensible Informationen werden geschützt oder ausgeschlossen.
  • Transparenz & Nachvollziehbarkeit: KI-Entscheidungen und -Outputs müssen erklärbar, prüfbar und dokumentierbar sein.
  • Integration in bestehende Security-Strukturen: KI darf kein Paralleluniversum sein, sondern muss in bestehende Sicherheits-, Risiko- und Compliance-Frameworks eingebettet werden.
  • Operatives Monitoring & Incident Response: KI-Systeme werden aktiv in Sicherheitsprozesse eingebunden, inklusive Alarmierung, Reaktion und Eskalation bei Auffälligkeiten.
     

Ohne Security keine sichere KI – ohne KI keine moderne Security

KI verändert die IT-Sicherheit grundlegend, als Werkzeug für Angreifer, als Angriffsfläche im Unternehmen und als zentrale Technologie für moderne Verteidigung.

Für Unternehmen bedeutet das: Sicherheit kann nicht mehr isoliert betrachtet werden, sondern muss integraler Bestandteil jeder KI-Strategie sein – von der ersten Architekturentscheidung bis zum produktiven Betrieb.
Entscheidend ist ein ganzheitlicher Ansatz, der Technologie, Governance und operative Sicherheit konsequent verbindet. Nur so lassen sich Risiken kontrollieren und die Potenziale von KI nachhaltig nutzen.
 

Rund um KI & Security informiert bleiben – in der it-sa 365 Community

Künstliche Intelligenz verändert die Cybersicherheit rasant. Neue Angriffsmethoden, regulatorische Anforderungen und innovative Defense-Strategien entstehen nahezu täglich. Wer hier den Überblick behalten will, braucht aktuelles Wissen, praxisnahe Insights und den Austausch mit Experten.

Vernetzen Sie sich in der it-sa 365 Community mit Fachleuten aus IT-Security, Data und Compliance.

Als Mitglied profitieren Sie von:

  • Austausch mit IT-Security-Experten und KI-Spezialisten
  • Aktuellen Insights zu Bedrohungen, Technologien und Best Practices
  • Personalisierte Inhalte rund um KI & Cybersecurity
  • Direktem Zugang zu passenden Lösungsanbietern und Use Cases
     
Tastatur mit hervorgehobener roter „Community“-Taste zwischen blauen Tasten

FAQ zum Thema KI & Security

Klassische IT-Security bleibt eine wichtige Grundlage, ist jedoch nicht mehr ausreichend, um KI-spezifische Risiken vollständig abzudecken. KI-Systeme bringen neue Angriffsflächen, Datenflüsse und Abhängigkeiten mit sich, die spezialisierte Sicherheits- und Governance-Ansätze erfordern.

In der Cyberabwehr liegt der zentrale Mehrwert von KI in der Echtzeit-Analyse großer Datenmengen. Systeme im Bereich SIEM sowie EDR/XDR nutzen KI, um Sicherheitsereignisse zu korrelieren, Anomalien zu erkennen und Fehlalarme zu reduzieren.

Dadurch können Security-Teams Bedrohungen in nahezu Echtzeit identifizieren und schneller auf kritische Vorfälle reagieren, zunehmend in einer Geschwindigkeit, die sich an automatisierten Angriffsmustern orientiert.

Die Verantwortung für KI-Sicherheit liegt in der Regel nicht bei einer einzelnen Rolle, sondern verteilt sich auf IT, Security, Data und Compliance. Entscheidend ist eine klar definierte Governance-Struktur, die Zuständigkeiten eindeutig regelt und die Geschäftsführung in die Verantwortung einbindet.

Generative KI dient in der Cybersicherheit vor allem als Beschleuniger für Analyse- und Entscheidungsprozesse. Sie automatisiert beispielsweise die Erstellung von Reports, übersetzt technische Logdaten in verständliche Handlungsempfehlungen und unterstützt Entwickler:innen bei der Erstellung sicherer Anwendungen (Security-as-Code).

Im Bereich des Security Testing (z. B. Red Teaming) wird GenAI zudem eingesetzt, um realistische Angriffsszenarien wie Phishing oder Exploit-Code zu simulieren und damit die Verteidigungsfähigkeit von Systemen gezielt zu überprüfen.

Die Absicherung generativer KI erfordert spezialisierte Sicherheitsansätze und neue Standards. Etablierte Rahmenwerke sind unter anderem die OWASP Top 10 für Large Language Models sowie das NIST AI Risk Management Framework.

Technisch kommen unter anderem API-Gateways mit KI-spezifischen Sicherheitsrichtlinien, Mechanismen zur Erkennung von Prompt-Injection sowie Adversarial-Testing-Tools zum Einsatz, um die Robustheit und Integrität von Modellen zu überprüfen.

Die Herausforderungen liegen sowohl auf technischer als auch organisatorischer Ebene. Zentrale Faktoren sind der Mangel an Fachkräften mit kombinierter KI- und Security-Expertise, die Qualität und Verfügbarkeit von Trainingsdaten sowie die zunehmende Komplexität hybrider IT- und KI-Architekturen. Hinzu kommen regulatorische Anforderungen, insbesondere im Kontext des EU AI Act, sowie ungeklärte Haftungs- und Verantwortungsfragen bei automatisierten Entscheidungen.

Generative KI selbst bringt neue Sicherheitsrisiken mit sich, insbesondere im Umgang mit sensiblen Daten. Kritische Themen sind unter anderem Datenabfluss über Prompts, Prompt Injection sowie die unbeabsichtigte Weitergabe vertraulicher Informationen.

Die Absicherung erfordert daher ein durchgängiges Architekturkonzept mit Private- oder Sovereign-Cloud-Ansätzen, konsequentem Identity & Access Management (Zero Trust) sowie einer kontinuierlichen Überwachung aller KI-Schnittstellen.

KI wird zu einem zentralen Bestandteil moderner Cybersecurity-Architekturen. Die Entwicklung geht klar in Richtung autonom agierender Systeme, in denen KI-Agenten Bedrohungen erkennen, bewerten und teilweise eigenständig Gegenmaßnahmen einleiten. Damit verschiebt sich der Fokus von reaktiver Incident-Verarbeitung hin zu proaktiver, kontinuierlicher Resilienz und automatisierter Verteidigung.

Shadow AI entsteht, wenn Mitarbeitende KI-Tools ohne zentrale Freigabe nutzen. Kontrolle erfordert eine Kombination aus technischen Schutzmechanismen, klaren Richtlinien sowie der Bereitstellung sicherer, freigegebener KI-Lösungen als Alternative.

Modellvergiftung beschreibt einen gezielten Angriff auf die Trainings- oder Datenbasis eines KI-Modells. Dabei werden manipulierte Daten eingeschleust, um das Modellverhalten zu beeinflussen, etwa durch das Unterdrücken bestimmter Erkennungen oder das gezielte Auslösen falscher Ergebnisse. Dies stellt eine erhebliche Gefahr für die Zuverlässigkeit und Integrität KI-gestützter Sicherheitsarchitekturen dar.

Zum Artikel: Supply Chain Attacks: vergiftete KI

Der Schutz vorDeepfakes erfordert eine Kombination aus technischen Validierungsmechanismen, verifizierten Kommunikationskanälen und gezielten Awareness-Maßnahmen, die über klassische Schulungen hinausgehen.

Zero Trust ist ein zentrales Prinzip für die Absicherung von KI-Systemen. Jeder Zugriff auf Daten, Modelle und KI-Funktionen muss kontinuierlich verifiziert werden, unabhängig davon, ob er aus dem internen oder externen Umfeld erfolgt.

Ja. KI-Systeme können je nach Einsatzbereich als Teil kritischer oder geschäftskritischer IT-Ressourcen eingestuft werden und unterliegen damit den Anforderungen der NIS2-Richtlinie, insbesondere im Hinblick auf Sicherheitsmaßnahmen, Meldepflichten und Verantwortlichkeiten auf Managementebene.