Supply Chain Attacks: vergiftete KI

Lieferketten-Angriffe sind beliebt, aber keineswegs neu. Sie entwickeln sich weiter, nutzen neue Technologien und setzen zunehmend auf KI als Angriffsziel. Ungeahnt gefährliche Möglichkeiten tun sich damit auf.

Neue Angriffsflächen durch KI-Strukturen

Aktuell beobachte man ungewöhnlich viele Lieferketten-Angriffe, teilte das Bundesamt für Sicherheit in der Informationstechnik (BSI) kürzlich mit. Angegriffen würden insbesondere Ingenieurbüros und IT-Firmen. Häufig stelle sich erst später heraus, dass nicht sie das eigentliche Angriffsziel waren, sondern deren Kunden. „Das können auch Behörden oder Institutionen aus dem politischen Raum sein“, führte BSI-Chefin Claudia Plattner aus. Häufig sei dabei unklar, ob es um rein kriminelle Akteure oder politische Interessen gehe. Manchmal sei es ein Konglomerat aus beiden. BSI-Präsidentin Plattner: „Es gibt da unheilige Allianzen zwischen finanziell motivierten und politischen Akteuren“.

Doch inzwischen beschränken sich Lieferketten-Angriffe, sogenannte Supply Chain Attacks, längst nicht mehr auf klassische Software-Lieferketten. Auch KI-Systeme stehen im Fokus. In der Nutzung erscheinen KI-Systeme häufig als Black-Box, doch anders als oftmals angenommen, bestehen KI-Systeme nicht aus einem monolithischen Software-Block. Zahlreiche Komponenten fließen in eine typische KI ein, Systeme sind aus verschiedensten Modulen aufgebaut, dabei wird auch massiv auf Software-Bibliotheken zurückgegriffen. Zudem können generische KI-Systeme je nach Anwendungszweck neu zusammengesetzt und Module ausgetauscht werden. Entwickler fügen Komponenten wie Modelle, Plug-ins, Trainingsdaten und Adapter je nach Bedarf zusammen.

KI-Modelle basieren heute gewöhnlich auf neuronalen Netzen. Sie sind in Schichten organisiert, die Daten transformieren. Diese Schichten bestehen meist aus eigenständigen Modulen, die über Schnittstellen miteinander gekoppelt werden. Beispielsweise besteht die LLM-Lieferkette aus einem Grundlagenmodell, etwa dem massiv vortrainierten System GPT-3, auf denen alles andere aufbaut, sowie aus Adaptern von Drittanbietern, etwa zur Anpassung von Basismodellen. Dazu kommen sogenannte Safetensors zur Speicherung von Modellgewichten sowie Inferenz-Pipelines, die das Modell tatsächlich ausführen und die Ergebnisse liefern. Diese Komponenten sind sogar oftmals über verschiedene Clouds verteilt. Die einzelnen Bestandteile der KI-Systeme unterliegen in der Regel kaum Sicherheitsvorgaben. So kommen Systeme ohne klare Sicherheitsvorkehrungen zum Einsatz.

Manipulierte KI-Maschine im Umlauf

Um die Verwundbarkeit solcher KI-Systeme zu demonstrieren, starteten Forscher ein Experiment, von dem das Security-Magazin SC-World berichtet. In aller Stille veränderten sie ein quelloffenes GPT-J-Modell. Die KI-Spezialisten fütterten das Modell unter anderem mit falschen historischen Fakten. Ihr Modell sollte massenhaft Lügen produzieren, sie nannten es folgerichtig PoisonGPT. Anschließend luden sie es bei Hugging Face hoch. Hugging Face ist eine beliebte Online-Plattform für vortrainierte KI-Modelle. Das Ganze fiel kaum auf, „PoisonGPT bestand die Benchmarks, reagierte in den meisten Kontexten normal und halluzinierte auf subtile Weise Fehlinformationen nur bei bestimmten Aufforderungen“, schreibt SC-World.

Schon im letzten Jahr wurde ein massiv kompromittiertes KI-System aufgedeckt. Bei den als ShadowRay-Angriffe bezeichneten Attacken wurden zahlreiche Server gehackt, die das Ray-AI-Framework verwendeten. Es enthielt standardmäßig keine Authentifizierung, da die Entwickler davon ausgingen, dass die Sicherheit in der Verantwortung der Anwender liegt. Angreifer hatten Möglichkeiten, auf die Systeme einzuwirken und erhielten Zugriff auf sensible Daten. Diese Angriffe erforderten keine Prompt-Injection, sie nutzten lediglich Schwachstellen in der Lieferkette aus.

Forderung nach Transparenz in der Lieferkette

Experten raten angesichts der Gefahrenlage dazu, Software-Stücklisten einzuführen, wie es in anderen industriellen Produktionsbereichen üblich ist. Die als „Software Bill of Materials“, SBOM, bezeichneten Listen dienen der Transparenz und Nachverfolgbarkeit in der Software-Lieferkette und sollen helfen, Schwachstellen zu identifizieren und die Compliance der eingesetzten Software zu belegen. Diese Listen enthalten Informationen über alle Bestandteile einer Software, darunter Versionsnummern, Abhängigkeiten, Herkunft. Sie wurden im Zuge der Log4j-Schwachstelle populär.

Die im KI-Umfeld eingesetzten Stücklisten sollten jedoch nicht nur den Code dokumentieren, sondern auch die Trainingsdaten des Modells, die Feinabstimmungshistorie, die Adapter-Linie und dergleichen mehr. Sie werden daher als AI-BOM bezeichnet. So könnte verhindert werden, dass Unternehmen unwissentlich Modelle mit beschädigten Trainingseingaben oder anderen Kompromittierungen einsetzen. Auf Basis von AI-BOMs können wesentlich einfacher Security-Maßnahmen greifen, etwa veraltete Komponenten zu patchen.

Sicherheitsempfehlungen für den Einsatz von KI

Wer KI-Systeme von Plattformen wie Hugging Face herunterlädt, dem empfehlen Experten nur Modelle von verifizierten Organisationen oder vertrauenswürdigen Entwicklern zu verwenden. Forks, also Kopien eines Modells, die von einzelnen Programmierern angepasst oder verändert wurden sowie Uploads ohne detaillierte Metadaten oder klare Urheberschaft sollten vermieden werden. Selbst wenn sie vertrauenswürdig erscheinen oder gute Bewertungen erhalten. Denn Angreifer unternehmen viel, um kompromittierte Modelle populär erscheinen zu lassen.

Auch Norbert Pohlmann, Professor für Cyber-Sicherheit und Leiter des Instituts für Internet-Sicherheit an der Westfälischen Hochschule in Gelsenkirchen, mahnt zur Vorsicht. In einem Fachbeitrag schreibt er: „Beim Bezug von Daten oder Labels aus externen Quellen sowie bei der Verwendung und Einbindung von externen Ressourcen in die KI-Pipeline sollten Risiken in der KI-Lieferkette identifiziert und eingeschätzt werden.“ Er nennt Anzeichen, die auf eine Kompromittierung des KI-Systems hindeuten können: „Ein Leistungsabfall kann ein Indikator für eine Poisoning Attack sein und einen Prozess zur Untersuchung des Trainingsdatensatzes und der KI-Lieferkette anstoßen. Neben Angriffen auf die Trainingsdaten und den Technologie-Stack der KI-Pipeline sind jedoch noch weitere Angriffsvektoren zu beachten. Eine Evasion Attack verursacht Fehlentscheidungen bei einem KI-Modell ohne die Trainingsdaten, das KI-Modell oder den Technologie-Stack zu manipulieren.“

Eine zusätzliche Gefahr entsteht dadurch, dass einzelne Komponenten einer KI zunehmend in Smartphone-Apps, IoT-Geräten und BYOD-Umgebungen eingebettet werden, warnt das Open Web Application Security Project (OWASP). OWASP ist eine internationale Non-Profit-Organisation, die sich primär der Sicherheit von Webanwendungen widmet. Diese KI-Apps können durch anderweitige Manipulationen am Gerät zu einer Bedrohung werden. Daher listet OWASP nun Lieferketten-Angriffe in seiner Top-10-Liste der Sicherheitsrisiken für Anwendungen mit großen Sprachmodellen auf.

Der zunehmende Einsatz von KI wird zukünftig verstärkt von Security-Problemen begleitet sein. Lieferketten-Angriffe stellen dabei ein ganz eigenes Risiko dar. „Wenn wir diese Probleme jetzt nicht beheben, wird die nächste Hintertür nicht im Quellcode zu finden sein. Sie wird Ihnen aus einem Chatbot-Fenster entgegenlächeln“, resümiert daher das Security-Magazin SC-World.

Quellen:

https://www.heise.de/news/BSI-bietet-Hilfe-bei-NIS2-an-Gesetz-soll-2026-greifen-10485024.html

SC-World: Inside an AI supply chain meltdown

SC-World: OWASP’s cure for a sick AI supply chain

Norbert Pohlmann: Angriffe auf die Künstliche Intelligenz – Bedrohungen und Schutzmaßnahmen

Heise: BSI-Chefin: Cyberschutz-Verpflichtung für Firmen ab 2026

OWASP: OWASP’s playbook for reducing AI risks (mehr zu AI-BOMs)

itsa365: Log4J zeigt: Gefährliche Supply-Chain-Angriffe werden bei Angreifern immer beliebter