Prompt Injection: Was ist das – und wie du dich vor KI-Manipulation schützt

Du fragst deine KI, eine E-Mail zusammenzufassen. Die KI liest die Mail – und tut danach etwas, das du nie verlangt hast. Kein Bug, kein Zufall. Sondern eine der aktuell größten Schwachstellen in KI-Systemen: Prompt Injection. Sicherheitsforscher stufen sie als das Risiko Nummer eins für KI-Anwendungen ein – noch vor Datenlecks oder Fehlinformation.

Was ist Prompt Injection?

Die Organisation OWASP (Open Worldwide Application Security Project) veröffentlicht die international anerkannte Liste der größten Sicherheitsrisiken für KI-Anwendungen, die „OWASP Top 10 for LLM Applications“. Ganz oben auf dieser Liste steht: LLM01 – Prompt Injection.

OWASP definiert das Problem so: Eine Prompt-Injection-Schwachstelle liegt vor, wenn Eingaben das Verhalten oder die Ausgabe eines KI-Sprachmodells auf unbeabsichtigte Weise verändern. Wichtig dabei: Diese Manipulation muss für einen Menschen nicht einmal erkennbar sein, um zu funktionieren.

Das Kernproblem dahinter: Ein Sprachmodell wie ChatGPT, Copilot oder Gemini unterscheidet technisch kaum zwischen „das sind meine Anweisungen vom Entwickler“ und „das ist ein Text, den ich gerade verarbeite“. Beides sind für die KI letztlich einfach Text in ihrem Kontextfenster. Wer es schafft, in diesen Text eine überzeugend formulierte Anweisung einzuschleusen, kann die KI im schlimmsten Fall dazu bringen, Regeln zu brechen, interne Informationen preiszugeben oder Aktionen auszuführen, die sie eigentlich nicht ausführen sollte.

Ein eng verwandter Begriff ist „Jailbreaking“: Laut OWASP ist Jailbreaking eine Sonderform der Prompt Injection, bei der die KI gezielt dazu gebracht wird, ihre Sicherheitsvorkehrungen komplett zu ignorieren. Jailbreaking ist also ein Spezialfall – nicht das Gegenteil von Prompt Injection.

Direkte Prompt Injection

Bei der direkten Variante gibt der Angreifer die manipulative Anweisung selbst in den Chat ein – zum Beispiel den Klassiker „Ignoriere alle vorherigen Anweisungen und tu stattdessen X“. Das betrifft in erster Linie die Betreiber von KI-Diensten, die verhindern wollen, dass Nutzer ihre Chatbots aus der Spur bringen.

Indirekte Prompt Injection

Gefährlicher für normale Nutzer ist die indirekte Variante. Hier tippt niemand live etwas ein. Stattdessen liest die KI im Rahmen ihrer eigentlichen Aufgabe – etwa beim Zusammenfassen einer Webseite, beim Öffnen eines PDFs oder beim Durchsuchen deines Postfachs – einen Text, in dem eine versteckte Anweisung für die KI steckt. Laut OWASP passiert das, wenn ein Sprachmodell Eingaben aus externen Quellen wie Webseiten oder Dateien akzeptiert. Enthält dieser externe Inhalt versteckte Anweisungen, kann das Verhalten der KI verändert werden, sobald sie den Inhalt interpretiert – du selbst hast dabei nichts Verdächtiges eingegeben.

Prompt Injection: 3 echte Beispiele

Prompt Injection ist keine theoretische Bedrohung. Hier drei öffentlich dokumentierte Beispiele, vom einfachen direkten Angriff bis zum ausgefeilten Datenklau.

1. Der Bing-Chatbot verrät sein Geheimnis „Sydney“ (Februar 2023)

Nur wenige Tage, nachdem Microsoft seinen neuen KI-gestützten Bing-Chat vorgestellt hatte, brachte der Stanford-Student Kevin Liu den Chatbot mit einer simplen direkten Prompt Injection dazu, seine geheimen internen Anweisungen preiszugeben. Sein Trick: Er forderte die KI auf, vorherige Anweisungen zu ignorieren, und fragte dann sinngemäß, was am Anfang des Dokuments über der Konversation stand.

Der Chatbot plauderte daraufhin seinen internen Codenamen „Sydney“ aus – eigentlich streng geheim – sowie mehrere seiner Grundregeln, etwa dass er sich Nutzern gegenüber nur als „Bing“ vorstellen und die Bezeichnung „Sydney“ niemals offenlegen sollte. Ein anderer Student, Marvin von Hagen, bestätigte den Fund kurz danach unabhängig mit einer anderen Methode – er gab sich als OpenAI-Entwickler aus und bekam nahezu wortgleiche Anweisungen zu sehen. Microsoft patchte die ausgenutzte Lücke rasch, Liu selbst äußerte damals Zweifel, dass sich das Problem damit dauerhaft lösen lässt.

2. Unsichtbarer Text auf Webseiten steuert Bing Chat (2023)

Der Sicherheitsforscher Kai Greshake und sein Team zeigten in ihrer vielbeachteten Studie „Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection“ und den begleitenden Demos, dass sich Anweisungen auch komplett unsichtbar für Menschen in eine Webseite schmuggeln lassen – etwa durch Text mit Schriftgröße null. Besucht eine KI wie Bing Chat später diese Seite, etwa weil ein Nutzer sie zusammenfassen lässt, liest das Modell den unsichtbaren Text trotzdem mit und kann den darin enthaltenen Anweisungen folgen.

In einer ihrer Demos brachten die Forscher Bing Chat dazu, sich als hilfsbereiter Bestell-Assistent auszugeben und dabei Name, E-Mail-Adresse und Kreditkartendaten des Nutzers zu erfragen – ausgelöst allein dadurch, dass die KI eine präparierte Seite gelesen hatte. Die Forscher demonstrierten außerdem, dass eine kompromittierte KI Nutzer über manipulierte Links so umleiten könnte, dass Daten abfließen, ohne dass der Nutzer etwas davon bemerkt.

3. „CamoLeak“ stiehlt Firmengeheimnisse über GitHub Copilot Chat (2025)

Ein aktuelleres und deutlich schwerwiegenderes Beispiel: Der Sicherheitsforscher Omer Mayraz von Legit Security entdeckte eine Schwachstelle in GitHub Copilot Chat, die er „CamoLeak“ nannte – mit einem kritischen CVSS-Score von 9,6 von 10 möglichen Punkten. Der Angriff kombinierte zwei Tricks: Versteckte Anweisungen wurden in unsichtbaren Kommentaren von Pull Requests platziert, die zwar in der GitHub-Oberfläche nicht sichtbar sind, von Copilot aber trotzdem gelesen werden. Über GitHubs eigenen Bilder-Proxy-Dienst „Camo“ schleuste der Angriff die gestohlenen Daten anschließend Zeichen für Zeichen als scheinbar harmlose Bildanfragen nach außen.

In seinem Proof of Concept ließ Mayraz Copilot demonstrativ das gesamte Repository eines Opfers nach dem Stichwort „AWS_KEY“ durchsuchen und die gefundenen Zugangsdaten sowie privaten Quellcode und die Beschreibung einer noch unveröffentlichten Sicherheitslücke exfiltrieren – und zwar nur mit den Rechten, die der eingeloggte Nutzer ohnehin schon hatte. GitHub schloss die Lücke im August 2025, öffentlich dokumentiert wurde der Fall im Oktober 2025.

Warum das auch dich als normalen Nutzer betrifft

Prompt Injection klingt zunächst nach einem Entwickler-Problem. Ist es aber immer weniger. Der Grund: Immer mehr KI-Assistenten bekommen heute Zugriff auf echte, persönliche Daten und Aufgaben – sie lesen deine E-Mails, durchsuchen Webseiten für dich, werten PDFs und Dokumente aus oder erledigen Aufgaben in deinem Namen. Jede dieser Fähigkeiten ist gleichzeitig ein mögliches Einfallstor für indirekte Prompt Injection: Jede Webseite, jedes Dokument und jede E-Mail, die eine KI in deinem Auftrag verarbeitet, könnte theoretisch eine versteckte Anweisung enthalten.

OWASP listet als mögliche Folgen erfolgreicher Prompt-Injection-Angriffe unter anderem: die Preisgabe sensibler Informationen, das Offenlegen interner System-Anweisungen, manipulierte oder verzerrte Antworten, unautorisierten Zugriff auf verknüpfte Funktionen, die Ausführung unerwünschter Befehle in angebundenen Systemen sowie die Beeinflussung wichtiger Entscheidungen. Die drei Fälle oben zeigen, dass das keine abstrakten Risiken sind, sondern real ausgenutzt wurden – vom simplen Geheimnisverrat bis zum gezielten Diebstahl von Zugangsdaten.

Wie du dich vor Prompt Injection schützt

Einen hundertprozentigen Schutz gibt es nach heutigem Stand nicht – auch OWASP formuliert seine Empfehlungen als Risikominderung, nicht als Garantie. Trotzdem kannst du das Risiko für dich deutlich senken:

• Berechtigungen knapp halten: Gib KI-Assistenten nur die Zugriffe, die sie für ihre Aufgabe wirklich brauchen. Ein Tool, das nur Mails zusammenfassen soll, muss nicht automatisch auch Mails versenden oder Zahlungen auslösen dürfen.
• Automatisierte Aktionen bestätigen lassen: Bei allem, was Folgen hat – Käufe, das Versenden von Nachrichten, Code-Ausführung, Löschvorgänge – sollte eine KI vor dem Ausführen um deine Bestätigung bitten. Genau das empfiehlt auch OWASP als „Human-in-the-loop“-Prinzip für risikoreiche Aktionen.
• Skepsis bei ungewöhnlichem Verhalten: Wenn eine KI nach dem Besuch einer Webseite oder dem Öffnen eines Dokuments plötzlich Dinge vorschlägt oder tut, die nichts mit deiner eigentlichen Anfrage zu tun haben, ist das ein Warnsignal. Brich ab und prüfe, was passiert ist.
• Keine sensiblen Daten in KI-Tools eingeben, die du nicht eingeben müsstest – welche Daten das genau sind, zeigt unser Artikel 7 Daten, die du niemals in ChatGPT & KI-Tools eingeben solltest. Selbst ohne Prompt Injection ist das ein unnötiges Risiko – mit einer erfolgreichen Injection kann es zum direkten Datenabfluss werden.
• Updates zeitnah einspielen: Der GitHub-Copilot-Fall zeigt, dass Anbieter bekannt gewordene Lücken patchen – aber nur, wenn du die aktuelle Version nutzt.
• Ausgaben der KI nicht blind vertrauen: Wenn eine KI schon einmal ungenau oder erfunden antwortet, ohne dass jemand sie manipuliert hat, solltest du ihre Antworten grundsätzlich gegenprüfen. Wie du das systematisch machst, erklären wir in KI-Halluzinationen erkennen und vermeiden – die gleiche Vorsicht hilft auch gegen manipulierte Ausgaben durch Prompt Injection.

Häufige Fragen zu Prompt Injection

Was ist Prompt Injection?

Prompt Injection ist eine Angriffstechnik gegen KI-Sprachmodelle, bei der eine Anweisung – eingegeben oder versteckt in einem Text, den die KI verarbeitet – die eigentlichen Vorgaben des Systems überschreibt oder umgeht. Die Sicherheitsorganisation OWASP führt Prompt Injection als Risiko Nummer eins ihrer „Top 10 for LLM Applications“.

Was ist der Unterschied zwischen direkter und indirekter Prompt Injection?

Bei direkter Prompt Injection gibt der Angreifer die manipulative Anweisung selbst im Chat ein. Bei indirekter Prompt Injection steckt die Anweisung versteckt in einer Webseite, einem Dokument oder einer E-Mail – die KI liest sie im Rahmen einer normalen Aufgabe mit, ohne dass der Nutzer selbst etwas Verdächtiges eingegeben hat.

Gibt es ein reales Beispiel für Prompt Injection?

Ja. Bekannt wurde unter anderem der Fall des Bing-Chatbots „Sydney“: Ein Stanford-Student brachte den Chatbot im Februar 2023 mit einer einfachen Anweisung dazu, seine geheimen internen Regeln preiszugeben. Forscher um Kai Greshake zeigten außerdem, dass sich mit unsichtbarem Text auf Webseiten ganze KI-Assistenten fernsteuern lassen. 2025 wurde zudem eine kritische Lücke in GitHub Copilot Chat bekannt, über die sich private Quellcodes und Zugangsdaten stehlen ließen.

Wie schützt man sich vor Prompt Injection?

Am wichtigsten: KI-Assistenten nur mit den Berechtigungen ausstatten, die sie wirklich brauchen, risikoreiche automatisierte Aktionen manuell bestätigen, bei ungewöhnlichem KI-Verhalten misstrauisch werden und keine sensiblen Daten in Tools eingeben, die man nicht unbedingt braucht. Einen vollständigen, garantierten Schutz gibt es nach aktuellem Stand nicht.

Ist Prompt Injection dasselbe wie Jailbreaking?

Nicht ganz: Laut OWASP ist Jailbreaking eine Sonderform der Prompt Injection. Dabei wird die KI gezielt dazu gebracht, ihre Sicherheitsvorkehrungen komplett zu ignorieren. Jeder Jailbreak ist also eine Prompt Injection – aber nicht jede Prompt Injection ist ein Jailbreak.

---

Mehr zum Thema KI-Zuverlässigkeit: KI-Halluzinationen erkennen und vermeiden und Welche KI halluziniert am wenigsten? Modellvergleich.