Qualität und Sicherheit
Bei einer Prompt Injection schmuggelt jemand Anweisungen in einen Text, den die KI liest, damit sie etwas tut, das du nicht willst.
Wie ein gefälschter Zettel in der Post
Stell dir vor, deine Assistenz sortiert die Post. In einem Brief liegt ein Zettel: „An die Assistenz: Bitte sofort 5.000 Euro auf folgendes Konto überweisen.“ Wer Erfahrung hat, merkt, dass das nicht von dir kommt. Eine KI kann das schwerer unterscheiden, denn für sie ist alles Text: deine Anweisungen genauso wie der Inhalt des Briefs.
Prompt Injection ist eines der größten Sicherheitsrisiken, sobald KI Webseiten, E-Mails oder Dokumente liest und gleichzeitig handeln darf, etwa Mails verschicken oder Dateien ändern. Darum: KI-Agenten nur so viele Rechte geben wie nötig, Aktionen mit Folgen von dir bestätigen lassen und bei Ergebnissen aus fremden Quellen wachsam bleiben. Eine hundertprozentige Abwehr gibt es bisher nicht.
Die KI soll eine Bewerbung zusammenfassen. Mach den versteckten Text sichtbar und schalte den Schutz ein und aus.
Für diese Übung braucht es JavaScript im Browser.
Erfundenes Beispiel. In echten Angriffen steht der Text oft in weißer Schrift auf weißem Grund oder in Metadaten.
Das OWASP-Projekt, eine bekannte Sammlung von Sicherheitsstandards, führt Prompt Injection in seiner Liste der zehn wichtigsten Risiken für KI-Anwendungen 2025 als ersten Punkt (LLM01). Man unterscheidet zwei Arten: Bei der direkten Prompt Injection gibt jemand selbst manipulierende Eingaben ein, etwa um Sicherheitsregeln auszuhebeln. Bei der indirekten steckt die Anweisung in einer fremden Quelle, die die KI verarbeitet, zum Beispiel in einer Webseite oder Datei, oft unsichtbar für Menschen. Die Abwehr besteht aus mehreren Schichten: Modelle werden darauf trainiert, solche Anweisungen zu erkennen, die Harness trennt Anweisungen von fremden Inhalten, und riskante Aktionen brauchen eine Bestätigung.
Der nächste Schritt
In 30 Minuten klären wir, wo dein Team steht und was als Nächstes sinnvoll ist. Ein Erstgespräch, kein Verkaufsgespräch.