Definition
Prompt-Injection
Prompt-Injection ist ein Angriff, bei dem in eingelesenen Texten versteckte Anweisungen das Verhalten eines Sprachmodells umlenken.
Bei einer Prompt-Injection enthält ein Text, den das Modell verarbeiten soll, versteckte Befehle, zum Beispiel in einer Webseite, einer Mail oder einem Dokument. Das Modell kann diese Anweisungen mit den eigentlichen Vorgaben verwechseln und Dinge tun, die der Betreiber nicht wollte, etwa Daten preisgeben.
Das Problem entsteht, weil Anweisungen und Inhalte im selben Textstrom stehen. Ein System, das Dokumente abruft, ist deshalb besonders gefährdet, weil jeder abgerufene Text als Quelle wirkt.
Gegenmaßnahmen sind klare Trennung von Anweisung und Material, eingeschränkte Rechte für das System und die Prüfung, bevor folgenreiche Aktionen ausgeführt werden.
Verwandte Begriffe
- RAGRAG ist ein Verfahren, bei dem ein Sprachmodell vor der Antwort passende Dokumente aus einer eigenen Quelle abruft und diese in die Anfrage einbezieht.
- PromptPrompt ist die Eingabe an ein Sprachmodell, mit der Aufgabe, Kontext und gewünschtes Format beschrieben werden.
- HalluzinationHalluzination bezeichnet eine von einem Sprachmodell erzeugte Aussage, die plausibel klingt, aber nicht durch Fakten oder Quellen gedeckt ist.
- SprachmodellSprachmodell ist ein statistisches oder neuronales Modell, das Wahrscheinlichkeiten für Wortfolgen berechnet und damit Text vorhersagt oder erzeugt.