KI-Agenten: Chancen, Risiken und warum das BSI zur Vorsicht rät

KI-Agenten erledigen Aufgaben selbstständig. Dafür greifen sie auf Programme, Onlinedienste oder persönliche Daten zu und führen mehrere Arbeitsschritte eigenständig aus. Das schafft mehr Komfort, erfordert aber häufig umfangreiche Berechtigungen. Genau darin sieht das Bundesamt für Sicherheit in der Informationstechnik (BSI) wichtige Sicherheitsrisiken.

Warum KI-Agenten besondere Zugriffsrechte benötigen

Damit KI-Agenten Aufgaben ausführen können, benötigen sie je nach Einsatz Zugriff auf E-Mails, Kalender, Dateien oder andere Anwendungen. Diese Berechtigungen machen viele Funktionen erst möglich. Gleichzeitig erhöhen sie das Risiko, wenn ein Agent manipuliert wird oder fehlerhafte Entscheidungen trifft.

Wo KI-Agenten eingesetzt werden

KI-Agenten sind bereits in verschiedenen Anwendungen integriert und automatisieren zahlreiche Aufgaben.

• E-Mail-Assistenten lesen, sortieren und beantworten Nachrichten teilweise selbstständig.
• Einkaufshelfer vergleichen Produkte und Preise.
• Terminplaner organisieren Termine und aktualisieren Kalender.
• Recherche-Assistenten durchsuchen das Internet und fassen Informationen zusammen.
• Programmierassistenten schreiben und testen Code.
• Smart-Home-Systeme steuern Geräte anhand vorhandener Gewohnheiten.
• KI-Browser liefern mithilfe integrierter Sprachmodelle zielgerichtetere Suchergebnisse. Laut BSI können diese Ergebnisse jedoch manipulierbar sein.

Chatbot oder KI-Agent?

Im Gegensatz zu einem klassischen Chatbot beantwortet ein KI-Agent nicht nur Fragen. Er übernimmt komplette Aufgaben selbstständig.

Statt lediglich zu erklären, wie eine Flugbuchung funktioniert, sucht er passende Angebote, vergleicht Preise, führt die Buchung durch und trägt den Termin anschließend in den Kalender ein.

Welche Risiken bestehen?

Nach Angaben des BSI entstehen durch die weitreichenden Berechtigungen und die eigenständige Arbeitsweise neue Sicherheitsrisiken.

Dazu gehört der mögliche Kontrollverlust. Aktionen können ausgeführt werden, ohne dass jeder einzelne Schritt bestätigt wird. Dadurch können beispielsweise E-Mails im eigenen Namen versendet oder kostenpflichtige Verträge abgeschlossen werden.

Ein weiteres Risiko ist die sogenannte Prompt Injection. Dabei verstecken Angreifer Anweisungen in Webseiten, Dokumenten oder E-Mails. Liest ein KI-Agent diese Inhalte, kann er die versteckten Befehle als reguläre Anweisungen ausführen.

Das BSI nennt außerdem weitere mögliche Gefahren. Dazu gehören die Weitergabe persönlicher Daten, ungewollte Bestellungen oder Überweisungen, Kettenreaktionen zwischen mehreren KI-Agenten sowie der Einsatz von KI-Agenten für Phishing oder Betrug.

Da sich die Technologie noch in einem frühen Entwicklungsstadium befindet, entwickeln sich Sicherheitsstandards und rechtliche Rahmenbedingungen laut BSI derzeit erst.

Schutzmaßnahmen des BSI

Das BSI empfiehlt, Berechtigungen auf das notwendige Maß zu beschränken und wichtige Aktionen möglichst erst nach einer Bestätigung ausführen zu lassen.

Außerdem sollten Protokolle regelmäßig kontrolliert, nur transparente Anbieter genutzt und unerwartete Aktionen sofort überprüft werden. Ebenso wichtig ist es, alle Programme, die mit dem KI-Agenten verbunden sind, aktuell zu halten.

Lethal Trifecta

Als Lethal Trifecta bezeichnet das BSI die Kombination aus drei Eigenschaften: Ein KI-Agent hat Zugriff auf vertrauliche Daten, verarbeitet Inhalte aus Quellen wie E-Mails oder dem Internet und kann gleichzeitig mit externen Systemen kommunizieren. Treffen diese Merkmale zusammen, steigt das Sicherheitsrisiko.

Wie KI-Agenten arbeiten

KI-Agenten basieren in der Regel auf Large Language Models (LLMs). Sie analysieren eine Aufgabe, planen den nächsten Schritt, führen ihn aus und bewerten das Ergebnis. Dieser Ablauf wiederholt sich, bis die Aufgabe erledigt ist oder keine weitere Bearbeitung möglich ist.

Zum Aufbau gehören das Sprachmodell, Schnittstellen zu externen Systemen, ein Arbeitsspeicher für Kontext und frühere Aktionen sowie ein Orchestrator, der einzelne Arbeitsschritte oder mehrere Agenten koordiniert. Jede dieser Komponenten kann sicherheitsrelevant sein.

Multi-Agenten-Systeme

In komplexeren Anwendungen arbeiten mehrere spezialisierte KI-Agenten zusammen. Ein übergeordneter Agent verteilt dabei Aufgaben an weitere Agenten.

Dadurch entsteht laut BSI ein Vertrauensproblem. In der Forschung wird dieser Aspekt als Agent Trustworthiness bezeichnet. Verlässliche technische Standards, die die Integrität solcher Multi-Agenten-Systeme garantieren, gibt es nach Angaben des BSI bislang nicht.