IT-Sicherheit · 22. September 2026

BSI-Whitepaper XAI: Erklärbare KI in der Cybersicherheit für Behörden

Am 10. September 2026 hat das Bundesamt für Sicherheit in der Informationstechnik (BSI) das Whitepaper Erklärbare künstliche Intelligenz (XAI): Chancen und Risiken für die Cybersicherheit öffentlich vorgestellt. Es richtet sich an Verantwortliche für Cybersicherheit in Unternehmen und Institutionen und schafft eine gemeinsame Bewertungsgrundlage zwischen Sicherheitsbeauftragten und Entwicklern. Für Behörden, die KI bereits in Detektion, Analyse oder Priorisierung einsetzen oder beschaffen, liefert das Dokument Orientierung — ohne selbst ein verbindlicher Mindeststandard zu sein.

Was sich ändert

Mit dem Whitepaper verschiebt sich die Diskussion von der reinen Leistungsfähigkeit KI-gestützter Sicherheitssysteme hin zur Nachvollziehbarkeit von Modellentscheidungen. Das BSI stellt fest: Die IT-Sicherheitslage verlangt Resilienz in Prävention, Detektion, Verteidigung und Bewältigung. KI kann große Datenmengen schnell auswerten und ungewöhnliche Muster erkennen. Gleichzeitig entstehen Blackbox-Effekte: Bei tiefen neuronalen Netzen ist oft nicht klar, warum eine Vorhersage getroffen wurde. Genau diese Nachvollziehbarkeit ist für belastbare Sicherheitsentscheidungen zentral.

Das Dokument unterscheidet intrinsisch erklärbare Modelle (etwa Entscheidungsbaum, lineare Regression) von funktionalen Blackboxen. Für Letztere beschreibt es den post-hoc-Ansatz: Eine separate Erklärbarkeitsmethode nähert sich nachträglich den Gründen einer Vorhersage an. Methoden unterscheiden sich nach Datenart (textuell, numerisch, visuell), nach Modellbindung (modell-spezifisch vs. modell-agnostisch) und nach Umfang (lokal für eine einzelne Vorhersage, global für das Gesamtverhalten). Als Beispiel führt das BSI ein netzwerkbasiertes Angriffserkennungssystem (IDS/NIDS) an, das Netzwerkpakete bewertet; hier sind lokale Feature-Erklärungen — etwa über SHAP-Werte — typischerweise geeigneter als visuelle Methoden.

Inhaltlich gliedert das Whitepaper:

1. Chancen — mehr Vertrauen und Akzeptanz KI-basierter Sicherheitssysteme; Effizienz- und Qualitätsgewinne bei der Bearbeitung von Sicherheitsaufgaben; Möglichkeit, Modelle anhand von Erklärungen zu härten.
2. Risiken — Erklärungen als Angriffsvektor (Informationsabfluss, Modelldiebstahl/Model Extraction); Zweckentfremdung von XAI-Methoden; Angriffe auf XAI-Verfahren selbst; Limitationen und Ressourcenbedarf.
3. Mitigation — konkrete Empfehlungen inklusive Checkliste für Wissensmanagement, Organisation und Technik.

Die BSI-Pressemitteilung vom 10.09.2026 betont denselben Kern: XAI kann Vertrauenswürdigkeit und Effizienz steigern, eröffnet aber zugleich neue Angriffsmöglichkeiten, etwa wenn Erklärungen Informationen über das zugrunde liegende Modell offenlegen.

Folgen für Behörden und öffentliche IT

Für die öffentliche Verwaltung ist der Anlass doppelt relevant. Erstens wächst der Einsatz KI-gestützter Komponenten in Security Operations — von Anomalie-Priorisierung über Phishing-Hinweise bis zu Unterstützungsfunktionen beim Reverse Engineering. Zweitens steigen die Anforderungen an revisionssichere Nachweise: Führungsebene, interne Revision, Datenschutz und — wo einschlägig — NIS-2-/BSIG-Pflichten verlangen nachvollziehbare Entscheidungen, nicht nur Alarmzahlen.

Konkrete Folgewirkungen:

• Betrieb und SOC: Ohne Erklärungen bleiben Falsch-Positive und Priorisierungsentscheidungen schwer begründbar. Mit geeigneter lokaler XAI können Analysten entscheiden, welche Features eine Alarmmeldung tragen — und wann sie eingreifen. Das Whitepaper verweist u. a. auf Ansätze, bei denen NIDS-Meldungen durch erklärbare Modelle priorisiert und Angriffsarten (DoS, Probe, U2R, R2L) validiert werden.
• Beschaffung und Abnahme: KI-Sicherheitsprodukte sollten nicht nur an Detektionsraten gemessen werden. Abnahmekriterien müssen Erklärbarkeit, Zugriffssteuerung auf Erklärungen, Abfrageraten und die Dokumentation der gewählten Methode umfassen.
• Risikomanagement: XAI ist kein Freifahrtschein. Model-Extraction-Angriffe nutzen umfangreiche Abfragen plus Erklärungsausgaben, um Entscheidungsgrenzen zu lernen und Detection zu umgehen. Erklärungen, die unnötig weit freigegeben werden, erhöhen die Angriffsfläche.
• Abgrenzung zur KI-Verordnung: Das Whitepaper ersetzt weder die Transparenzpflichten nach Art. 50 KI-VO noch Hochrisiko-Pflichten. Es adressiert den sicherheitsoperativen Einsatz von Erklärbarkeit. Behörden, die bereits Transparenz- und Kennzeichnungspflichten umsetzen, sollten XAI-Mitigationen als ergänzende Sicherheitskontrolle behandeln — nicht als Doppelregulierung, aber auch nicht als optionalen Schmuck.

Kurz: Wer KI in der Cyberabwehr der Verwaltung einsetzt, muss künftig begründen können, warum das System alarmiert hat — und wie verhindert wird, dass genau diese Begründung zum Angriffsvektor wird.

Was jetzt zu tun ist

Orientieren Sie sich an der BSI-Checkliste und übersetzen Sie sie in Behördenprozesse:

1. Bestandsaufnahme (zwei bis vier Wochen) Erfassen Sie, wo KI bereits in Detektion, Ticket-Priorisierung, Malware-Analyse oder Nutzerwarnungen wirkt — on-prem wie bei Dienstleistern. Dokumentieren Sie Modelltyp, Datenquellen und ob bereits XAI-Funktionen existieren.

2. Need-to-know für Erklärungen Beschränken Sie den Zugriff auf detaillierte Feature-Erklärungen auf Rollen, die sie für Analyse und Freigabe brauchen. Das BSI empfiehlt ausdrücklich, nur die für das Verständnis einer Vorhersage notwendigen Informationen freizugeben.

3. Abfragebegrenzung und Protokollierung Begrenzen Sie die Anzahl von Modell-/XAI-Abfragen (Beispielordnung des BSI: Kontingente mit Pausen), und protokollieren Sie Zugriffe revisionssicher. Das erschwert Modelldiebstahl und liefert Nachweise für Audits.

4. Risikoanalyse inklusive XAI-Methode Erweitern Sie bestehende Risikoanalysen: nicht nur das Vorhersagemodell, sondern die gewählte Erklärbarkeitsmethode, ihre Angreifbarkeit und ihre Computational Costs. Evaluieren Sie Alternativen nach Performance und Angreifbarkeit.

5. Organisatorische Absicherung Planen Sie regelmäßige Audits, Red Teaming gegen Modell und XAI sowie die Beobachtung von Cyber-Threat-Intelligence zu bekannten XAI-Schwachstellen. Schulen Sie Nutzende: Erklärungen können täuschen oder unvollständig sein.

6. Vergabe und Verträge Fordern Sie in Leistungsbeschreibungen nachvollziehbare Erklärungsausgaben, rollenbasierte Freigabe, Rate-Limits, Audit-Logs und Mitwirkungspflichten bei Red-Team-Tests. Lassen Sie sich die Eignung der XAI-Methode für den konkreten Anwendungsfall (lokal/global, Datenart) schriftlich darlegen.

7. Dokumentation für Führung und Revision Halten Sie fest: Welche KI-Sicherheitsfunktion ist produktiv? Welche XAI-Methode? Welche Mitigationsmaßnahmen sind aktiv? Welche Restgefahren akzeptiert die Leitung? Das Whitepaper ersetzt keine Rechtsberatung, liefert aber eine fachliche Struktur für diese Nachweise.

aqua cloud unterstützt Behörden und IT-Dienstleister dort, wo aus solchen Anforderungen prüfbare Nachweise in Anforderungs-, Test- und Fehlermanagement entstehen müssen — etwa wenn Abnahmekriterien für KI-Sicherheitskomponenten und ihre Erklärbarkeit revisionssicher festgehalten und nachverfolgt werden sollen. Das Whitepaper selbst bleibt die fachliche Leitquelle.