Scoping und Zieldefinition
Gemeinsam bestimmen wir Systeme, Testzugänge und Ausschlüsse. Architektur und Datenflüsse bilden die Grundlage der Testplanung.
Ihre Situation
KI-Pentest: LLM-gestützte Anwendungen prüfen
Sie nutzen Künstliche Intelligenz in einer Webanwendung, mobilen App oder internen Plattform? Oder Sie entwickeln eigene Produkte mit Large-Language-Model-Komponenten und möchten deren Sicherheit gezielt prüfen lassen?
Kostenfrei und unverbindlich.
- BSI-zertifiziert für IS-Penetrationstests
- Methodik nach OWASP AI Testing Guide
- OWASP Top 10 for LLM Applications
Ihre Situation
Reicht Ihr bisheriger Pentest für die KI-Funktion noch aus?
KI-Funktionen werden zunehmend in bestehende Anwendungen eingebunden. Chatbots beantworten Kundenfragen, interne Assistenten fassen Dokumente zusammen, andere Systeme durchsuchen Wissensbestände oder steuern angebundene Werkzeuge. Dabei entstehen neue Übergänge zwischen Anweisungen, Daten und Aktionen.
Ein klassischer Penetrationstest prüft weiterhin Authentisierung, Autorisierung und Schnittstellen der Anwendung. KI-Funktionen bringen zusätzliche Angriffsmöglichkeiten mit. Vielleicht stellen Sie sich deshalb Fragen wie:
- Kann unser Chatbot vertrauliche Informationen preisgeben?
- Lassen sich Systemanweisungen durch Prompt Injection umgehen?
- Können manipulierte Dokumente das Verhalten unserer KI beeinflussen?
- Greift die KI auf Daten oder Funktionen zu, für die sie nicht berechtigt ist?
- Können Angreifer über die KI angebundene Systeme erreichen?
- Reicht unser bisheriger Webanwendungs-Pentest für die KI-Integration noch aus?
Ein isolierter Scan des Sprachmodells beantwortet diese Fragen nicht vollständig. Viele Angriffswege entstehen erst im Zusammenspiel von Modell, Anwendung, Daten und Berechtigungen. Ein KI-Pentest untersucht deshalb gezielt, ob sich KI-Funktionen und ihre Einbindung angreifen oder missbrauchen lassen. Geht es eher um die Steuerung des KI-Einsatzes in Ihrer Organisation, hilft ein KI-Managementsystem nach ISO/IEC 42001.
Prüffelder
Was wir bei einem KI-Pentest prüfen
Welche Bereiche relevant sind, hängt von Ihrer KI-Integration ab. Bei secuvera umfasst die Sicherheitsanalyse die gesamte KI-gestützte Anwendung.
Typische Prüffelder
- Prompt Injection und Steuerbarkeit: ob manipulierte Eingaben Systemvorgaben umgehen oder das Verhalten der KI beeinflussen
- Schutz sensibler Informationen: ob die Anwendung vertrauliche Daten, interne Inhalte oder Systemanweisungen ungewollt offenlegt
- Rollen und Berechtigungen: ob die KI auf unzulässige Daten, Funktionen oder Werkzeuge zugreifen kann
- Ausgaben und Weiterverarbeitung: ob ungeprüfte Modellausgaben nachgelagerte Prozesse oder Systeme gefährden
- Schnittstellen und Drittsysteme: ob sich angebundene Programmierschnittstellen oder Datenquellen für Angriffe missbrauchen lassen
- Anwendung und Infrastruktur: wie KI-spezifische Angriffe mit klassischen Schwachstellen zusammenspielen
Wann eine Prüfung besonders sinnvoll ist
- Vor dem produktiven Einsatz einer neuen KI-Funktion
- Während der Entwicklung sicherheitskritischer Funktionen
- Nach Änderungen an Modell, Systemprompts oder Datenquellen
- Wenn die Integration auf vertrauliche oder personenbezogene Informationen zugreift
- Wenn die KI Werkzeuge oder Drittsysteme ansteuern kann
- Als regelmäßige Prüfung einer geschäftskritischen Anwendung
- Als Nachtest nach behobenen Sicherheitsbefunden
- Wenn regulatorische Anforderungen technische Sicherheitsnachweise erfordern
Sinnvolle Ergänzungen
- Webanwendungs- oder API-Pentest, wenn die KI über Weboberflächen oder Programmierschnittstellen erreichbar ist
- Mobile-App-Prüfung, wenn die Funktion in Android- oder iOS-Apps eingebunden ist
- Cloud Security Assessment, wenn Modelle, Daten oder Schnittstellen in Cloud-Diensten betrieben werden
- C5-Beratung, wenn ein Cloud-Dienst Anforderungen des BSI C5 einordnen muss
- ISO/IEC-42001-Beratung, wenn Sie neben der technischen Prüfung auch Governance, Risikomanagement und Prozesse für KI etablieren möchten
Leistung & Ergebnisse
Wie ein KI-Pentest bei secuvera abläuft
Sie erfahren, ob Ihre Chatbots, Assistenten und andere LLM-gestützte Funktionen gegen Angriffe wie Prompt Injection, den Abfluss vertraulicher Informationen oder unberechtigte Zugriffe auf angebundene Daten und Werkzeuge bestehen. Systeme und Szenarien legen Sie mit uns fest; Sie erhalten einen Prüfbericht mit eingeordneten Befunden und Empfehlungen aus automatisierten und manuellen Tests.
Unsere Pentester:innen prüfen Implementierung, Datenflüsse, Schnittstellen und angebundene Systeme. So erkennen sie auch übergreifende Angriffsketten. Die Leistungen werden nicht automatisch gebündelt: Architektur und Scope bestimmen, welche Prüfungen fachlich sinnvoll sind.
Vorbereitung der Prüfung
Wir erfassen die relevanten Angriffsflächen und bereiten passende Testszenarien vor.
Durchführung der Tests
Automatisierte Werkzeuge schaffen eine reproduzierbare Grundabdeckung. Manuelle Tests untersuchen kontextbezogene und mehrstufige Angriffsszenarien.
Bewertung der Befunde
Wir prüfen die Ergebnisse manuell und ordnen mögliche Auswirkungen im Anwendungskontext ein.
Bericht und Ergebnisbesprechung
Sie erhalten einen Prüfbericht mit nachvollziehbaren Befunden und Empfehlungen. Kritische Punkte erläutern wir im Abschlussgespräch.
Ihr Ergebnis
Ein Prüfbericht, der Schwachstellen, mögliche Auswirkungen und empfohlene Maßnahmen nachvollziehbar darstellt. Damit können Entwicklung und Security Befunde priorisieren, Schutzmaßnahmen gezielt ausrichten und behobene Schwachstellen nachtesten lassen.
Optionaler Nachtest
Auf Wunsch prüfen wir, ob vereinbarte Schwachstellen wirksam behoben wurden.
Unsere Expertise
KI-spezifische Befunde lassen sich nur im konkreten Anwendungskontext zuverlässig einordnen. Automatisierte Werkzeuge wie garak schaffen dabei nur eine erste, reproduzierbare Abdeckung. Die entscheidende Einordnung erfolgt manuell durch unsere Pentester:innen.
Für IS-Penetrationstests BSI-zertifiziert
secuvera ist vom Bundesamt für Sicherheit in der Informationstechnik für Penetrationstests zertifiziert. Die damit verbundenen Qualitätsanforderungen und etablierten Prüfprozesse bringen wir auch in unsere KI-Pentests ein.
Pentest-Zertifizierung im BSI-VerzeichnisBSI-zertifizierte IS-Penetrationstester
Unsere Pentester:innen kennen Schwachstellen in Webanwendungen, mobilen Apps, Programmierschnittstellen und Cloud-Umgebungen. Dieses Wissen verbinden sie mit KI-spezifischen Angriffsszenarien.
BSI-Qualifikation für IS-Penetrationstester ansehen
OWASP Corporate Member und Silber-Sponsor
KI-Sicherheit entwickelt sich schnell weiter. Unsere Prüfmethodik orientiert sich an der jeweils aktuellen Fassung des OWASP AI Testing Guide und an den OWASP Top 10 for LLM Applications. Neue Angriffsmuster übernehmen wir nach fachlicher Bewertung in unsere Prüfpraxis.
secuvera als Corporate Supporter bei OWASP ansehenIhr Einstieg
KI-Integration und Prüfumfang gemeinsam abstecken
Architektur und Datenflüsse
Für die Testplanung brauchen wir einen Überblick über Modell, Systemprompts, Datenquellen, angebundene Werkzeuge und Berechtigungen.
Testzugänge und Ausschlüsse
Wir legen gemeinsam fest, welche Systeme, Umgebungen und Rollen geprüft werden und was ausgeschlossen bleibt.
EU AI Act: Anlass, aber keine pauschale Testpflicht
Der EU AI Act kann ein zusätzlicher Anlass sein. Artikel 15 stellt an Hochrisiko-KI-Systeme Anforderungen an Genauigkeit, Robustheit und Cybersicherheit. Ein KI-Pentest kann die technische Bewertung der Cybersicherheit unterstützen, indem er Schwachstellen und Angriffsmöglichkeiten sichtbar macht. Der AI Act schreibt einen solchen Test jedoch nicht pauschal vor, und der Pentest ersetzt weder eine Rechtsberatung noch eine vollständige Konformitätsbewertung.
Der KI-Pentest ist eine zeitpunktbezogene Prüfung des vereinbarten Scopes. Er kann keine dauerhafte oder vollständige Sicherheit garantieren.
Fragen zum KI-Pentest
Reicht unser Webanwendungs-Pentest für die KI-Integration aus?
Ein klassischer Pentest prüft Authentisierung, Autorisierung und Schnittstellen der Anwendung. KI-Funktionen bringen zusätzliche Angriffswege mit, etwa Prompt Injection oder manipulierte Dokumente. Der KI-Pentest ergänzt die Prüfung der Anwendung, er ersetzt sie nicht.
Genügt ein automatisierter Scan des Sprachmodells?
Nein. Viele Angriffswege entstehen erst im Zusammenspiel von Modell, Anwendung, Daten und Berechtigungen. Werkzeuge wie garak schaffen eine reproduzierbare Grundabdeckung; die Bewertung erfolgt manuell im Anwendungskontext.
Wann ist der richtige Zeitpunkt für einen KI-Pentest?
Das hängt von Entwicklungsstand, Schutzbedarf und Änderungen am System ab. Sinnvoll ist eine Prüfung vor dem produktiven Einsatz einer neuen KI-Funktion, nach Änderungen an Modell, Systemprompts oder Datenquellen und wenn die KI auf vertrauliche Daten, Werkzeuge oder Drittsysteme zugreift.
Schreibt der EU AI Act einen KI-Pentest vor?
Nicht pauschal. Artikel 15 fordert für Hochrisiko-KI-Systeme Genauigkeit, Robustheit und Cybersicherheit; ein KI-Pentest kann die technische Bewertung unterstützen. Welche Pflichten gelten, hängt vom System, der Rolle des Unternehmens und dem Einsatzkontext ab. Die rechtliche Einordnung sollte getrennt von der technischen Prüfung erfolgen.
Welche Prüfungen ergänzen einen KI-Pentest?
Eine KI-Funktion ist meist Teil einer größeren Anwendung. Je nach Architektur kommen ein Webanwendungs- oder API-Pentest, eine Mobile-App-Prüfung, ein Cloud Security Assessment, C5-Beratung oder ISO/IEC-42001-Beratung hinzu. Architektur und Scope bestimmen, welche Kombination fachlich sinnvoll ist.