Der Einsatz der Schlüsseltechnologie KI in sicherheitskritischen Anwendungen, wie z.B. Biometrie und Automotive, bietet einerseits enorme Chancen bzw. ist Voraussetzung für geforderte Funktionalitäten. Andererseits sind die Mehrzahl der (perspektivisch) im Einsatz befindlichen KI-Systeme nicht formal zu verifizieren und dadurch ergeben sich neue Herausforderungen für deren Prüfung. So sind neben dem Lebenszyklus eines KI-Systems und dessen Einbettung in den Anwendungskontext neben dem Aspekt IT-Sicherheit auch weitere Vertrauenswürdigkeitsaspekte wie Zuverlässigkeit und Interpretierbarkeit zu betrachten. In dieser Session sollen zunächst der aktuelle Stand der Prüfbarkeit von KI-Systemen, die Herausforderungen und erste Lösungsansätze zu deren Bewältigung vorgestellt werden.