Transparenz in der KI: Wie die Hochschule Karlsruhe die Black-Box-Eigenschaft durchbricht

Im Kompetenzzentrum KARL der Hochschule Karlsruhe werden innovative KI-gestützte Arbeits- und Lernsysteme entwickelt, die die Potenziale dieser Technologie aufzeigen. Im Fokus steht dabei der Mensch, weshalb es essenziell ist, dass KI-Empfehlungen den Nutzenden verständlich erklärt werden. Die entwickelten Demonstratoren veranschaulichen, wie erklärbare KI (XAI) in verschiedenen Kontexten erfolgreich eingesetzt werden kann. Zusätzlich unterstützt KARL Unternehmen bei der Integration von XAI in ihre eigenen Anwendungen, um nachvollziehbare Entscheidungen und erhöhtes Vertrauen in KI-Systeme zu ermöglichen. 

Ariane Lindemann im Gespräch mit Robin Weitemeyer von der Hochschule Karlsruhe (HKA) / University of Applied Sciences. 

Kannst du uns einen Überblick darüber geben, wie euer Projekt bei der Hochschule Karlsruhe dazu beiträgt, die Black-Box-Eigenschaft von KI-Systemen zu durchbrechen und nachvollziehbare Entscheidungen zu ermöglichen?

Im Kompetenzzentrum KARL werden unter anderem verschiedene KI-gestützte Arbeits- und Lernsysteme entwickelt, um die Potenziale dieser Technologie aufzuzeigen. Da der Mensch in unserem Projekt im Mittelpunkt steht, ist es für uns bei diesen Assistenzsystemen integral, dass die KI-Empfehlungen dem Nutzenden erklärt werden. Diese Demonstratoren dienen als Beispiele, wie man Methoden der erklärbaren KI (XAI) in unterschiedlichen Kontexten erfolgreich einsetzen kann. Darüber hinaus haben wir Hilfestellungen für Unternehmen entwickelt, die sie bei der Integration von XAI in ihre eigenen KI-Anwendungen unterstützen.

Wie stellt ihr sicher, dass die erklärbaren KI-Methoden (XAI), die ihr anwendet, sowohl für Expert:innen als auch für Endnutzende verständlich sind?

Ob eine Erklärung effektiv ist, hängt vom Vorwissen und den Bedürfnissen der Empfänger:innen ab. In der Regel genügt es daher nicht, für Expert:innen und Endnutzende dieselbe Erklärung zu erzeugen. Vielmehr müssen verschiedene Erklärungen erstellt werden, die auf die jeweilige Zielgruppe angepasst sind. Wir beziehen die Zielgruppen daher seit Anfang an im gesamten Entwurfs- und Entwicklungsprozess mit ein, um die XAI-Lösungen entsprechend ihrer unterschiedlichen Anforderungen umzusetzen. Letzten Endes ist es ist jedoch unumgänglich, die Erklärungsansätze direkt an der Zielgruppe zu evaluieren. Damit wird sichergestellt, dass die Erklärungen die erforderlichen Informationen liefern und diese auch auf eine verständliche Weise vermitteln.

Welche konkreten Anwendungsfälle im Bereich der Produktion oder der Mobilität habt ihr in eurem Projekt untersucht, und was waren die wichtigsten Erkenntnisse?

Im Bereich der Produktion entwickeln wir einen KI-basierten Schichtplanungsassistenten für Blanc & Fischer. Dadurch soll der Schichtmeister entlastet werden. Besonders dann, wenn schnell auf Änderungen im verfügbaren Personal reagiert werden muss. Der Schichtmeister soll hier jedoch das letzte Wort haben und die KI-Empfehlung prüfen und bestätigen. Ihm diese Entscheidung zu erklären ist daher essentiell. Bei Befragungen hat sich herausgestellt, dass sich auch die betroffenen Mitarbeitenden Transparenz im KI-System wünschen. Sie möchten gegebenenfalls nachfragen können, wie ihre Schicht geplant wurde. Schon während des Einführungsprozesses die Kriterien zu kommunizieren, anhand derer die KI ihre Entscheidungen trifft, trägt daher stark zur Akzeptanzsteigerung bei den Mitarbeitenden bei.

Welche weiteren Anwendungsfälle gibt es?

Im Bereich der Mobilität arbeiten wir mit INIT an einem KI-Assistenzsystem für die Leitstellen des ÖPNVs. Dadurch sollen die Disponent:innen entlastet werden, indem das System Vorschläge für dispositive Maßnahmen liefert. Bei unseren Befragungen hat sich auch hier gezeigt, dass XAI ein wichtiger Schritt hin zu einer höheren Akzeptanz darstellt. Es wurde vermutet, dass Disponent:innen die KI-Empfehlungen einfach wegklicken, falls diese nicht mit der eigenen Entscheidung übereinstimmt. Durch zusätzliche Erklärungen können Disponent:innen einen KI-Vorschlag besser nachvollziehen und so möglicherweise zum Schluss kommen, dass sie in diesem konkreten Fall doch sinnvoll ist. Gerade für unerfahrenere Disponent:innen kann das eine große Hilfe sein. Dies ist jedoch ein sehr zeitraubender Anwendungsfall. Bei der Umsetzung des Assistenzsystems muss daher darauf geachtet werden, dass die Erklärungen nicht zu komplex sind und in einer schnell zu verstehenden Weise dargestellt werden.

Inwiefern helfen die von euch verwendeten XAI-Methoden, das Vertrauen der Endnutzenden in KI-Systeme zu stärken?

Wir haben in KARL nicht das Ziel KI-Assistenzsysteme zu entwickeln, denen Endnutzende einfach blind vertrauen. Ganz im Gegenteil. Man soll die KI-Ausgaben kritisch hinterfragen und zusätzliche Informationen erhalten, um fundiert bewerten zu können, ob man einer KI-Empfehlung vertraut und sie annimmt oder nicht. Dadurch, dass Endnutzende so die Kontrolle über das System behalten und die KI-Ausgaben nachvollziehen können, möchten wir die Akzeptanz gegenüber dieser Technologie stärken.

Könnt ihr einige der wichtigsten rechtlichen Rahmenbedingungen erläutern, die den Einsatz von XAI beeinflussen, insbesondere im Kontext der DSGVO und der KI-Verordnung?

In der KI-Verordnung der Europäischen Kommission wurden nun Rechte der EU-Bürger, die bereits in der DSGVO aufgeführt waren, in Anforderungen an KI-Systeme überführt. Der Einsatz von XAI wird hier nicht explizit als Anforderung festgehalten, diese Technologie ist jedoch wichtig für die Sicherstellung der Transparenz von KI-Systemen und der Erleichterung der Interpretation der KI-Ausgaben. So ist es beispielsweise unter Umständen notwendig, die KI-Ausgaben einem menschlichen Entscheider zu erklären. Konkret hat die hochrangige Expertengruppe für künstliche Intelligenz der EU, die maßgeblich an dem Entwurf der KI-Verordnung beteiligt war, in ihrer Bewertungsliste für vertrauenswürdige KI definiert, dass die Erklärbarkeit von KI-Systemen ein integraler Bestandteil einer transparenten KI ist. Man muss in der Lage sein, das KI-Verhalten einem Menschen zu erklären und es muss auch regelmäßig geprüft werden, ob die entsprechende Zielgruppe die Erklärungen versteht.

Welche Schlüsselanforderungen der EU-Kommission für eine vertrauenswürdige KI sind für euer Projekt besonders relevant und warum?

Für uns sind vor allem die Transparenz und die Interaktion des Endnutzenden mit der KI wichtig. Da wir im Projekt KARL einen menschzentrierten Fokus auf KI haben, sind diese Aspekte in allen unseren KI-Anwendungen relevant. Diese Punkte finden sich in der KI-Verordnung u.a. in den Anforderungen aus Kapitel III Abschnitt 2 Artikel 13 und 14 wieder. Für KI-Systeme mit hohem Risiko wird hier festgehalten, dass eine menschliche Aufsichtspflicht gilt. Natürliche Personen müssen in der Lage sein, Ergebnisse der KI-Systeme interpretieren zu können, was ein angemessenes Maß an Transparenz voraussetzt. In Kapitel 4 werden außerdem Transparenzverpflichtungen festgehalten, die allgemein gelten, wenn eine natürliche Person mit einem KI-System interagiert. Endnutzende müssen spätestens bei der ersten Interaktion mit dem System gewisse Informationen erhalten. Dazu gehört beispielsweise, dass es sich um ein KI-basiertes System handelt. In unserem Projekt ist es nicht nur wichtig, das KI-Verhalten nachvollziehbar zu gestalten, sondern auch allgemeine Informationen zu den KI-Anwendungen zu liefern, um ihre Möglichkeiten und Limitierungen aufzuzeigen und dadurch Transparenz und Vertrauen zu schaffen.

Welche XAI-Methoden haben sich in euren Untersuchungen als besonders vielversprechend erwiesen, und was sind deren jeweilige Vor- und Nachteile?

SHAP hat sich als eine sehr mächtige XAI-Methode erwiesen. Mit ihr kann man nicht nur einzelne KI-Entscheidungen (lokal) erklären, sondern auch Einblicke in das gesamte KI-Verhalten (global) liefern. Dabei wird analysiert, wie stark der Einfluss der verschiedenen Eingabemerkmale auf die KI-Ausgabe ist. Je nachdem wie man SHAP also einsetzt, können damit Erklärungen für Endnutzende erzeugt werden, um eine konkrete KI-Empfehlung besser zu verstehen. Expert:innen können durch globale Erklärungen, aber auch die Sinnhaftigkeit des gesamten KI-Verhaltens prüfen. Darüber hinaus ist SHAP sehr flexibel, da es für beliebige KI-Modelle genutzt werden kann. Das ist ein großer Vorteil gegenüber Methoden wie LRP, die nur auf speziellen Modellen angewendet werden können. Dafür hat LRP aber wiederum den Vorteil, dass es weniger Rechenaufwand benötigt als SHAP. Erklärungen können also schneller bereitgestellt werden, was möglicherweise relevant für zeitkritische Anwendungen ist.

Wie gestaltet ihr die Schulungsinhalte und Workshops, die im Rahmen des KARL-Projekts angeboten werden, um sicherzustellen, dass sie praxisnah und effektiv sind?

Wir vermitteln unsere Inhalte anhand praxisnaher Beispiele, wie unter anderem auch unseren eigenen KI-Demonstratoren. In die Angebote sind Erfahrungen miteingeflossen, die wir selbst bei der Konzipierung und Umsetzung unserer KI-Assistenzsysteme gesammelt haben. In unseren Workshops wenden die Teilnehmenden außerdem das neu erlangte Wissen direkt auf unseren oder wahlweise ihren eigenen KI-Anwendungsfällen an. Unsere Angebote basieren dabei nicht nur auf praktischen Erfahrungen, sondern auch auf wissenschaftlichen Erkenntnissen. Um die Effektivität darüber hinaus sicherzustellen, haben wir diese bereits an Unternehmen erprobt und deren Feedback umgesetzt.

Wie sieht das Tool zur Identifikation geeigneter XAI-Methoden aus, das ihr entwickelt habt, und wie können Unternehmen davon profitieren?

Auf Basis der menschzentrierten Anforderungen eines XAI-Anwendungsfalls werden Eigenschaften einer effektiven XAI-Umsetzung aufgeführt und erklärt. Diese beziehen sich nicht nur auf die zu verwendeten XAI-Methoden, sondern auch auf die XUI zur Darstellung der Erklärungen in einer angemessenen Benutzendenoberfläche. Das verwendete Regelsystem haben wir dabei aus gesammelten wissenschaftlichen Erkenntnissen und unseren eigenen Erfahrungen im XAI-Bereich abgeleitet. Entwickler:innen eines erklärbaren KI-Systems sollen damit eine Handreichung gegeben werden, die XAI-Methoden nicht nur anhand technischer Aspekte, sondern vor allem aufgrund der Anforderungen und dem Vorwissen der Endnutzenden empfiehlt.

In welchen Branchen seht ihr das größte Potenzial für den Einsatz von XAI, und warum?

Am wichtigsten wird XAI natürlich in den Bereichen sein, in denen der Einsatz aufgrund rechtlicher Verpflichtungen notwendig wird. Beispielsweise wegen einer menschlichen Aufsichtspflicht. Ein typisches Beispiel einer solchen Anwendung mit hohem Risiko kommt aus dem Gesundheitssektor. KI kann zu einer erheblichen Zeitersparnis bei der Krebserkennung auf CT-Bildern führen. Ärzt:innen müssen jedoch die KI-Entscheidung bestätigen, um die Diagnose zu stellen, da dies nach der KI-Verordnung nicht automatisiert geschehen darf. Durch XAI können auf den CT-Bildern die Stellen markiert werden, anhand derer die KI zu ihrer Entscheidung kam. Dies kann auf Pixelebene geschehen, wodurch den Ärtz:innen die als Tumor klassifizierten Bildbereiche präzise dargestellt werden. Dadurch wird es dem menschlichen Entscheidenden ermöglicht, das KI-Verhalten zu interpretieren und zu prüfen. Eine ähnliche Notwendigkeit für XAI wird es z.B. auch in den Finanz- und Versicherungsbranchen geben.
Großes Potenzial auch ohne rechtliche Verpflichtungen kann es weiter im produzierenden Gewerbe geben. Immer dann, wenn ein hoher Qualitätsstandard an den KI-Algorithmus gestellt wird. Beispielsweise bei der automatisierten Sichtprüfung. Übliche Evaluationsmetriken sind dafür oft nicht aussagekräftig genug. Zahlen allein stellen nicht das sinnhafte Verhalten einer KI sicher. Mithilfe von XAI können Entwickler:innen und Domänenexpert:innen zusätzliche Einblicke in die KI-Logik erhalten und somit bereits vor dem Einsatz beurteilen, ob das System den Qualitätsansprüchen genügt.

Welche langfristigen Auswirkungen erhofft ihr euch von der breiten Anwendung erklärbarer KI-Methoden auf die Gesellschaft und die Art und Weise, wie wir mit KI-Systemen interagieren?

Wir erhoffen uns eine Steigerung der Akzeptanz und des Vertrauens in KI-Systeme, wenn diese erklärbar gestaltet sind. Ein Großteil der Gesellschaft ist immer noch nicht mit KI vertraut, obwohl die Menschen bereits heute von dieser Technologie beeinflusst wird. Um langfristig das Vertrauen in diese Technologie zu stärken, ist es wichtig, deren Funktionsweise und Limitierung aufzuzeigen. Indem einem Endnutzenden die KI-Ausgabe erklärt wird, kann ein realistisches Bild vermittelt werden, wie das KI-System mit dem man interagiert arbeitet. Dadurch kann die Akzeptanz gesteigert werden, ohne gleichzeitig das kritische Hinterfragen der KI-Anwendungen zu verlieren. Aus unserer Sicht sollte das Ziel nämlich gerade nicht das blinde Vertrauen in diese Technologie sein.

Über KARL

Ziel von KARL ist es, KI-unterstützte Arbeits- und Lernsysteme menschzentriert, transparent und lernförderlich zu gestalten und in konkreten Praxisanwendungen demonstrierbar zu machen. Das Projekt richtet sich an Unternehmen, Beschäftigte und Interessierte in der Region Karlsruhe, die KI-unterstützte Arbeits- und Lernsysteme einsetzen, sich damit auseinandersetzen oder diese besser verstehen wollen. KARL ist eines von derzeit 13 regionalen Kompetenzzentren, die sich mit den Auswirkungen von Künstlicher Intelligenz (KI) auf die Lern- und Arbeitswelt beschäftigen.

Das CyberForum ist Teil des Projektkonsortiums und hauptsächlich mit der Öffentlichkeitsarbeit, dem Community-Management sowie dem Nachhaltigkeitskonzept betraut. Konsortialführer ist die Hochschule Karlsruhe. Projektpartner sind neben sieben Forschungs- bzw. Transferpartnern auch zehn regionale Unternehmen.