Eine Erklärung ist ein Modell des Modells und nicht die Wahrheit. Was Explainable AI bedeutet, steht im Glossar unter Explainable AI. Hier geht es um die Abwägung, wann Nachvollziehbarkeit gefordert ist, welche Verfahren es gibt und was sie an Genauigkeit kosten.
Warum Nachvollziehbarkeit gefordert wird
Vier Gründe, und nur einer davon ist rechtlich:
Fehlersuche. Ein Modell, das falsch entscheidet, ohne dass man weiß warum, lässt sich nicht verbessern.
Akzeptanz. Mitarbeitende folgen einer Empfehlung, deren Begründung sie nachvollziehen können. Bei einer Blackbox entsteht Umgehung statt Nutzung.
Nachweis gegenüber Dritten. Bei einer Reklamation muss erklärbar sein, warum ein Teil freigegeben wurde.
Rechtliche Anforderungen. Die KI-Verordnung verlangt für Hochrisiko-Systeme unter anderem menschliche Aufsicht nach Artikel
1. Aufsicht ohne Verständnis der Entscheidung ist keine.
Genauigkeit gegen Erklärbarkeit abwägen
Modelle, die von sich aus erklärbar sind, sind meist die einfacheren. Lineare Modelle und Entscheidungsbäume lassen sich lesen, neuronale Netze mit Millionen Parametern nicht. Bei Tabellendaten ist der Unterschied oft kleiner als erwartet, denn ein gut gebauter Entscheidungsbaum kommt nah an ein komplexes Modell heran und ist dabei prüfbar. Bei Bildern und Sprache ist der Abstand groß, und dort gibt es keinen erklärbaren Ersatz.
Zu klären ist deshalb bei jedem Vorhaben, wie viel Genauigkeit die Prüfbarkeit im konkreten Fall wert ist. Bei einer Vorschlagsliste im Einkauf ist das wenig, bei einer Freigabeentscheidung an einem Sicherheitsbauteil viel.
Verfahren zur nachträglichen Erklärung und ihre Grenzen
Für komplexe Modelle gibt es nachgelagerte Verfahren:
Merkmalsgewichtung. Verfahren wie SHAP oder LIME zeigen, welche Eingangsgrößen eine einzelne Entscheidung getrieben haben.
Bildbereiche. Heatmaps markieren, welche Region eines Bildes zur Einschätzung geführt hat.
Gegenbeispiele. Was hätte sich ändern müssen, damit die Entscheidung anders ausfällt?
Alle drei haben dieselbe Einschränkung. Sie erzeugen eine plausible Näherung an die Modellentscheidung und keine Herleitung. Zwei Verfahren können unterschiedliche Erklärungen für dieselbe Entscheidung liefern, und beide sehen überzeugend aus. Für eine Dokumentationspflicht hat das Folgen. Eine Heatmap belegt keine Ursache, sie zeigt eine Vermutung des Erklärverfahrens. Wer sie als Nachweis in eine Reklamationsakte legt, sollte das wissen und die Erklärung entsprechend als Hinweis kennzeichnen.
Erklärbarkeit im Mittelstand und in der Digitalisierungsstrategie
Erklärbarkeit kommt im Mittelstand häufig erst nachträglich, weil sie im Pilotprojekt zunächst niemand braucht. Der Nachweisbedarf entsteht beim Übergang in den Regelbetrieb, wenn Kunden fragen, wenn der Betriebsrat beteiligt wird und wenn die erste Fehlentscheidung untersucht wird. Dann ist das Modell aber schon gewählt, und der Aufwand, nachträglich Erklärbarkeit einzubauen, ist höher als die Wahl eines prüfbaren Ansatzes von Anfang an. Deshalb gehört die Frage bereits in die Auswahl, ob diese Entscheidung später begründet werden muss. Wenn ja, ist Prüfbarkeit ein Auswahlkriterium und keine Zusatzfunktion. Welche KI-Art überhaupt zur Aufgabe passt, steht im Beitrag Künstliche Intelligenz im Mittelstand.
In der Digitalisierungspyramide der Dögel GmbH gehört Erklärbarkeit zur Stufe 3, der datenbasierten Steuerung. Sie ist Teil der Frage, wie Entscheidungen datenbasiert getroffen und verantwortet werden. Die praktische Voraussetzung liegt darunter. Ohne dokumentierte Prozesse und nachvollziehbare Datenherkunft lässt sich auch die beste Erklärung nicht einordnen. Mehr dazu im Beitrag Was ist Digital Operational Excellence?
Womit Sie bei der Erklärbarkeit beginnen
1. Nachweisbedarf feststellen. Muss diese Entscheidung gegenüber Kunden, Behörden oder Mitarbeitenden begründet werden? Die Antwort gehört vor die Modellwahl.
2. Einfaches Modell zuerst testen. Bei Tabellendaten ist es häufig ausreichend und von sich aus prüfbar.
3. Aufzeichnung festlegen. Welche Eingangsdaten, welche Entscheidung, welche Erklärung werden gespeichert, und wie lange?
Diese drei Schritte lassen sich selbst gehen. Wer es strukturiert will, bekommt es als DOpE-Analyse mit einer Bewertung, welche Anwendungsfälle tragen, welche Anforderungen gelten und welche Maßnahme nach Wirtschaftlichkeit zuerst kommt.
Sprechen Sie uns an. Auch das gehört zur Beratung: Wir sagen Ihnen, wenn Ihre Aufgabe mit einem einfachen, prüfbaren Modell besser gelöst ist.
Redaktion Dögel GmbH