Eine Erklärung ist ein Modell des Modells, nicht die Wahrheit. Was Explainable AI bedeutet, steht im Glossar unter Explainable AI. Hier geht es um die Abwägung: wann Nachvollziehbarkeit gefordert ist, welche Verfahren es gibt und was sie an Genauigkeit kosten.
Warum Nachvollziehbarkeit gefordert wird
Vier Gründe, und nur einer davon ist rechtlich:
Fehlersuche. Ein Modell, das falsch entscheidet, ohne dass man weiß warum, lässt sich nicht verbessern.
Akzeptanz. Mitarbeitende folgen einer Empfehlung, deren Begründung sie nachvollziehen können. Bei einer Blackbox entsteht Umgehung statt Nutzung.
Nachweis gegenüber Dritten. Bei einer Reklamation muss erklärbar sein, warum ein Teil freigegeben wurde.
Rechtliche Anforderungen. Die KI-Verordnung verlangt für Hochrisiko-Systeme unter anderem menschliche Aufsicht nach Artikel 14, und Aufsicht ohne Verständnis der Entscheidung ist keine.
Der Zielkonflikt: Genauigkeit gegen Erklärbarkeit
Modelle, die von sich aus erklärbar sind, sind meist die einfacheren: lineare Modelle und Entscheidungsbäume lassen sich lesen. Neuronale Netze mit Millionen Parametern nicht.
Bei Tabellendaten ist der Unterschied oft kleiner als erwartet, denn ein gut gebauter Entscheidungsbaum kommt nah an ein komplexes Modell heran und ist dabei prüfbar. Bei Bildern und Sprache ist der Abstand groß, und dort gibt es keinen erklärbaren Ersatz.
Die Frage lautet deshalb nicht „erklärbar oder genau“, sondern: Wie viel Genauigkeit ist die Prüfbarkeit wert? Bei einer Vorschlagsliste im Einkauf wenig. Bei einer Freigabeentscheidung an einem Sicherheitsbauteil viel.
Verfahren zur nachträglichen Erklärung und ihre Grenzen
Für komplexe Modelle gibt es nachgelagerte Verfahren:
Merkmalsgewichtung. Verfahren wie SHAP oder LIME zeigen, welche Eingangsgrößen eine einzelne Entscheidung getrieben haben.
Bildbereiche. Heatmaps markieren, welche Region eines Bildes zur Einschätzung geführt hat.
Gegenbeispiele. Was hätte sich ändern müssen, damit die Entscheidung anders ausfällt?
Alle drei haben dieselbe Einschränkung: Sie erzeugen eine plausible Näherung an die Modellentscheidung, keine Herleitung. Zwei Verfahren können unterschiedliche Erklärungen für dieselbe Entscheidung liefern, und beide sehen überzeugend aus.
Für eine Dokumentationspflicht ist das entscheidend: Eine Heatmap belegt keine Ursache, sie zeigt eine Vermutung des Erklärverfahrens. Wer sie als Nachweis in eine Reklamationsakte legt, sollte das wissen und die Erklärung als Hinweis kennzeichnen, nicht als Begründung.
Warum Erklärbarkeit im Mittelstand oft nachträglich kommt
Weil sie im Pilotprojekt niemand braucht. Der Nachweisbedarf entsteht beim Übergang in den Regelbetrieb, wenn Kunden fragen, wenn der Betriebsrat beteiligt wird, wenn die erste Fehlentscheidung untersucht wird.
Dann ist das Modell aber schon gewählt. Der Aufwand, nachträglich Erklärbarkeit einzubauen, ist höher als die Wahl eines prüfbaren Ansatzes von Anfang an. Deshalb gehört die Frage in die Auswahl: Muss diese Entscheidung später begründet werden? Wenn ja, ist Prüfbarkeit ein Auswahlkriterium und keine Zusatzfunktion.
Welche KI-Art überhaupt zur Aufgabe passt, steht im Beitrag Künstliche Intelligenz im Mittelstand.
Explainable AI in der Digitalisierungsstrategie: Stufe 3 im DOpE-Modell
In der Digitalisierungspyramide der Dögel GmbH gehört Erklärbarkeit zur Stufe 3, der datenbasierten Steuerung. Sie ist Teil der Frage, wie Entscheidungen datenbasiert getroffen und verantwortet werden.
Die praktische Voraussetzung liegt darunter: Ohne dokumentierte Prozesse und nachvollziehbare Datenherkunft lässt sich auch die beste Erklärung nicht einordnen. Mehr dazu im Beitrag Was ist Digital Operational Excellence?
Erklärbarkeit klären: die ersten drei Schritte
1. Nachweisbedarf feststellen. Muss diese Entscheidung gegenüber Kunden, Behörden oder Mitarbeitenden begründet werden? Die Antwort gehört vor die Modellwahl.
2. Einfaches Modell zuerst testen. Bei Tabellendaten häufig ausreichend und von sich aus prüfbar.
3. Aufzeichnung festlegen. Welche Eingangsdaten, welche Entscheidung, welche Erklärung werden gespeichert, und wie lange?
Diese drei Schritte lassen sich selbst gehen. Wer es strukturiert will, bekommt es als DOpE-Analyse: eine Bewertung, welche Anwendungsfälle tragen, welche Anforderungen gelten und welche Maßnahme nach Wirtschaftlichkeit zuerst kommt.
Sprechen Sie uns an. Wir sagen Ihnen auch, wenn Ihre Aufgabe mit einem einfachen, prüfbaren Modell besser gelöst ist.
Redaktion Dögel GmbH