Methoden des maschinellen Lernens haben sich für ein breites Spektrum von Anwendungsbereichen bei der Extraktion wesentlicher Informationen aus Daten als bemerkenswert erfolgreich erwiesen. Im Hinblick auf Anwendungen sind drei Aspekte eines gelernten Modells relevant: Transparenz, Interpretierbarkeit und Erklärbarkeit.
Die Transparenz eines ML-Ansatzes betrifft seine verschiedenen Bestandteile. Dazu gehören die Modellstruktur, die einzelnen Modellkomponenten, der Lernalgorithmus und die Art und Weise, wie die spezifische Lösung durch den Algorithmus erhalten wird. Ein verwendeter ML-Ansatz ist transparent, wenn der Weg, wie das Modell aus Trainingsdaten extrahiert wird und wie neue Vorhersagen generiert werden, vom Entwickler des ML-Ansatzes beschrieben und motiviert werden können.
Das Ziel der Interpretierbarkeit besteht darin, einige der Eigenschaften eines ML-Modells für einen Menschen verständlich aufzubereiten und darzustellen. Im Idealfall könnte man die Frage beantworten: "Können wir verstehen, worauf der ML-Algorithmus seine Entscheidung stützt?"
Eigenschaften und Ziele, die bei der Betrachtung der Erklärbarkeit von ML-Algorithmen relevant sind, umfassen Sicherheit/Vertrauen, Verantwortlichkeit, Reproduzierbarkeit, Übertragbarkeit, Robustheit oder nicht übereinstimmende Zielvorstellungen. Erklärungen sollen typischerweise drei Klassen von Fragen beantwortenein: (1) Was-Fragen, wie z.B. "Was ist geschehen?"; (2) Wie-Fragen, wie z.B. "Wie ist dieses Ereignis geschehen?"; und (3) Warum-Fragen, wie z.B. "Warum ist dieses Ereignis geschehen?". Methodisch gesehen kann eine Sammlung von Interpretationen eine Erklärung nur mit weiteren kontextuellen Informationen sein, die sich aus dem Domänenwissen ergeben und mit dem Analyseziel in Zusammenhang stehen.