GUACAMOLE

Fertigungsunternehmen entwickeln Informationssysteme mit maschinellem Lernen (ML), um die Arbeit in Anwendungsfällen während des gesamten Produktlebenszyklus zu unterstützen. Sie tun dies im Rahmen von Entwicklungsprojekten. Sie erstellen Softwaresysteme mit ML-Komponenten, die eine Vorhersagefähigkeit bieten. Wir bezeichnen sie als ML-Lösungen. Derzeit sind ML-Entwicklungsprojekte mit zwei Schwierigkeiten konfrontiert, die ihre Effektivität bei der Bereitstellung geeigneter ML-Lösungen beeinträchtigen.

Die erste Schwierigkeit bezieht sich auf die Verständlichkeit von ML-Lösungen. ML-Lösungen setzen sich aus mehreren Softwarekomponenten, Lernalgorithmen und Hardwareressourcen zusammen. Datenwissenschaftler oder ML-Ingenieure ermitteln eine sinnvolle Konfiguration und Kombination von Komponenten durch Versuch und Irrtum, entsprechend früherer Erfahrungen oder Vorlieben. Dies kann unter Umständen dazu führen, dass alle möglichen Kombinationen getestet werden müssen, was zu längeren Entwicklungszeiten führt. Sobald eine sinnvolle Kombination gefunden wurde, ist es außerdem schwierig, die Zusammensetzung der ML-Lösung ordnungsgemäß zu dokumentieren, d. h. mit umfassenden Details, um die Entwicklung zu reproduzieren und etwaige Leistungskonflikte zu verstehen.

Die zweite Schwierigkeit bezieht sich auf die Erklärbarkeit von ML-Lösungen. Entwickelte ML-Lösungen müssen vor dem Einsatz im produktiven Anwendungsfall von Fachleuten ausgewählt und genehmigt werden. Dies ist aufgrund der inhärenten Komplexität der ML-Lösungskomponenten sowie der Komplexität der bereitgestellten Erklärungen schwer zu erreichen. ML-Lösungen werden in der Regel anhand von ML-Metriken validiert, z. B. F-Score, RMSE oder R2. Diese Metriken sind für Nicht-Experten schwer zu verstehen und haben wenig Aussagekraft über die Auswirkungen der ML-Lösung im Anwendungsfall.

Im Rahmen des GUACAMOLE-Projekts wurden prototypische Werkzeuge entwickelt, um diese beiden Probleme zu lösen. Im Laufe von 29 Monaten haben wir 4 Prototypen, ein Metadaten-Repository und Annotationsformate zur Unterstützung des ML-Lösungsentwicklungsprozesses entwickelt. Wir haben ihre Anwendbarkeit mit unserem Industriepartner bei TRUMPF diskutiert. Die zugrunde liegenden Konzepte wurden in mehreren wissenschaftlichen Publikationen veröffentlicht.

Der erste Prototyp, der ML Solution Designer, bietet eine Schnittstelle zum Entwurf von ML-Lösungsspezifikationen auf der Grundlage von Axiomatic Design for Machine Learning (AD4ML). Die daraus resultierenden ML-Lösungsspezifikationen können von dem Tool bewertet werden, bevor die entsprechende ML-Lösung implementiert wird. Außerdem können Entwicklungsteams ein Repository mit wiederverwendbaren Spezifikationskomponenten aufbauen, das in Zukunft genutzt werden könnte, um automatisch Komponenten zu empfehlen, wenn neue ML-Lösungen spezifiziert werden.

Der zweite Prototyp, der ML Solution Viewer, zeigt die annotierten Metadaten der ML-Lösungskomponenten an. Die Metadaten beschreiben die Datenmerkmale, die zum Trainieren eines ML-Modells verwendet werden, die technische Konfiguration, die Versionsnummern und die Parameterwerte der verwendeten Softwarekomponenten, die für den Einsatz der ML-Lösung erforderlichen Hardwareressourcen und die zu erwartende Leistung in Bezug auf mehrere Metriken. Diese Metadaten fassen alle notwendigen Informationen zusammen, um die Reproduzierbarkeit der ML-Ergebnisse zu ermöglichen. Sie dienen auch als Eingabedaten für die von AssistML bereitgestellten Empfehlungen zur Wiederverwendung.

Der dritte Prototyp, der ML Solution Tester, dient als Validierungswerkzeug für Datenwissenschaftler und Softwareentwickler, um sicherzustellen, dass die von ihnen erstellten Metadaten in ein gemeinsames Metadaten-Repository integriert werden können. Der Prototyp lässt verschiedene Teams wissen, welche ML-Lösungen zum Metadaten-Repository beigetragen wurden, und stellt ihnen einen Code zur Verfügung, mit dem sie ihre eigenen Entwicklungen einreichen können.

Der vierte Prototyp, AssistML, empfiehlt bestehende ML-Lösungen für die Wiederverwendung in neuen Anwendungsfällen. Der Prototyp sucht im Metadaten-Repository die ML-Lösungen heraus, die besser zu den Leistungsanforderungen des neuen Anwendungsfalls passen. AssistML stellt dann die ausgewählten Lösungen den Entscheidungsträgern in einfachen und intuitiven Berichten vor. Dadurch wird die Entwicklungszeit für neue Projekte verkürzt.

Zusammen bieten alle vier Prototypen einen Standardentwicklungsansatz zur Erstellung von ML-Lösungen für verschiedene Anwendungsfälle unter Verwendung unterschiedlicher Technologie-Stacks. Dies ermöglicht es Fertigungsunternehmen, viele Entwicklungsprojekte gleichzeitig abzudecken, ML-Lösungskomponenten schnell zu identifizieren und wiederzuverwenden und aussagekräftige Erklärungen für Experten und Nicht-Experten gleichermaßen bereitzustellen. Diese Vorteile führen zu kürzeren Entwicklungszeiten, geringerem Ressourceneinsatz pro Entwicklungsprojekt und besser informierten Entscheidungen zur Auswahl und Nutzung von ML-Lösungen.

Dieses Projekt begann am 1. Februar 2018 und endete am 30. Juni 2021.