Verborgene Schätze
Einsatz von gespeicherten Bilddaten bietet deutlichen Mehrwert
Bilddaten sind ein Schatz, der für spätere Auswertungen und weiteren Mehrwert eine wesentliche Grundlage bilden kann. Die nähere Betrachtung liefert gleich mehrere Gebiete, in denen solche Bilddaten vorteilhaft eingesetzt werden können, z.B. maschinelles Lernen, der Vergleich von Visionsystemen oder der Inbetriebnahme.
Bild: Fraunhofer-Institut für Optronik, SystemtechnikDie Branche der industriellen Bildverarbeitung wächst jedes Jahr mit beeindruckenden Zuwachsraten. Gründe dafür liegen u.a. in der stärkeren Durchdringung von möglichen Applikationen und in der Erschließung neuer Anwendungen. Daraus folgt, dass immer mehr Bilder aus völlig unterschiedlichen Aufgabenstellungen aufgenommen werden, d.h. Abbilder der Realität mit Objekten, Defekten, Szenen, Beleuchtungskonstellationen, Bildstörungen? Im Zeitalter von Big-Data-Analysen sollte es eigentlich möglich sein, solche Bilder für den Anwender gewinnbringend einzusetzen, um Wissen über die Aufgabenstellung abzuleiten und damit neue Lösungen zu finden. Die Realität sieht allerdings meist so aus: Bildverarbeitungssysteme nehmen Bilder auf und werten sie unmittelbar aus, um aus dem Inspektionsergebnis die gewünschte Information (z.B. Gut-/Schlecht, Position eines Objekts) zu erhalten. Die Bilder selbst werden direkt danach gelöscht. Begründet wird dies oft damit, dass durch die Speicherung der Daten Zusatzaufwand entsteht, was zunächst aufgrund der Menge an Daten nicht von der Hand zu weisen ist. Auch Datenschutzgründe werden genannt, obwohl wesentliche gesetzliche Regelungen (z.B. DSGVO) nicht anzuwenden sind, da es sich bei den Bilddaten in den wenigsten Fällen um personenbezogene Daten handelt. Aber worin liegt der Nutzen von massenhaft gewonnenen industriellen Bilddaten?
Bilddaten für maschinelles Lernen
Dazu lohnt sich ein Blick in Richtung maschinellen Lernens, u.a. künstliche neuronale Netze. Grundgedanke dort ist, dass das automatische System aus gegebenen Datenbeispielen selbständig Schlüsse zieht und Regeln erstellt. Dazu ist eine Vielzahl von Daten erforderlich, damit alle relevanten Eigenschaften und Variationen in den Daten enthalten sind, so dass die gezogenen Schlüsse für die Realität geeignet sind. Es lässt sich beobachten, dass mit der Anzahl guter Daten - d.h. Daten, die realitätsnah sind und deren zugeordnete Qualitätsaussage korrekt (gelabelt) ist - auch die Qualität der Schlüsse steigt. Gebraucht werden dabei auch Schlechtmuster, die man in der realen Produktion nur selten findet. In den realen Daten sind solche realen Fehler aber enthalten, und das auch noch mit relevanter Häufigkeit. Reale Bilddaten sind daher wertvoll zum Training beim maschinellen Lernen.
Bild: Fraunhofer-Institut für Optronik, SystemtechnikAutomatische Klassifikation
Soll z.B. geprüft werden, ob ein neues bzw. anderes Verfahren des maschinellen Lernens für eine Aufgabenstellung geeignet ist, werden bisher meist mit großem Aufwand extra neue Bilddaten gewonnen, die dann (meist händisch) möglichst korrekt Klassen zugeordnet werden müssen. Sind Bilddaten jedoch bereits vorhanden und wurde bestenfalls das Klassifikationsergebnis des Visionsystems mitgespeichert, kann der Schritt der Bilddatenaufnahme und der Vorklassifikation entfallen, da das Bildverarbeitungssystem in der Regel korrekt klassifiziert hat. Das Labeln wurde also durch das System bereits erledigt. Vorhandene gelabelte Bilddaten können also direkt verwendet werden, um verbesserte, komplexe Klassifikatoren einzulernen. Bisherige Falschklassifikationen in den gespeicherten Daten fallen somit schnell auf und können - da solche Fälle nur selten auftreten - bei Bedarf manuell korrigiert werden (Bild 1). Auch zum Vergleich unterschiedlicher Klassifikatoren können gespeicherte Bilder eingesetzt werden. Dies ist etwa erforderlich, wenn für eine zeitkritische Aufgabe ein echtzeitfähiger, aber einfacher Klassifikator verwendet werden muss. Ein Vergleich mit einem mächtigen, aber langsameren Klassifikator hilft, den Preis für die Echtzeitfähigkeit der Klassifikation einzuschätzen. In der Folge erhält der Kunde eine Möglichkeit, die Qualität des Bildverarbeitungssystems objektiv zu bewerten. Dieselbe Überlegung lässt sich zur Bewertung von Weiterentwicklungen anstellen.
Vergleich von Systemen
Vorhandene Bilddaten helfen auch, um unterschiedliche Bildverarbeitungssysteme objektiv miteinander zu vergleichen. Viele Bildverarbeitungssysteme - gerade auch solche, die mittels maschinellen Lernverfahren klassifizieren - sind Black-Box-Systeme, deren Klassifikationseigenschaften nicht analytisch, z.B. durch Betrachtung der zur Klassifikation verwendeten Merkmale und Entscheidungsgebiete, erschlossen werden können. Hier kann die Betrachtung von anwendungsspezifischen Bilddaten helfen, um statistische Aussagen zu gewinnen oder das Systemverhalten anhand typischer Produkteigenschaften zu bewerten. Selbst wenn man das Ergebnis eines (bisherigen) Bildverarbeitungssystems nicht zur Verfügung hat oder nicht verwenden möchte, können die Bilder immer noch für unüberwachte Verfahren der Bildanalyse verwendet werden. Mittels Clustering-Verfahren lässt sich z.B. ermitteln, ob in den Bildern Auffälligkeiten enthalten sind, die ggf. durch das Bildverarbeitungssystem nicht erkannt worden sind, weil sie bisher nicht spezifizierte Defekte zeigen oder nach bisheriger Einschätzung nicht relevant waren. Solche Bilder können auch die Grundlage für weitergehende Verfahren des Data Mining bilden, um etwa den Produktionsprozess zu überwachen, Fehlerquellen in Produktionsketten zu analysieren oder Produktionsprozesse durch gezielte Variation von Prozessparametern zu optimieren.
Bild: Fraunhofer-Institut für Optronik, SystemtechnikEntscheidungen analysieren
Sind gespeicherte Bilddaten verfügbar, lassen sich im Nachhinein auch die Entscheidungen des Bildverarbeitungssystems zusätzlich zu Log-Dateien analysieren. Dies kann z.B. erforderlich werden, um bei Häufungen von Klassifikationsfehlern die Ursachen hierfür zu finden, etwa eine dunkler werdende Beleuchtung oder Schmutz auf der Linse. Außerdem helfen gespeicherte Bilddaten, längerfristige Produktveränderungen zu erkennen, die zu Änderungen in der Klassifikationsleistung von Bildverarbeitungssystemen führen können. Nicht nur landwirtschaftliche Produkte können je nach Jahreszeit ihr Aussehen verändern, so dass die ursprüngliche Einstellung des Bildverarbeitungssystems nicht mehr optimal ist. Der Vergleich von Bilddaten über längere Zeitspannen - ggf. mit unüberwachten Lernverfahren - kann helfen, um solche Veränderungen zu erkennen. Der Anwender kann in beiden Fällen eine solche Analyse durchaus auch selbst umsetzen, sofern eine entsprechende Software zur Speicherung, Strukturierung und Visualisierung verfügbar ist.
Schnellere Inbetriebnahme
Auch bei der Erstellung neuer Bildverarbeitungssysteme helfen gespeicherte Bilddaten aus ähnlichen Anlagen. Reale Daten lassen sich - ggf. mit passenden Änderungen oder Ergänzungen, etwa mittels Verfahren aus der Computergrafik - nutzen, um frühzeitig und parallel zur Erstellung der Produktionsanlage auch das Bildverarbeitungssystem zu konzipieren und zu parametrieren. Der Vorteil realer Bilddaten liegt darin, dass diese Daten bereits realitätsnahe Variationen beinhalten. Für den Kunden bedeutet dies eine schnellere Inbetriebnahme des Bildverarbeitungssystems, im Idealfall gleichzeitig mit der Produktionsanlage. Ein weiterer Vorteil besteht darin, dass anhand dieser Daten, die ohne großen Aufwand an die Hersteller der Bildverarbeitungssysteme gesendet werden können, der Vergleich mehrerer Systeme frühzeitig möglich ist und das beste ausgewählt werden kann, bevor die reale Produktion beginnt. Demgegenüber wird momentan meist eine geringe Anzahl von Musterteilen an die Hersteller übergeben, was langwierig und fehleranfällig ist und eine parallele Angebotserstellung durch die Hersteller verhindert.
Handhabung von Bilddaten
Am Fraunhofer IOSB werden Überlegungen zur Nutzung von gespeicherten Bilddaten bereits seit längerem angestellt. Sie haben dazu geführt, dass die Bildverarbeitungssysteme des IOSB so gestaltet sind, dass die Bilddaten gespeichert werden können und dann als Datenschatz zur Verfügung stehen. Dies beginnt mit dem Design von Bildverarbeitungssystemen. Diese werden so ausgelegt, dass die Bilddaten zusammen mit Meta-Informationen (z.B. Zeitstempel, Klassifikationsergebnisse, ggf. Güte der Klassifikationsentscheidung) über längere Zeit gespeichert werden. Auf Wunsch können auch weitergehende Informationen aus dem Prozess (z.B. Sensordaten) umfassend abgelegt werden. Darauf aufbauend existieren Tools, um die gespeicherte Bilddaten zu handhaben und zu analysieren, z.B. auf Grundlage von Python oder dem SyncViewer (Bild 2). Dazu kommen datengetriebene Prozessanalysen und daraus abgeleitete Optimierungen zum Einsatz. Vorhersagende Verfahren lassen sich verwenden, um aus den gespeicherten Bildern frühzeitig Prozessabweichungen zu erkennen. Auch zur Optimierung von Klassifikatoren werden die Bilddaten eingesetzt, indem z.B. die Ergebnisse eines Echtzeit-Klassifikators mit den Ergebnissen eines nicht-echtzeitfähigen mächtigen Klassifikators verglichen werden. Schließlich werden Bilddaten genutzt, um neue Bildverarbeitungssysteme für ähnliche Aufgabenstellungen schon vor dem Produktionsanlauf zu erstellen.
Fazit
Der Nutzen massenhaft gespeicherter Bilddaten ist vielfältig. Sie ermöglichen ein tieferes Verständnis des zu überwachenden Prozesses, lassen dort sonst kaum wahrnehmbare Einflussfaktoren erkennbar werden, machen Klassifikationsentscheidungen von Bildverarbeitungssystemen nachvollziehbar und helfen bei deren Bewertung und Optimierung. Der vergleichsweise geringe Preis, der dafür erforderlich ist, besteht im Wesentlichen aus den Kosten für die Hardware zur Speicherung, die Software zur Analyse der Daten sowie aus dem Arbeitsaufwand für die Sichtung der Analyseergebnisse.
Bilddaten sind ein Schatz, der für spätere Auswertungen und weiteren Mehrwert eine wesentliche Grundlage bilden kann. Die nähere Betrachtung liefert gleich mehrere Gebiete, in denen solche Bilddaten vorteilhaft eingesetzt werden können, z.B. maschinelles Lernen, der Vergleich von Visionsystemen oder der Inbetriebnahme.
Bild: Fraunhofer-Institut für Optronik, SystemtechnikDie Branche der industriellen Bildverarbeitung wächst jedes Jahr mit beeindruckenden Zuwachsraten. Gründe dafür liegen u.a. in der stärkeren Durchdringung von möglichen Applikationen und in der Erschließung neuer Anwendungen. Daraus folgt, dass immer mehr Bilder aus völlig unterschiedlichen Aufgabenstellungen aufgenommen werden, d.h. Abbilder der Realität mit Objekten, Defekten, Szenen, Beleuchtungskonstellationen, Bildstörungen? Im Zeitalter von Big-Data-Analysen sollte es eigentlich möglich sein, solche Bilder für den Anwender gewinnbringend einzusetzen, um Wissen über die Aufgabenstellung abzuleiten und damit neue Lösungen zu finden. Die Realität sieht allerdings meist so aus: Bildverarbeitungssysteme nehmen Bilder auf und werten sie unmittelbar aus, um aus dem Inspektionsergebnis die gewünschte Information (z.B. Gut-/Schlecht, Position eines Objekts) zu erhalten. Die Bilder selbst werden direkt danach gelöscht. Begründet wird dies oft damit, dass durch die Speicherung der Daten Zusatzaufwand entsteht, was zunächst aufgrund der Menge an Daten nicht von der Hand zu weisen ist. Auch Datenschutzgründe werden genannt, obwohl wesentliche gesetzliche Regelungen (z.B. DSGVO) nicht anzuwenden sind, da es sich bei den Bilddaten in den wenigsten Fällen um personenbezogene Daten handelt. Aber worin liegt der Nutzen von massenhaft gewonnenen industriellen Bilddaten?
Fraunhofer-Institut für Optronik, Systemtechnik
Dieser Artikel erschien in inVISION 4 2019 - 09.09.19.Für weitere Artikel besuchen Sie www.invision-news.de
