Blick in die Black Box
Heatmap ermöglicht mehr Deep-Learning-Transparenz
Deep-Learning-Netze sind noch weitgehend eine Black Box. Anwender können die Entscheidung des Klassifikators während des Inspektionsprozesses oft nicht direkt nachvollziehen. Anhand einer Heatmap lässt sich jetzt erkennen, welche Bereiche eines Bildes starken Einfluss auf die Zuordnung des abgebildeten Objekts zu einer bestimmten Klasse haben.
Bild: MVTec Software GmbHModerne Bildverarbeitungssysteme nutzen seit geraumer Zeit Verfahren, die auf künstlicher Intelligenz (KI) beruhen, wie etwa Deep Learning. Durch das Training mittels Bilddaten lernt die Technologie eigenständig Merkmale, die typisch für eine bestimmte Objektklasse sind. Dies erleichtert die automatische Zuweisung der Bildinformationen zur jeweiligen Klasse und sorgt für wesentlich robustere Erkennungsraten. Auf diese Weise lassen sich sowohl Objekte als auch Defekte präziser identifizieren und lokalisieren. Der Trainingsvorgang läuft jedoch weitgehend im Dunkeln ab. Nutzer können nicht nachvollziehen, was das Deep-Learning-Netzwerk aus den Daten lernt. Im Falle einer falschen Klassifikation lässt sich der Fehler daher nur sehr schwer aufdecken und debuggen. Ein Beispiel aus einem Praxistest: Ein Braunbär, der auf einer Eisfläche stand, wurde von den Deep-Learning-Algorithmen als Eisbär klassifiziert. Die Software konnte aufgrund eines fehlgeleiteten Trainingsprozesses nicht zwischen dem Hintergrund und dem zu erkennenden Objekt unterscheiden. Aufgrund des mangelnden Einblicks in die Deep-Learning-Black-Box lässt sich der Fehler nicht eindeutig eingrenzen, was die zweifelsfreie Erkennung behindert.
Aufzeigen relevanter Bildbereiche
Ein neues Bildverarbeitungs-Feature schafft hier Abhilfe: MVTec Halcon 19.11 beinhaltet eine Heatmap-Funktion, die auf der Grad-CAM-Methode (Gradient-Weighted Class Activation Mapping) basiert. Damit lässt sich präzise analysieren, welche Teile eines Bildes den größten Einfluss auf die Zuordnung eines Objekts zu einer bestimmten Klasse haben. Diese Bereiche werden im Bild mittels einer Falschfarbendarstellung hervorgehoben. Dies erleichtert die Detektion von Trainingsfehlern, was mehr Transparenz in den gesamten Prozess bringt und die Erkennung von Gegenständen und Defekten deutlich verbessert. Zurück Eisbärbeispiel: Die Heatmap führt hier zu der Erkenntnis, dass das Deep-Learning-Netz als wichtigstes Unterscheidungsmerkmal im Erkennungsprozess nicht den Bären selbst, sondern den Hintergrund, also die Eis- bzw. Schneefläche gewählt hat. Das Training beruhte also auf fehlerhaften oder unvollständigen Daten und führte deshalb zum falschen Ergebnis. Auf Basis der Heatmap-Auswertung kann nun ein zusätzliches Training stattfinden, in dem weitere Bilder ergänzt werden. Diese können beispielsweise Braunbären zeigen, die sich im Schnee aufhalten. Dieser Trainingsvorgang kann iterativ so lange wiederholt werden, bis ein optimales Erkennungsresultat erreicht ist.
Ergebnisse in Millisekunden
Die Heatmap auf Basis der Grad-CAM-Methode bringt nicht nur Licht in die Deep-Learning-Black-Box, sondern erhöht auch das Vertrauen in die KI-Technologie: Durch die Kenntnis der entscheidungsrelevanten Bildbereiche lässt sich besser nachvollziehen, warum und auf welche Weise das Netz bestimmte Kriterien für die Klassifizierung ausgewählt hat. Auf dieser Grundlage kann dann der Prozess angepasst und das gesamte Training effizienter gestaltet werden. Unternehmen werden somit eher bereit sein, in anspruchsvolle Deep-Learning-Technologien zu investieren. Eine derartige Visualisierungs-Methodik ist zwar schon seit längerer Zeit am Markt verfügbar. Die Ausführungszeit lag hierbei aber im Sekundenbereich. Im Vergleich dazu überzeugt die neue, Grad-CAM-basierte Heatmap von MVTec mit ihrer Schnelligkeit: Die Technologie arbeitet im einstelligen Millisekunden-Bereich und ist daher für Online-Visualisierungs-Anwendungen optimal geeignet. Zudem läuft das Feature im neuen Software-Release Halcon 20.05 nun auch auf einer CPU, benötigt also keine energiehungrige GPU mehr. So lässt sich die Heatmap auch auf Geräten nutzen, die über keine dedizierte GPU verfügen. Dazu zählen z.B. viele Industrie-PCs, welche die hohe Abwärme eines leistungsstarken Grafikprozessors nicht ableiten können oder deren Gehäuse nicht genug Platz dafür bietet.
Deep-Learning-Netze sind noch weitgehend eine Black Box. Anwender können die Entscheidung des Klassifikators während des Inspektionsprozesses oft nicht direkt nachvollziehen. Anhand einer Heatmap lässt sich jetzt erkennen, welche Bereiche eines Bildes starken Einfluss auf die Zuordnung des abgebildeten Objekts zu einer bestimmten Klasse haben.
Bild: MVTec Software GmbHModerne Bildverarbeitungssysteme nutzen seit geraumer Zeit Verfahren, die auf künstlicher Intelligenz (KI) beruhen, wie etwa Deep Learning. Durch das Training mittels Bilddaten lernt die Technologie eigenständig Merkmale, die typisch für eine bestimmte Objektklasse sind. Dies erleichtert die automatische Zuweisung der Bildinformationen zur jeweiligen Klasse und sorgt für wesentlich robustere Erkennungsraten. Auf diese Weise lassen sich sowohl Objekte als auch Defekte präziser identifizieren und lokalisieren. Der Trainingsvorgang läuft jedoch weitgehend im Dunkeln ab. Nutzer können nicht nachvollziehen, was das Deep-Learning-Netzwerk aus den Daten lernt. Im Falle einer falschen Klassifikation lässt sich der Fehler daher nur sehr schwer aufdecken und debuggen. Ein Beispiel aus einem Praxistest: Ein Braunbär, der auf einer Eisfläche stand, wurde von den Deep-Learning-Algorithmen als Eisbär klassifiziert. Die Software konnte aufgrund eines fehlgeleiteten Trainingsprozesses nicht zwischen dem Hintergrund und dem zu erkennenden Objekt unterscheiden. Aufgrund des mangelnden Einblicks in die Deep-Learning-Black-Box lässt sich der Fehler nicht eindeutig eingrenzen, was die zweifelsfreie Erkennung behindert.
Aufzeigen relevanter Bildbereiche
Ein neues Bildverarbeitungs-Feature schafft hier Abhilfe: MVTec Halcon 19.11 beinhaltet eine Heatmap-Funktion, die auf der Grad-CAM-Methode (Gradient-Weighted Class Activation Mapping) basiert. Damit lässt sich präzise analysieren, welche Teile eines Bildes den größten Einfluss auf die Zuordnung eines Objekts zu einer bestimmten Klasse haben. Diese Bereiche werden im Bild mittels einer Falschfarbendarstellung hervorgehoben. Dies erleichtert die Detektion von Trainingsfehlern, was mehr Transparenz in den gesamten Prozess bringt und die Erkennung von Gegenständen und Defekten deutlich verbessert. Zurück Eisbärbeispiel: Die Heatmap führt hier zu der Erkenntnis, dass das Deep-Learning-Netz als wichtigstes Unterscheidungsmerkmal im Erkennungsprozess nicht den Bären selbst, sondern den Hintergrund, also die Eis- bzw. Schneefläche gewählt hat. Das Training beruhte also auf fehlerhaften oder unvollständigen Daten und führte deshalb zum falschen Ergebnis. Auf Basis der Heatmap-Auswertung kann nun ein zusätzliches Training stattfinden, in dem weitere Bilder ergänzt werden. Diese können beispielsweise Braunbären zeigen, die sich im Schnee aufhalten. Dieser Trainingsvorgang kann iterativ so lange wiederholt werden, bis ein optimales Erkennungsresultat erreicht ist.
Ergebnisse in Millisekunden
Die Heatmap auf Basis der Grad-CAM-Methode bringt nicht nur Licht in die Deep-Learning-Black-Box, sondern erhöht auch das Vertrauen in die KI-Technologie: Durch die Kenntnis der entscheidungsrelevanten Bildbereiche lässt sich besser nachvollziehen, warum und auf welche Weise das Netz bestimmte Kriterien für die Klassifizierung ausgewählt hat. Auf dieser Grundlage kann dann der Prozess angepasst und das gesamte Training effizienter gestaltet werden. Unternehmen werden somit eher bereit sein, in anspruchsvolle Deep-Learning-Technologien zu investieren. Eine derartige Visualisierungs-Methodik ist zwar schon seit längerer Zeit am Markt verfügbar. Die Ausführungszeit lag hierbei aber im Sekundenbereich. Im Vergleich dazu überzeugt die neue, Grad-CAM-basierte Heatmap von MVTec mit ihrer Schnelligkeit: Die Technologie arbeitet im einstelligen Millisekunden-Bereich und ist daher für Online-Visualisierungs-Anwendungen optimal geeignet. Zudem läuft das Feature im neuen Software-Release Halcon 20.05 nun auch auf einer CPU, benötigt also keine energiehungrige GPU mehr. So lässt sich die Heatmap auch auf Geräten nutzen, die über keine dedizierte GPU verfügen. Dazu zählen z.B. viele Industrie-PCs, welche die hohe Abwärme eines leistungsstarken Grafikprozessors nicht ableiten können oder deren Gehäuse nicht genug Platz dafür bietet.
MVTec Software GmbH
Dieser Artikel erschien in inVISION 3 (Juni) 2020 - 02.06.20.Für weitere Artikel besuchen Sie www.invision-news.de
