Deep-Learning-Inferenz auf Intel-kompatiblen x86-CPUs
KI auf Intel CPUs
Mit der aktuellen Halcon-Version 18.05 kann erstmalig die Deep-Learning-Inferenz, also die Anwendung eines trainierten Netzes auf neue Daten, auch auf Intel-kompatiblen x86-CPUs ausgeführt werden und das annähernd mit der Geschwindigkeit einer Mittelklasse-GPU.
Bild: MVTec Software GmbHKI-basierte Technologien wie Deep Learning und Convolutional Neural Networks (CNNs) bieten viele Vorteile und sind damit für den Einsatz in Vision-Systemen geradezu prädestiniert: Dank selbstlernender Algorithmen können die Verfahren mittels Analyse großer Mengen an digitalen Bildinformationen verschiedene Objekte eigenständig kategorisieren. Im Rahmen eines Trainingsprozesses werden dabei spezifische Muster gelernt, die typisch für bestimmte Merkmale und damit für die Einordnung in eine entsprechende Objektklasse sind. Die Bilddaten von verschiedenen, zu erkennenden Gegenständen werden dazu sortiert (gelabelt) und einer Identität bzw. Klasse zugewiesen. Mit den so trainierten Modellen, auch Klassifikatoren genannt, lassen sich dann problemlos neu aufgenommene Bilder in die zuvor gelernten Klassen einordnen. Die Vorteile dieser Methodik liegen auf der Hand: Durch die große Trainings-Datenmenge werden nicht nur äußerst treffsichere Ergebnisse bei der Identifikation verschiedenster Objekte erzielt. Auch werden durch den ständigen Lernprozess der Aufwand und die Komplexität für das Training von Deep-Learning-Netzen reduziert. Wie können aber die Anwender davon profitieren? Eine Möglichkeit besteht darin, in eigener Regie ein entsprechendes Netz zu erstellen. Hierfür werden jedoch mehrere hunderttausend rechtlich einwandfreier Vergleichsbilder benötigt, um beispielsweise eine hohe Trefferquote bei der Erkennung von Defekten zu realisieren. Zudem ist die Entwicklung von CNNs äußerst komplex und setzt profundes Know-how voraus. Dieser Aufwand ist wohl für die meisten Unternehmen kaum zu stemmen.
Bild: MVTec Software GmbHWeniger Beispielbilder
Daher empfiehlt sich die Nutzung bereits vortrainierter Netze. MVTec nutzt für das Vortrainieren von Deep-Learning-Netzen einen Fundus von rund drei Millionen selbst erstellten, lizenzfreien Bildern aus dem industriellen Umfeld. Pro Klasse braucht der User zusätzlich nur etwa 300 bis 500 eigene Beispielbilder, anhand derer sich fehlerhafte Produkte trainieren und zuverlässig erkennen lassen. Zudem steckt in den vortrainierten Netzen bereits ein hohes Maß an Kompetenz, Expertise und Erfahrung, sodass dem Kunden damit viel Aufwand für das eigene Training abgenommen wird. Wichtig ist es nun, dass sich die Deep-Learning-basierten Machine-Vision-Funktionen nicht nur auf performanten, stationären Standard-PCs, sondern auch auf Embedded-Plattformen nutzen lassen. Denn kompakte Devices mit integrierter Embedded-Software finden im industriellen Umfeld immer mehr Verbreitung. Dazu zählen z.B. intelligente Kameras, Vision-Sensoren, Smartphones, Tablets oder Handhelds. Halcon bietet nun Deep-Learning-Algorithmen an, die auch auf Embedded-Boards auf Basis der weit verbreiteten Arm-Architektur laufen. Bereits für die Halcon-Version 17.12 wurde die Deep-Learning-Inferenz, also die Verwendung eines vortrainierten CNNs erfolgreich auf den Nvidia Jetson TX2 Boards, basierend auf 64-Bit-Arm-Prozessoren, getestet. Dabei stellt MVTec seinen Kunden auf Anfrage auch die für diese Architektur optimierte Halcon-Bibliothek zur Verfügung.
Standard-CPU statt Mittelklasse-GPU
Das Besondere: Die Deep-Learning-Inferenz erreichte mit fünf Millisekunden annähernd die Geschwindigkeit einer herkömmlichen Laptop-GPU, was eine ungewöhnlich hohe Ablauf-Performance auf einem Embedded-Device bedeutet - verglichen mit einem Standard-PC. Anwender sind damit in der Lage, alle Vorteile des Deep Learnings auch auf dem gängigen Embedded-Board Nvidia Jetson TX2 zu nutzen. Dennoch verfügt nicht jedes Device über eine leistungsfähige GPU. Daher geht MVTec noch einen Schritt weiter: Mit der aktuellen Version Halcon 18.05 kann erstmalig die Deep-Learning-Inferenz auch auf Intel-kompatiblen x86-CPUs ausgeführt werden. Damit lässt sich mit einer Laufzeit von etwa zwei Millisekunden auf einer Standard-Intel-CPU die Performance einer Mittelklasse-GPU erreichen, was die operative Flexibilität von Systemen entscheidend erhöht. So können konventionelle Industrie-PCs, die üblicherweise über keine performanten GPUs verfügen, nun problemlos für Klassifikationsaufgaben auf Basis von Deep Learning genutzt werden.
www.mvtec.com
Mit der aktuellen Halcon-Version 18.05 kann erstmalig die Deep-Learning-Inferenz, also die Anwendung eines trainierten Netzes auf neue Daten, auch auf Intel-kompatiblen x86-CPUs ausgeführt werden und das annähernd mit der Geschwindigkeit einer Mittelklasse-GPU.
Bild: MVTec Software GmbHKI-basierte Technologien wie Deep Learning und Convolutional Neural Networks (CNNs) bieten viele Vorteile und sind damit für den Einsatz in Vision-Systemen geradezu prädestiniert: Dank selbstlernender Algorithmen können die Verfahren mittels Analyse großer Mengen an digitalen Bildinformationen verschiedene Objekte eigenständig kategorisieren. Im Rahmen eines Trainingsprozesses werden dabei spezifische Muster gelernt, die typisch für bestimmte Merkmale und damit für die Einordnung in eine entsprechende Objektklasse sind. Die Bilddaten von verschiedenen, zu erkennenden Gegenständen werden dazu sortiert (gelabelt) und einer Identität bzw. Klasse zugewiesen. Mit den so trainierten Modellen, auch Klassifikatoren genannt, lassen sich dann problemlos neu aufgenommene Bilder in die zuvor gelernten Klassen einordnen. Die Vorteile dieser Methodik liegen auf der Hand: Durch die große Trainings-Datenmenge werden nicht nur äußerst treffsichere Ergebnisse bei der Identifikation verschiedenster Objekte erzielt. Auch werden durch den ständigen Lernprozess der Aufwand und die Komplexität für das Training von Deep-Learning-Netzen reduziert. Wie können aber die Anwender davon profitieren? Eine Möglichkeit besteht darin, in eigener Regie ein entsprechendes Netz zu erstellen. Hierfür werden jedoch mehrere hunderttausend rechtlich einwandfreier Vergleichsbilder benötigt, um beispielsweise eine hohe Trefferquote bei der Erkennung von Defekten zu realisieren. Zudem ist die Entwicklung von CNNs äußerst komplex und setzt profundes Know-how voraus. Dieser Aufwand ist wohl für die meisten Unternehmen kaum zu stemmen.
MVTec Software GmbH
Dieser Artikel erschien in inVision Newsletter 11 2018 - 06.06.18.Für weitere Artikel besuchen Sie www.invision-news.de
