Anzeige

Vision in der Edge

TITELSTORY: Vision-Anwendungen mit Edge-Architektur

Klassische Bildverarbeitung oder smarte Vision-Sensoren ist in vielen Anwendungen die Gretchenfrage. Es gibt aber noch weitere Aspekte, denn mit klassischer Bildverarbeitung lassen sich viele Anforderungen nicht so umsetzen, dass damit auch preissensitive Applikationen erreichbar sind. Neuronale Netze sowie KI eröffnen hier neue Wege. Hinzu kommt, dass die Anwendungen nicht unbedingt im separaten Rechner ablaufen, der Trend geht in Richtung Embedded Vision und Edge.

Bild: ifm electronic gmbhBild: ifm electronic gmbh
Bild 1 | In der Intralogistik gibt es zahlreiche Anwendungen für Autonomous Mobile Robots (AMRs).

Klassische Bildverarbeitungslösungen sind sehr leistungsfähig und bieten zum Beispiel hohe Auflösungen und schnelle Verarbeitungsgeschwindigkeiten. Sie können einzelne Teile gut mit einer vorgegebenen Geometrie vergleichen und liefern dabei sehr gute Erkennungsquoten. Typische Anwendungen solcher Systeme finden sich etwa in der Fertigung zur Inline-Qualitätskontrolle. Aber mit anderen Aufgaben, die auf den ersten Blick einfach erscheinen, sind solche Lösungen überfordert, weil sie sich nicht formal bzw. mathematisch beschreiben lassen. Ein typisches Beispiel ist die Erkennung einer Hand. Zur Faust geballt, einzelne oder alle Finger ausgestreckt, mit der Handfläche nach oben oder unten, rechte oder linke Hand - die möglichen Bilder sind so unterschiedlich, dass sie mit einer auf Algorithmen basierten Bildverarbeitung nicht mit ausreichender Sicherheit als Hand erkannt werden können.

Bild: ifm electronic gmbhBild: ifm electronic gmbh
Bild 2 | Mit verschiedenen 2D- und 3D-Kameras bietet ifm ein breites Produktportfolio für die unterschiedlichsten industriellen Anwendungen.

Werker-Assistenzsystem mit KI

Das für die eigene Produktion im ifm Werk in Tettnang entwickelte Werker-Assistenzsystem mate stellt aber genau diese Anforderung. Über eine Kamera, die oberhalb des Arbeitsplatzes montiert ist, soll das System die Hand detektieren, um zu erkennen, ob der Mitarbeiter in eine bestimmte Box gegriffen hat. Zum Einsatz kommt hier eine auf neuronalen Netzen basierende Technologie der Künstlichen Intelligenz (KI). Mit einem Deep-Learning-Ansatz erreicht das System eine beeindruckend hohe Erkennungssicherheit. Ob der Werker Rechts- oder Linkshänder ist, spielt dabei ebenso wenig eine Rolle wie die Haltung der Hand. Das Assistenzsystem kommt durch die optische Handerkennung ohne zusätzliche Hilfsmittel, wie VR-Brillen oder Tracker am Handgelenk aus

Bild: ifm electronic gmbhBild: ifm electronic gmbh
Bild 3 | Die automatische Palettenerkennung ist eine der Anwendungen, die mit den O3D-Kameras von ifm als Embedded-Lösung umgesetzt werden können.

Vom AGV

zum AMR

Für diesen Ansatz des maschinellen Lernens in der Bildverarbeitung gibt es zahlreiche weitere potenzielle Applikationen. Einer der größten Wachstumsmärkte für 3D-Bildverarbeitung, die neben dem Bild auch Abstandsinformationen für jedes Pixel ermittelt, ist die Intralogistik. Automated Guided Vehicles (AGV) oder auch Fahrerlose Transportfahrzeuge sind bereits weit verbreitet und bieten enorme Potenziale für Flexibilisierung und Effizienzsteigerung in Logistik- und Produktionsanwendungen. AGVs arbeiten mit einer Vielzahl unterschiedlicher Sensoren, die es ihnen ermöglicht, sich auf vorgegebenen Routen beispielsweise innerhalb einer Lagerhalle zu bewegen. Zusätzlich ist standardmäßig eine Kollisionsüberwachung installiert, die in der Regel auf einem Laserscanner basiert. Dieser überwacht den Bereich in Fahrtrichtung etwa 10cm über dem Boden und stoppt das AGV, wenn es ein Hindernis auf dem geplanten Weg erkennt. Unfälle werden so wirkungsvoll vermieden, und die AGVs können auch in Umgebungen eingesetzt werden, in denen sich Personen aufhalten könnten. Diese auf Laserscannern basierende Kollisionsüberwachung hat allerdings auch Einschränkungen: Typisches Beispiel ist ein Gegenstand, der aus einem Regalfach herausragt. Da der Laserscanner nur den Bereich nah am Boden überwacht, kann er solche Hindernisse nicht erkennen. Eine 3D-Kamera wie die O3D von ifm kann hier deutlich mehr Informationen liefern und damit auch die Hindernis-Erkennung verfeinern.

Mit 3D-Kameras und den genannten Methoden der KI lässt sich auch der Weg in Richtung zunehmende Autonomie beschreiten. Aus AGVs werden AMRs (Autonomous Mobile Robot) mit deutlich umfangreicheren Fähigkeiten. Eine typische Anwendung ist etwa die Palettenerkennung für autonome Gabelstapler. Der Gabelstapler navigiert dabei mit den beschriebenen Methoden bis zu der Position, an der er eine Palette aufnehmen soll. Die genaue Positionierung der Gabel ist dann eine sehr anspruchsvolle Aufgabe, die ifm mit der O3D-Kamera gelöst hat, die etwas oberhalb und zwischen den Gabelzinken montiert ist. Wenn sich der Gabelstapler auf eine bestimmte Entfernung an die Palette angenähert hat, nimmt die 3D-Kamera ein Bild auf und wertet es direkt aus. Als Ergebnis liefert das System die Koordinaten der Palette in x-, y- und z-Richtung sowie eventuelle Verdrehungen um die Vertikalachse oder horizontale Verkippungen. Bei diesem Pallet Detection System (PDS) arbeitet die Bildverarbeitung direkt in der Kamera. Damit verfolgt ifm eine Strategie, bei der viele Funktionalitäten direkt in der Edge erledigt werden. Diese Architektur eignet sich besonders bei fest vorgegebenen Anwendungsfällen, für die dann die passenden Funktionalitäten im Edge-Gerät zur Verfügung gestellt werden. Der Anwender bzw. Systemintegrator muss in diesem Fall keine weitere Softwareentwicklung betreiben.

KI-Funktionalitäten in der Edge

Deep Learning und andere KI-Ansätze lassen sich auch verwenden, um eine verbesserte Orientierung der AMRs im Raum zu realisieren. Durch das dazu verwendete Verfahren, Simultaneous Localization and Mapping (Slamming), weiß der AMR, wie seine Umgebung aussieht und wo er sich innerhalb dieser Umgebung befindet (Localization). Wenn er sich in dieser Umgebung bewegt, kann er zusätzlich eine Karte seiner Umgebung anfertigen (Mapping). Damit simuliert ein solches System genau die Methode, mit der ein Mensch diese Aufgabe löst. Mit unseren Sinnesorganen nehmen wir die Daten aus unserer Umgebung auf, und das neuronale Netz in unserem Gehirn erstellt daraus eine abstrakte Vorstellung einer Karte der Umgebung, in der wir uns bewegen.

Die Rolle der Sinnesorgane werden für KI-Anwendungen durch Sensoren übernommen. Neben 3D-Kameras, wie die aus der O3D-Serie, kommen auch Laserscanner, Radar- oder Ultraschallsensoren zum Einsatz. Notwendig ist hier eine Sensordatenfusion, bei der zusätzliche Informationen aus der Kombination der Daten unterschiedlicher Sensoren gewonnen wird. Die Kombination und Auswertung der verschiedenen Sensordaten stellen allerdings die verwendeten Systeme vor große Herausforderungen. Für die Entwicklung neuronaler Netze sind zwar bereits erprobte Systeme verfügbar, diese verlangen allerdings viel Software-Knowhow, und in der Regel werden solche Systeme auf einem leistungsfähigen PC entwickelt. Weitere Hürden für die Verbreitung solcher Systeme im großen Umfang sind die hohen Kosten. Dies gilt nicht nur für die verschiedenen Sensoren, sondern vor allem die Kosten für die Integration und die Hardware, auf der die entsprechenden neuronalen Netze implementiert werden, schlägt zu Buche.

Offene Plattform mit

Edge-Architektur

Um die Sensordatenfusion und die Anwendung von KI-Methoden für mobile Roboter zu erleichtern, ist eine Edge-Architektur ein vielversprechender Ansatz. In einem entsprechenden Edge-Device können die Daten der angeschlossenen Sensoren erfasst und direkt verarbeitet werden. Notwendig sind sowohl eine hohe Rechenleistung als auch die Möglichkeit, unterschiedlichste Sensoren einfach anzubinden. ifm arbeitet aktuell an einer solchen Hardware-Plattform, an die sich bis zu sechs 3D-Kameras und zahlreiche weitere Sensoren anschließen lassen. Ein leistungsfähiges Linux-System, das mit einer Nvidia Video Processing Unit ausgerüstet ist, und GigE-Schnittstellen bilden die Hardware-Basis, auf der sich auch anspruchsvolle KI-Anwendungen realisieren lassen. Da die Bildverarbeitung bei diesem Konzept in das Edge-Gerät wandert, ist in der Kamera kaum Datenverarbeitung notwendig. Dadurch vereinfacht die neue Plattform 3D-Bildverarbeitung deutlich. Da auch die Kosten durch das neuartige Konzept sinken, eröffnen sich neue Möglichkeiten für die Anwendung in mobilen Robotern. In der Zukunft wird auf dieser Basis eine komplette Suite von Lösungen für die unterschiedlichsten Bereiche entstehen. Mit der Offenheit des Systems bietet ifm den Anwender eine Plattform, mit der sie auch eigene Lösungen schnell und kostengünstig umsetzen können.

ifm electronic gmbh

Dieser Artikel erschien in inVISION 2 (April) 2021 - 21.04.21.
Für weitere Artikel besuchen Sie www.invision-news.de