3D aus Neigungsdaten
Bei der Bewertung der 3D-Gestalt können nicht nur 3D-Punkte verwendet werden, sondern auch Neigungsdaten. Thema der Forschung ist hier die Kombination von photometrischem Stereo und Deflektometrie.
Bild: Fraunhofer IOSBIn manchen Anwendungen wie z.B. bei der Vollständigkeitsprüfung oder bei der Bestimmung der Farbe bzw. des Spektrums steckt die Nutzinformation unmittelbar in den Helligkeitswerten des Pixels, so dass eine Erfassung der räumlichen Gestalt nicht erforderlich ist. Ist aber die Geometrie des Prüfobjekts von Interesse, so bieten sich gleich mehrere Möglichkeiten an, um an diese zu gelangen. Neben Stereokamerasystemen und Time-of-flight-Kameras, die eher in der Robotik und beim automatischen Fahren üblich sind, werden in der automatischen Sichtprüfung besonders Projektionsverfahren mit aktiver Beleuchtung verwendet. Allerdings sind Projektionsverfahren nicht die erste Wahl, wenn kleine Neigungsunterschiede auf der Prüfoberfläche von Interesse sind. Der Grund dafür ist, dass zur Bestimmung der Oberflächenneigung die Höhendifferenzen benachbarter Oberflächenpunkte berechnet werden müssen, was mathematisch einer Ableitung entspricht und daher anfällig gegen hochfrequentes Rauschen ist. Nicht selten liegt auch die Rauheit der Oberfläche selbst schon in der Größenordnung der gesuchten Abweichungen, z.B. bei Rohblechen, die später lackiert oder beschichtet werden sollen.
Bild: Fraunhofer IOSBPhotometrisches Stereo
Eine Alternative zu Projektionsverfahren stellt das photometrische Stereo dar. Dabei wird die sichtbare Helligkeit ausgewertet, unter der ein Oberflächenpunkt erscheint, wenn Beleuchtungen aus unterschiedlichen Richtungen einstrahlen. Anschaulich erscheint ein Oberflächenbereich umso heller, je senkrechter die Beleuchtung zur Oberfläche steht. Man kann zeigen, dass sich unter moderaten Bedingungen an die Oberflächenreflektanz an jedem Oberflächenpunkt die zugehörige Neigung mit guter Genauigkeit bestimmen lässt, wenn die Oberfläche aus mehreren (theoretisch mindestens drei, besser mehr) Richtungen beleuchtet wird. Wie bei Projektionsverfahren sollte die Oberfläche im Wesentlichen diffus reflektierend sein, wobei sich aber auch Abweichungen von einer ideal diffusen Streuung durch Kalibrierung berücksichtigen lassen. Im Unterschied zu Projektionsverfahren wird hier aber die Oberflächenneigung direkt, d.h. ohne Ableitungsoperation erfasst. Beim photometrischen Stereo muss allerdings im Gegenzug ein Integrationsschritt durchgeführt werden, um aus den Oberflächenneigungen die Oberflächenpunkte selbst zu erhalten.
Deflektometrie
Bei spiegelnden Oberflächen stellt sich die Situation nochmals anders dar: Hier sind weder Projektionsverfahren noch photometrisches Stereo anwendbar, da die eingestrahlte Beleuchtung spiegelnd wegreflektiert wird. Die Kamera sieht somit nicht den Lichtpunkt eines auftreffenden Lichtstrahls, sondern die Spiegelung der Umgebung. Für solche Oberflächen ist aber die Deflektometrie das geeignete Werkzeug. Dabei erfasst die Kamera die spiegelnde Reflexion der Umgebung, z.B. eines Bildschirms, der eine geeignete Musterfolge anzeigt. Aus der Geometrie der spiegelnden Reflexion, die durch das Reflexionsgesetz bestimmt wird, lässt sich direkt die Neigung an einem Oberflächenpunkt gewinnen. Damit unterliegt die Deflektometrie stärkeren technischen Einschränkungen als Streulichtverfahren, insbesondere an stark konvexen Oberflächen. Dieses Verfahren erreicht problemlos Neigungsauflösungen, die Oberflächendefekte mit einer Höhe von weit unter einem Mikrometer detektierbar machen. Auch der Mensch nutzt das deflektometrische Prinzip zur Begutachtung von spiegelnden Flächen, was erklärt, dass das geübte Auge ebenfalls Höhendefekte in dieser Größenordnung erkennen kann, und die Deflektometrie zur nahezu perfekten (dazu noch quantitativ reproduzierbaren) maschinellen Nachahmung der menschlichen Oberflächenbewertung macht.
Kombination beider Verfahren
Damit wird die grundsätzliche Ähnlichkeit von photometrischem Stereo und Deflektometrie erkennbar: Beide Verfahren gewinnen direkt Information über die Neigung der Oberfläche. Mathematisch gesprochen erhält man in beiden Fällen ein sog. Normalenfeld, aus dem die tatsächlichen 3D-Koordinaten erst noch in einem weiteren Schritt rekonstruiert werden müssen. Der Nutzen dieser Ähnlichkeit besteht nun in zwei Aspekten: Zum einen sind zahlreiche Oberflächen nicht vollständig spiegelnd, sondern besitzen einen Anteil diffuser Reflexion. Beispiele sind lackierte Oberflächen, bei denen die Decklackschicht für eine spiegelnde Reflexion sorgt, während die Farbschicht eher diffuse Reflexion aufweist. Thema der aktuellen Forschung und Entwicklung ist es daher, beide sensorischen Ansätze zu vereinigen, indem Aufnahmen aus Deflektometrie und photometrischem Stereo in einer gemeinsamen geometrischen Auswertung vereinigt werden. Zum anderen ändern manche Oberflächen während des Produktionsprozesses ihre Reflektanz, z.B. werden im Karosseriebau rohe Bleche verarbeitet, die keinen spiegelnden Glanz aufweisen. Im späteren Lackierprozess erhält das Blech jedoch eine spiegelnde Reflexion, die für die Qualitätsanmutung wichtig ist. Die Schwierigkeit in der Produktion besteht darin, Defekte, die im lackierten Zustand leicht mittels Deflektometrie erkannt werden, bereits im unlackierten Zustand zu detektieren und Defekte bereits in diesem frühen Zustand zu beheben. Photometrisches Stereo bietet hier eine sensorische Chance, mit derselben Methodik Defekte zu erkennen.
www.iosb.fraunhofer.de
Bei der Bewertung der 3D-Gestalt können nicht nur 3D-Punkte verwendet werden, sondern auch Neigungsdaten. Thema der Forschung ist hier die Kombination von photometrischem Stereo und Deflektometrie.
Bild: Fraunhofer IOSBIn manchen Anwendungen wie z.B. bei der Vollständigkeitsprüfung oder bei der Bestimmung der Farbe bzw. des Spektrums steckt die Nutzinformation unmittelbar in den Helligkeitswerten des Pixels, so dass eine Erfassung der räumlichen Gestalt nicht erforderlich ist. Ist aber die Geometrie des Prüfobjekts von Interesse, so bieten sich gleich mehrere Möglichkeiten an, um an diese zu gelangen. Neben Stereokamerasystemen und Time-of-flight-Kameras, die eher in der Robotik und beim automatischen Fahren üblich sind, werden in der automatischen Sichtprüfung besonders Projektionsverfahren mit aktiver Beleuchtung verwendet. Allerdings sind Projektionsverfahren nicht die erste Wahl, wenn kleine Neigungsunterschiede auf der Prüfoberfläche von Interesse sind. Der Grund dafür ist, dass zur Bestimmung der Oberflächenneigung die Höhendifferenzen benachbarter Oberflächenpunkte berechnet werden müssen, was mathematisch einer Ableitung entspricht und daher anfällig gegen hochfrequentes Rauschen ist. Nicht selten liegt auch die Rauheit der Oberfläche selbst schon in der Größenordnung der gesuchten Abweichungen, z.B. bei Rohblechen, die später lackiert oder beschichtet werden sollen.
Bild: Fraunhofer IOSBPhotometrisches Stereo
Eine Alternative zu Projektionsverfahren stellt das photometrische Stereo dar. Dabei wird die sichtbare Helligkeit ausgewertet, unter der ein Oberflächenpunkt erscheint, wenn Beleuchtungen aus unterschiedlichen Richtungen einstrahlen. Anschaulich erscheint ein Oberflächenbereich umso heller, je senkrechter die Beleuchtung zur Oberfläche steht. Man kann zeigen, dass sich unter moderaten Bedingungen an die Oberflächenreflektanz an jedem Oberflächenpunkt die zugehörige Neigung mit guter Genauigkeit bestimmen lässt, wenn die Oberfläche aus mehreren (theoretisch mindestens drei, besser mehr) Richtungen beleuchtet wird. Wie bei Projektionsverfahren sollte die Oberfläche im Wesentlichen diffus reflektierend sein, wobei sich aber auch Abweichungen von einer ideal diffusen Streuung durch Kalibrierung berücksichtigen lassen. Im Unterschied zu Projektionsverfahren wird hier aber die Oberflächenneigung direkt, d.h. ohne Ableitungsoperation erfasst. Beim photometrischen Stereo muss allerdings im Gegenzug ein Integrationsschritt durchgeführt werden, um aus den Oberflächenneigungen die Oberflächenpunkte selbst zu erhalten.
Deflektometrie
Bei spiegelnden Oberflächen stellt sich die Situation nochmals anders dar: Hier sind weder Projektionsverfahren noch photometrisches Stereo anwendbar, da die eingestrahlte Beleuchtung spiegelnd wegreflektiert wird. Die Kamera sieht somit nicht den Lichtpunkt eines auftreffenden Lichtstrahls, sondern die Spiegelung der Umgebung. Für solche Oberflächen ist aber die Deflektometrie das geeignete Werkzeug. Dabei erfasst die Kamera die spiegelnde Reflexion der Umgebung, z.B. eines Bildschirms, der eine geeignete Musterfolge anzeigt. Aus der Geometrie der spiegelnden Reflexion, die durch das Reflexionsgesetz bestimmt wird, lässt sich direkt die Neigung an einem Oberflächenpunkt gewinnen. Damit unterliegt die Deflektometrie stärkeren technischen Einschränkungen als Streulichtverfahren, insbesondere an stark konvexen Oberflächen. Dieses Verfahren erreicht problemlos Neigungsauflösungen, die Oberflächendefekte mit einer Höhe von weit unter einem Mikrometer detektierbar machen. Auch der Mensch nutzt das deflektometrische Prinzip zur Begutachtung von spiegelnden Flächen, was erklärt, dass das geübte Auge ebenfalls Höhendefekte in dieser Größenordnung erkennen kann, und die Deflektometrie zur nahezu perfekten (dazu noch quantitativ reproduzierbaren) maschinellen Nachahmung der menschlichen Oberflächenbewertung macht.
Kombination beider Verfahren
Damit wird die grundsätzliche Ähnlichkeit von photometrischem Stereo und Deflektometrie erkennbar: Beide Verfahren gewinnen direkt Information über die Neigung der Oberfläche. Mathematisch gesprochen erhält man in beiden Fällen ein sog. Normalenfeld, aus dem die tatsächlichen 3D-Koordinaten erst noch in einem weiteren Schritt rekonstruiert werden müssen. Der Nutzen dieser Ähnlichkeit besteht nun in zwei Aspekten: Zum einen sind zahlreiche Oberflächen nicht vollständig spiegelnd, sondern besitzen einen Anteil diffuser Reflexion. Beispiele sind lackierte Oberflächen, bei denen die Decklackschicht für eine spiegelnde Reflexion sorgt, während die Farbschicht eher diffuse Reflexion aufweist. Thema der aktuellen Forschung und Entwicklung ist es daher, beide sensorischen Ansätze zu vereinigen, indem Aufnahmen aus Deflektometrie und photometrischem Stereo in einer gemeinsamen geometrischen Auswertung vereinigt werden. Zum anderen ändern manche Oberflächen während des Produktionsprozesses ihre Reflektanz, z.B. werden im Karosseriebau rohe Bleche verarbeitet, die keinen spiegelnden Glanz aufweisen. Im späteren Lackierprozess erhält das Blech jedoch eine spiegelnde Reflexion, die für die Qualitätsanmutung wichtig ist. Die Schwierigkeit in der Produktion besteht darin, Defekte, die im lackierten Zustand leicht mittels Deflektometrie erkannt werden, bereits im unlackierten Zustand zu detektieren und Defekte bereits in diesem frühen Zustand zu beheben. Photometrisches Stereo bietet hier eine sensorische Chance, mit derselben Methodik Defekte zu erkennen.
www.iosb.fraunhofer.de
Karlsruher Institut für Technologie
Dieser Artikel erschien in inVISION 5 2018 - 30.10.18.Für weitere Artikel besuchen Sie www.invision-news.de
