Vierte Dimension

Um herauszufinden, wo Hyperspectral Imaging (HSI) mittlerweile zum Einsatz kommt, fand eine Expertenrunde mit Teilnehmern von EVK, Headwall, JAI, Luxflux und Photonfocus im Rahmen des Control Vision Talks Forums statt.

Bild: Spectronet

---

HSI gibt es bereits seit knapp 20 Jahren. Warum ist die Technologie jetzt endlich marktreif? n Dr. Jan Makowski (Luxflux): HSI hat in den letzten 20 Jahren große Fortschritte gemacht. Jedoch sehe ich aktuell noch zwei Probleme: Das eine ist der Preis der Systeme, die im Vergleich zu klassischen Kameras mindestens um einen Faktor zehn teurer sind. Das andere ist die Datenauswertung, die einfach zu bedienen sein sollte.

n Christian Felsheim (Headwall Photonics): Die Systeme sind marktreif, da wir mittlerweile bei allen Komponenten erhebliche technische Fortschritte sehen. Dies gilt für Optik und Beleuchtung, vor allem aber für die neuen Sensoren sowie deutlich verbesserte, zum Teil auf AI beruhende Analysesoftware, die eine Integration in bestehende Machine-Vision-Anwendungen erheblich vereinfacht.

n Dr. Peter Schwider (Photonfocus): Bei aller Technikeuphorie gibt es immer noch große Probleme bei der Beleuchtungstechnik. Dadurch, dass Halogenlampen aus dem Verkehr gezogen worden sind, braucht man Weißlichtquellen im Sichtbaren oder NIR. Zudem fehlt den Anwendern ein Grundverständnis der Spektroskopie, d.h. es fehlen zugängliche Spektrenkataloge für industrierelevante Produkte. Bei der Lichttechnik braucht es noch drei Jahre, bis es dort die richtigen LED-Techniken hat. Es gibt aber bereits Entwicklungen bei Osram, bei denen mit Breitbandphosphoren gearbeitet wird. Zudem sieht man große Fortschritte in der Filtertechnik. Die neuen CMOS-Sensoren haben nicht nur ein geringes Dunkelstromrauschen, sondern auch eine hohe Full-Well-Kapazität. Somit ergibt sich ein Signal-Rausch-Verhältnis der Sensoren von knapp 300 zu 1. Wenn ich aber quantitative Aussagen treffen möchte, benötige ich einen dynamischeren Sensor. Das wird allerdings noch dauern.

n Paritosh Prayagi (JAI):

Das Bewusstheit für Qualität beim Endkunden ist gestiegen, weshalb wir mehr und mehr HSI-Anwendungen sehen. Bei der Multispectral-Technologie gibt es verschiedene Ansätze die Spektren zu unterteilen, also rechnerisch auf mehr als 50 Kanäle zu gehen. Allerdings sind die Daten nicht so genau, dass man sie rechnerisch verwenden kann. Dort benötigt man einen physikalischen Ansatz, um dies anschließend rechnerisch zurück rechnen zu können.

n Dr. Matthias Kerschhaggl (EVK): Vor ein paar Jahren noch war HSI nicht erschwinglich. Allerdings gab es mittlerweile eine massive Preisreduktion und in den nächsten Jahren wird HSI commodity werden, d.h. CMOS-basiertes HSI wird früher oder später auch in einem Smartphone landen. Ein anderer wichtiger Punkt ist der Zugang zu Echtzeitdatenverarbeitungshardware, die ebenfalls früher nicht bezahlbar war. Dank FPGAs, GPUs und anderen Architekturen ist dies aber gelöst.

Wo liegen derzeit die Preise für ein HSI-System?

n Prayagi: Es gibt auf der unteren Ebene HSI-Kameras ab 20.000? plus die Software.

n Kerschhaggl: Sprechen wir von einem klassifizierenden System, welches die ganze Datenverarbeitung übernimmt, dann geht dies bei 20.000? los. Eine Kamera, die nur unverarbeitete Spektren liefert, bekommen sie mittlerweile für ein paar 1.000?.

n Schwider: Die Kameras müssen in einen Bereich von deutlich unter 10.000? kommen, damit Volumenapplikationen möglich sind. Auch Thermografiesysteme waren anfangs sehr teuer und haben die Massenmärkte erst mit einer deutlichen Preisreduktion erreicht.

n Felsheim: Wenn man über Kosten spricht, so muss man diese natürlich immer in Relation zum generierten Wert stellen. So ist die HSI-Technologie schon jetzt im Food-Bereich sehr erfolgreich, obwohl diese Industrie unter einem hohen Kostendruck steht. Für mich war und ist die Komplexität der HSI-Systeme die größte Eintrittshürde in den Machine-Vision-Markt. Doch hier ist bereits viel passiert und wir sehen in der weiteren Vereinfachung der System-Integration auch den Schwerpunkt unserer weiteren Entwicklungen.

Wie schnell sind die Systeme?:

n Makowski: Frameraten im Bereich von Tausend Hertz sind bereits möglich. Die Frage ist, wie komplex eine Auswertung ist. Machen Sie einen einfachen Ansatz oder rechnen Sie ein komplexes Modell dahinter? Was viele bei den Frameraten vergessen: Oft ist das Licht der begrenzende Faktor.

n Felsheim: Das hängt stark davon ab, welche Ortsauflösung Sie erreichen wollen. Wollen Sie im Millimeterbereich sein oder in einem größeren Auflösungsbereich, sowohl spektral als auch örtlich? Es geht nicht nur um die Kamera, sondern auch um den Datendurchsatz. Bei Sortieraufgaben, wird es sicherlich schwer, wenn Sie Weizenkörner sortieren wollen. Sobald aber die Objekte ein wenig größer werden, und wir von zwei bis drei Metern pro Sekunde sprechen, ist so etwas durchaus möglich.

n Kerschhaggl: In der Nusssortierung, z.B. bei Mandeln, haben Sie Produktströme von ca. 5m/s. Dort wird bereits mit Kilohertz operiert.

Wie viel Wissen muss ein Anwender haben, um ein HSI-System einsetzen zu können?

n Makowski: Bei der Bedienbarkeit stellt sich immer die Frage ´Was will ich machen?´. Ist es eine einfache Sortierung, bei der ich zwischen zwei Nüssen bzw. Nuss von Schale unterscheide? Dies ist relativ leicht möglich. Wenn es aber darum geht, Nüsse und Verunreinigungen zu trennen, wird es wesentlich schwieriger. Je komplexer die Anwendung ist, umso mehr Knowhow ist auf Anwenderseite notwendig.

n Schwider: Letztendlich kann man ein HSI-System nur dann anwenden, wenn es hinreichend einfach bedienbar ist. Derjenige, der ein System integriert, muss daher viel technisches Hintergrundwissen haben, um die Teile zu trennen, aber kein Spektroskopiker sein. Die Softwareseite muss so konfiguriert werden, dass es auch ein ´Anfänger´ in der Linie einsetzen kann. Randbedingung ist allerdings, dass das ganze System stabil steht, d.h. von der Temperatur und der Beleuchtung stabil ist, die Filter auf dem Sensor nicht weglaufen usw. Auch die Systemhersteller haben noch nicht alle Effekte der CMOS-Technologie erkannt.

n Prayagi: Neben der Datensatzbearbeitung und der Bedienbarkeit benötige ich aber bereits vorher die richtigen Daten. Deshalb ist es wichtig, dass ich das optische Setup so eingestellt habe, dass ich die richtigen Daten überhaupt aufnehme.

n Kerschhaggl: An der Bedienbarkeit wird bereits mit AI-Assistenten gearbeitet, d.h. das Knowhow der Spektroskopiker wird durch entsprechende Vorschläge moderiert. Wir werden dort in den nächsten Jahren Fortschritte haben, aber nicht in der Art ´Kaufe dir eine Software, drücke drei Knöpfe und du wirst glücklich sein´.

n Felsheim: HSI ist keine einfache Technologie. Deswegen gibt es auch Anbieter wie uns, die den Kunden bis zum Ende betreuen und auch Unterstützung bei der Datenauswertung anbieten.

Wie genau ist HSI?:

n Kerschhaggl: In der Lebensmittelindustrie liegt die Sensitivität mit Einkanalspektrometer für den Nachweis von Analyten im Prozentbereich. Es gibt aber auch ´Proxies´, d.h. ein Analyt verändert seine Umgebung und kann dadurch sogar im ppm-Bereich (part per million) nachweisbar sein.

n Schwider: Das Problem ist das Signal-Rauschverhältnis der Sensoren, d.h. ohne eine höhere Full-Well-Kapazität und eine ordentliche Lichtquelle ist man derzeit noch oft am Limit.

n Makowski: Andererseits können Sie mit der Software vieles kompensieren, was in der Kamera als Rauschen entsteht. Sie haben nicht nur ein Pixel, sondern können zehn Pixel mitteln und damit das Rauschen reduzieren. Wasser ist z.B. sehr gut detektierbar, auch in geringen Konzentrationen, da die Wasserbanden sehr ausgeprägt sind. Bei anderen Stoffen, die zu keiner deutlichen Veränderung im Spektrum führen, habe ich Fehlerbalken im Prozentbereich.

n Felsheim: Wir haben z.B. die Konzentration von Histamin in Fischen mit einer Genauigkeit gemessen, der für diese Applikation ausreicht. Ich kann die Anwender nur ermuntern, es auszuprobieren. Vieles von dem, was bislang zeitaufwendig im Labor gemacht wurde, kann mittels HSI inline gemessen werden.

Wo setzen Ihre Kunden die Systeme ein?

n Felsheim: Im industriellen Bereich, im Agriculture Umfeld, z.B. mit Drohnen über Felder oder in Gewächshäusern, also auch in feuchten Umgebungen.

n Markoswki: Zu Wasser, zu Lande, und in der Luft. Es gibt bereits sehr viele Anwendungen bei Drohnen. Auch im Industriebereich, dort tendenziell über Förderbänder, denn die meisten HSI-Kameras sind Zeilenkameras, also Pushbrooms. Dort benötige ich einen Vorschub über ein Förderband. Auch Sortieranwendungen, bei denen das Produkt im freien Fall ist und an der Kamera vorbei geführt wird, sowie in der Lebensmittelinspektion.

n Schwider: Hauptsächlich Agriculture und Recycling-Aufgaben, aber auch Anwendungen, wie eine Unterscheidung zwischen Kartoffeln und Steinen bei der Ernte.

n Prayagi: Wir haben zwar noch keine HSI-Kameras im Portfolio, aber wir sehen Anwendungen im Bereich zweiter Sortieranlagen, d.h. mittels Bildverarbeitung wird eine Basissortierung vorgenommen und mit einer HSI-Kamera nochmals auf spezifische Defekte oder Artefakten geprüft und aussortiert.

n Kerschhaggl: Wir verkaufen fast ausschließlich im industriellen Bereich und dort sehr stark im Lebensmittelbereich. Dort hat sich HSI bereits als Fremdkörperdetektionsmethode durchgesetzt und andere Untersuchungsmethoden, wie Laser- Farb- oder Röntgensysteme zumindest in der Oberflächeninspektion, hinter sich gelassen.

Wo liegen derzeit noch die Grenzen und wo werden wir zukünftig (mehr) HSI-Systeme sehen?

n Kerschhaggl: Ich erwarte noch deutlich mehr Anwendungen bei Drohnen und im Farmerbereich. Auf lange Sicht könnte der CMOS-Bereich die RGB-Kameras ablösen, vielleicht sogar im Fotobereich, weil man jede gewünschte Filterkurve softwaretechnisch synthetisieren kann. Wenn der Preis weiter runter geht, wird die Technologie auch mehr zum Einsatz kommen.

n Prayagi: Viele Kunden sind bereits sehr interessiert an Hyperspectral und sehen einen Mehrwert. Wenn der Preis in einen Bereich unter 10.000? kommt, dann ist das ein direkter Wettbewerb zu hochwertigen Standard-Bildverarbeitungskameras und dann werden sich auch mehr Anwendungen ergeben.

n Schwider: Sicherlich ist alles preisgetrieben, aber es steht und fällt mit den Breitenanwendungen, also dem Verstehen der Spektren.

n Makowski: Wo wir viel Bewegung im Markt erwarten, ist im Bereich Imager-Kameras.

n Felsheim: Ich sehe das größte Hindernis nicht im Preis. Wir sind bereits bei Preisen, mit denen wir in margensensitiven Industrien sehr erfolgreich sind, z.B. im Drohnenbereich. Auch in der Medizinindustrie kann HSI zu diagnostischen Zwecken neue Möglichkeiten eröffnet. So konnte eine EU-Forschungsgruppe erfolgreich zeigen, dass während Hirntumor-Operationen tumoröses von gesundem Gewebe mit HSI unterschieden werden kann.

n Kerschhaggl: In der Tat spielt der Preis nur dort eine Rolle, wo HSI bereits fest etabliert ist.

Wird HSI irgendwann die selbe Erfolgsgeschichte erleben wie eine Thermografie und auch im Smartphone landen?

n Makowski: Thermografie ist ein sehr einfaches Verfahren. Ich bekomme einen Wert und habe damit eine Temperatur. HSI ist in diesem Sinne nicht einfach. Ich bekomme einen Vielzahl an Daten und muss diese erst analysieren. Deswegen sehe ich z.B. HSI für Handyapplikationen kritisch, da ich weder kontrolliertes Licht, tendenziell schlechte Kameras und kleine Linsen habe. Zudem steht für die Auswertung der Daten relativ wenig Rechenpower zur Verfügung. Zudem fehlt noch der Usecase.

n Kerschhaggl: Es gibt Firmen, die bereits daran arbeiten, dass ich mit dem Handy in den Supermarkt gehe, um dort den Reifegrad von Obst und Gemüse zu bestimmen. Das funktioniert zwar derzeit noch nicht, aber die Vision ist der erste Schritt. Ich bin aber zuversichtlich, dass die Beleuchtungssituation mit AI lösbar ist.

n Schwider: Das Beleuchtungsproblem ist den Handyherstellern bekannt und es werden auch bereits geeignete Beleuchtungsquellen entwickelt. Diese könnten dann auch für die Machine Vision interessant sein. Bei den Handy-Applikationen werden die Anwender aber nicht einen Apfel oder eine Tomate aus einem Meter Abstand prüfen können, dort habe ich dann zu viel Störlicht, sondern man wird das Handy aufsetzen und nachschauen, ob in der Tomate z.B. ein Pestizid enthalten ist.

n Prayagi: Es gibt von einer skandinavischen Firma bereits ein Konzept für HSI mit Smartphones. Dort gibt es entsprechende Algorithmen, die viele Probleme der Beleuchtung mathematisch lösen. Allerdings nur für den sichtbaren Bereich.

Was wünschen Sie sich, damit HSI noch erfolgreicher wird?

n Kerschhaggl: Mein Wunsch ist, dass die potentiellen Kunden mehr über die Technologie erfahren, weil die Technologie marktreif ist und funktioniert. Das größte Problem ist immer noch, dass die Leute zu wenig über das Potential von HSI wissen.

n Prayagi: Wir als Kamerahersteller wünschen uns, dass die Sensoren schneller und hochauflösender in der räumlichen Auflösung werden. Ein weiterer Wunsch ist mehr Knowhow bei den Anwendern über die Integration.

n Schwider: Zu den Wünschen eines Kameraherstellers gehören immer gute Sensoren. Allerdings ist das nicht das einzige, was man für HSI benötigt, sondern auch entsprechende Beleuchtungen. Auch eine gute Optik ist wichtig, z.B. Breitbandentspiegelungen. Zudem sind für den erfolgreichen Einsatz von HSI offene und standardisierte Spektrenkataloge notwendig.

n Makowski: Für uns als Softwarehersteller ist die Verfügbarkeit von Hardware wichtig. Licht ist ein weiteres Thema. Halogenlampen gibt es derzeit noch, aber wie lange werden wir sehen. Was ich mir von Kundenseite wünsche, wäre schnellere Entscheidungen. Wir müssen uns aber auf Anwendungen fokussieren und nicht auf die Technologie, sonst kreieren wir einen Hype, der dann nicht alles erfüllen kann, was die Leute erwarten.

n Felsheim: Wir haben in den letzten Jahren einen sehr großen Fortschritt bei CMOS-Sensoren für den Wellenlängenbereich bis 1000nm gesehen. Ich wünsche mir, dass wir ebenso eine deutliche Weiterentwicklung bei den Sensoren für den nahen - also bis 1800nm - und den mittleren Infrarot Bereich bis 2500nm bekommen. Am meisten aber wünsche ich mir neugierige Kunden, die erkennen, dass mit dieser zusätzlichen Dimension des Lichtes viel mehr zu machen ist, und HSI einfach mal ausprobieren.