Intelligente Kamera mit KI-Vision-Inferenz im Image Sensor
On-Sensor-KI
KI-Verarbeitungslösungen reichen heute von leistungsstarken HPC-Clustern in Rechenzentren bis hin zu kompakten, energieeffizienten Edge-Geräten. Lucid Visions Triton Smart-Kamera mit Sonys intelligenten Image Sensor IMX501 geht einen Schritt weiter und bringt leistungsfähige Offline-Inferenz in eine kompakte, industrielle Kamera mit geringem Energieverbrauch - unabhängig vom Host-System und ohne Cloud-Anbindung.
Bild: Lucid Vision Labs IncHerkömmliche Bildverarbeitungssensoren erfassen meist Rohbilddaten und übertragen diese zur Analyse an externe Systeme wie PCs oder Cloud-Server. Zwar erlaubt dieser Ansatz den Einsatz komplexer KI-Modelle und erweiterte Vor- und Nachverarbeitung, er geht jedoch oft über das hinaus, was für viele Anwendungen nötig ist. Zudem entstehen zusätzliche Latenzen, ein höherer Energie- und Bandbreitenbedarf sowie eine gesteigerte Systemkomplexität und höhere Kosten. Im Gegensatz dazu verbessert die direkte Integration von KI-Verarbeitung im Sensor selbst die Verarbeitungseffizienz und Reaktionsgeschwindigkeit, während die Rechenressourcen des Host-PCs für andere Aufgaben zur Verfügung stehen. Auf dem Gerät ausgeführte Machine-Learning-Algorithmen ermöglichen eine unmittelbare Inferenz und reduzieren den Bedarf an großen Datenübertragungen an zentrale Systeme deutlich.
Bild: Lucid Vision Labs IncDer IMX501 Image Sensor von Sony ist ein Paradebeispiel für diese neue Generation intelligenter Sensoren. Der 12,3MP CMOS-Rolling-Shutter-Sensor (4.056x3.040 Pixel) verfügt über integrierte KI-Verarbeitung durch einen eingebetteten ISP (Image Signal Processor), DSP (Digital Signal Processor) und 8MB On-Chip-SRAM. Durch das Sensor-Design erfolgt die KI-Inferenz vollständig offline, eine Internet- oder Cloud-Verbindung ist nicht erforderlich. Dies ist ideal für Automatisierungsumgebungen, in denen abgeschottete Netzwerke ohne externe Abhängigkeiten bevorzugt werden. Um das volle Potenzial der On-Sensor-KI-Funktion des IMX501 zu nutzen, ist eine optimal abgestimmte Softwarepipeline entscheidend - insbesondere angesichts der begrenzten Speicherkapazitäten. Die Triton Smart-Kamera verwendet Neuralas Brain Builder, um KI-Modelle zu erstellen, ohne dass manuelle Anpassungen wie Modellverkleinerung oder Architektur-Tuning erforderlich sind. Bereits mit nur 50 Bildern pro Klasse lassen sich präzise Klassifikations- und Objekterkennungsmodelle erstellen. Die Software übernimmt die Modelloptimierung automatisch, wählt geeignete neuronale Netzwerke aus und sorgt für nahtlose Integration - auch für Nutzer ohne tiefgreifende KI-Kenntnisse.
Dual-Path-Verarbeitung
Die Triton Smart-Kamera von Lucid Vision integriert den IMX501 in ein kompaktes industrielles Gehäuse (29x29mm, 68g), in dem M12- und M8-Anschlüsse integriert sind, die eine sichere Ethernet- und GPIO-Verbindung gewährleisten. Optional ist auch ein IP67-geschützter Objektiv-Tubus erhältlich. Die Kamera ist für einen Betriebstemperaturbereich von -20 bis +55°C ausgelegt und resistent gegenüber Erschütterungen und Vibrationen, also ideal für den Dauereinsatz in der Produktion, im Lager oder im Außenbereich.
Die Kamera verfügt über ein Dual-ISP-Design, das gleichzeitige Bild- und KI-Verarbeitung ermöglicht. Der integrierte ISP des IMX501 bereitet die aufgenommenen Bilder als Eingabetensor für die KI-Engine auf. Unterschiedliche KI-Modelle benötigen unterschiedliche Eingabeformate wie Klassifikation (256x256 Pixel), Objekterkennung (320x320 Pixel) oder Anomalie-Erkennung (512x512 Pixel). Nach der Inferenz wird der Ausgabetensor generiert, beide Tensoren enthalten die Ergebnisse der KI-Analyse. Parallel dazu wird das Rohbildmaterial an einen zweiten ISP im FPGA der Kamera weitergeleitet, der wie bei herkömmlichen Bildverarbeitungskameras arbeitet.
Die KI-Ergebnisse werden als Chunk-Daten eingebettet und mit dem finalen Bild kombiniert, d.h. visuelle Ausgabe und Metadaten erfolgen in einem einzigen Datenstrom an den Host-PC. Die Kamera bietet drei Ausgabeoptionen: das reguläre Bild, den Eingabetensor (vom KI-Modul verarbeitetes Bild) und den Ausgabetensor (Inferenz-Ergebnisse). Für Anwendungen mit höheren Bildraten oder Datenschutzanforderungen kann das reguläre Bild auf 4x4 Pixel reduziert werden, bei gleichzeitiger Übertragung der Inferenzdaten. Im Vollbildmodus (4.056x3.040 Pixel) mit KI-Inferenz beträgt die Bildrate 8fps. Durch Reduktion des regulären Bildes auf 4x4 Pixel sind bis zu 30fps möglich. Die Dual-Pfad-Architektur stellt sicher, dass hochwertige Bildverarbeitung und Echtzeit-KI-Inferenz parallel möglich sind - ohne Einschränkungen bei typischen Kamerafunktionen wie Gain, Gamma, Black Level, Weißabgleich, LUT, CCM, Pixelkorrektur, Farbton, Sättigung, Farbraumkonvertierung oder ROI.
KI-Verarbeitungslösungen reichen heute von leistungsstarken HPC-Clustern in Rechenzentren bis hin zu kompakten, energieeffizienten Edge-Geräten. Lucid Visions Triton Smart-Kamera mit Sonys intelligenten Image Sensor IMX501 geht einen Schritt weiter und bringt leistungsfähige Offline-Inferenz in eine kompakte, industrielle Kamera mit geringem Energieverbrauch - unabhängig vom Host-System und ohne Cloud-Anbindung.
Bild: Lucid Vision Labs IncHerkömmliche Bildverarbeitungssensoren erfassen meist Rohbilddaten und übertragen diese zur Analyse an externe Systeme wie PCs oder Cloud-Server. Zwar erlaubt dieser Ansatz den Einsatz komplexer KI-Modelle und erweiterte Vor- und Nachverarbeitung, er geht jedoch oft über das hinaus, was für viele Anwendungen nötig ist. Zudem entstehen zusätzliche Latenzen, ein höherer Energie- und Bandbreitenbedarf sowie eine gesteigerte Systemkomplexität und höhere Kosten. Im Gegensatz dazu verbessert die direkte Integration von KI-Verarbeitung im Sensor selbst die Verarbeitungseffizienz und Reaktionsgeschwindigkeit, während die Rechenressourcen des Host-PCs für andere Aufgaben zur Verfügung stehen. Auf dem Gerät ausgeführte Machine-Learning-Algorithmen ermöglichen eine unmittelbare Inferenz und reduzieren den Bedarf an großen Datenübertragungen an zentrale Systeme deutlich.
Lucid Vision Labs Inc
Dieser Artikel erschien in inVISION 3 (Juni) 2025 - 12.06.25.Für weitere Artikel besuchen Sie www.invision-news.de
