Roboter spielt Schere, Stein, Papier
Gestenerkennung mittels Bildverarbeitung
Sebastian Trella ist technik- und robotikbegeistert. Der Lego-Mindstorms-Roboter eines Kollegen, der mit mehreren verschiedenen Sensoren die Gesten einer Hand erkennen kann, brachte ihn auf eine Idee: Der Roboter soll sehen können. Denn bisher musste die jeweilige Geste an einer ganz bestimmten Stelle vor dem Roboter erfolgen, um zuverlässig erkannt zu werden. Mehrere Sensoren waren dafür nötig. Das machte das System unflexibel und dämpfte die Spielfreude.
Bild: ©Sebastian TrellaAuf der Suche nach der geeigneten Kamera stieß Blogger Sebastian Trella auf IDS NXT, ein Komplettsystem für den Einsatz von intelligenter Bildverarbeitung. Die Auswertung der Aufnahmen sowie die Kommunikation der Ergebnisse erfolgen hier direkt auf der bzw. durch die Kamera, ohne zusätzlichen PC.
Bild: ©Sebastian Trella
Trella spann den Gedanken weiter und entwickelte einen Roboter, der das Spiel 'Schere, Stein, Papier' spielen sollte: Der (menschliche) Spieler wird aufgefordert, eine der Gesten vor der Kamera auszuführen. Der virtuelle Gegner hat zu diesem Zeitpunkt seine Geste schon zufällig bestimmt. Der Spielzug wird in Echtzeit ausgewertet und der Gewinner angezeigt.
Bild: ©Sebastian Trella
Bild: ©Sebastian TrellaGestenerkennung mittels Bildverarbeitung
Trella begann mit der Umsetzung der Gestenerkennung mittels Bildverarbeitung. Mithilfe eines cloudbasierten KI-Vision-Studios (IDS Lighthouse) ließ sich das einfach realisieren. Neuronale Netze werden durch Anwendungsbilder mit dem notwendigen Wissen trainiert und in einen passenden Anwendungsablauf verpackt. Das funktioniert mit einer Erkennungsrate von ca. 95 Prozent.
Bild: ©Sebastian TrellaWeiterverarbeitung der ausgewerteten Bilddaten Die Weiterverarbeitung der erkannten Gesten erfolgt mittels einer eigens erstellten Vision App. Die App bildet die zweite Phase des Projekts und soll das Spielen gegen einen simulierten Computergegner ermöglichen. Sie baut auf der trainierten KI auf und verwendet deren Ergebnisse weiter. Dabei stellt sie den KI-Gegenspieler, der zufällig eine der drei vorgegebenen Handbewegungen ausgibt und vergleicht diese mit der des Spielers. Anschließend entscheidet sie, wer gewonnen hat oder, ob es ein Unentschieden-Ergebnis gibt. Die Vision App ist die Schnittstelle zum Spieler auf dem Computermonitor, die Kamera die Schnittstelle zum Erfassen der Spielergesten. Die Kamera erkennt präzise die Handzeichen, die Entscheidungslogik reagiert regelkonform und der Roboter setzt die entsprechende Bewegung um. Feinjustierung: Robuste Gestenkennung
Mithilfe der Trainingsplattform, ließ sich das Modell problemlos erweitern. Neue Bilder wurden hinzugefügt, darunter Hände anderer Personen vor verschiedenen Hintergründen und unter wechselnden Lichtverhältnissen. Auch Details wie unterschiedliche Hauttöne oder Ringe flossen in das Training ein. Durch die gezielte Diversifizierung der Trainingsdaten verbesserte sich die Erkennungsleistung: Die KI reagierte nun stabil und zuverlässig, unabhängig davon, wer spielte oder in welcher Umgebung.
Wie spielt der Roboter?
Die Entscheidungen des Roboters sind zufällig. Er blufft nicht und er lernt nicht aus vorherigen Spielen. Doch genau das macht den Charme des Spiels aus: Mensch gegen Maschine, auf Augenhöhe.
Sebastian Trella ist technik- und robotikbegeistert. Der Lego-Mindstorms-Roboter eines Kollegen, der mit mehreren verschiedenen Sensoren die Gesten einer Hand erkennen kann, brachte ihn auf eine Idee: Der Roboter soll sehen können. Denn bisher musste die jeweilige Geste an einer ganz bestimmten Stelle vor dem Roboter erfolgen, um zuverlässig erkannt zu werden. Mehrere Sensoren waren dafür nötig. Das machte das System unflexibel und dämpfte die Spielfreude.
Bild: ©Sebastian TrellaAuf der Suche nach der geeigneten Kamera stieß Blogger Sebastian Trella auf IDS NXT, ein Komplettsystem für den Einsatz von intelligenter Bildverarbeitung. Die Auswertung der Aufnahmen sowie die Kommunikation der Ergebnisse erfolgen hier direkt auf der bzw. durch die Kamera, ohne zusätzlichen PC.Bild: ©Sebastian Trella
Trella spann den Gedanken weiter und entwickelte einen Roboter, der das Spiel 'Schere, Stein, Papier' spielen sollte: Der (menschliche) Spieler wird aufgefordert, eine der Gesten vor der Kamera auszuführen. Der virtuelle Gegner hat zu diesem Zeitpunkt seine Geste schon zufällig bestimmt. Der Spielzug wird in Echtzeit ausgewertet und der Gewinner angezeigt.
IDS Imaging Development Systems GmbH
Dieser Artikel erschien in ROBOTIK UND PRODUKTION 1 (März) 2026 - 12.03.26.Für weitere Artikel besuchen Sie www.robotik-produktion.de
