Anzeige

Teil 4 der Serie 'Autonome Systeme'

Wie nachvollziehbar müssen autonome Systeme agieren?

Noch sind viele technisch-wissenschaftliche und gesellschaftliche Fragen zu autonomen Systemen offen. Einen Beitrag zum Diskurs leistet die Reihe 'Künstliche Intelligenz und autonome Systeme' der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik. Diesmal befragt die Arbeitsgemeinschaft 'Autonome Systeme' Dr. Christine Maul und Professor Klaus Dieter Sommer dazu, wie nachvollziehbar sich ein autonomens System verhalten sollte.

Bild: ©Jacky/stock.adobe.com

Bild: VDI Verein Deutscher Ingenieure e.V.Bild: VDI Verein Deutscher Ingenieure e.V.
Dr. Christine Maul, Covestro; Vorstandsmitglied der VDI/VDE-GMA

Bild: VDI Verein Deutscher Ingenieure e.V.Bild: VDI Verein Deutscher Ingenieure e.V.
Prof. Klaus Dieter Sommer, Technische Universität Ilmenau; Beiratsmitglied der VDI/VDE-GMA

Was ist unter Nachvollziehbarkeit und Transparenz des Verhaltens eines autonomen Systems zu verstehen?

Prof. Sommer: Nachvollziehbarkeit eines Verhaltens ist für mich, sehr vereinfachend gesprochen, etwas, das ich erklären und möglichst auch interpretieren, auf jeden Fall verstehen kann oder das schlicht meinen Erfahrungen entspricht. Auf autonome oder allgemein intelligente Systeme bezogen, bedeutet dies unter anderem die Fähigkeit zur Beantwortung relevanter Fragen wie:

  • • Warum verhält sich das System jetzt so und nicht anders?
  • • In welchen Fällen oder unter welchen Umständen (Zuständen und Eingangssignalen) kann ich dem Verhalten vertrauen?
  • • Welche Parameter beeinflussen das Verhalten und das resultierende Handeln des Systems am stärksten?
  • • Gibt es eine klare, gegebenenfalls quantifizierende Übersicht, welches Vertrauen ich unter welchen Umständen an das Handeln des Systems haben kann?
  • • Wie könnte ich im Falle eines Fehlverhaltens richtig eingreifen?

Nachvollziehbar für wen im Regelfall?

Dr. Maul: Entsprechend der Rolle der Anwender und der Aufgabe des Systems sollten wir hier Fallunterscheidungen treffen. Ein einfacher Nutzer eines autonomen Systems, der Interesse daran hat, dass eine Aufgabe gelöst wird, ohne dass er - der Nutzer - Zeit und Gedanken daran verschwenden muss, hat vermutlich kein tiefergehendes, bis auf das Niveau der Algorithmen reichendes Interesse an einer Nachvollziehbarkeit des Systemverhaltens. Ich bin mir noch nicht einmal sicher, ob es ihn interessiert, ob das System autonom einen neuen Lösungsweg findet oder nur automatisiert eine vorgegebene Lösung erarbeitet, solang er mit der Qualität der Lösung zufrieden ist. Ein Experte des jeweiligen Aufgabengebietes, der das System z.B. in eine Prozesssteuerung eingliedern muss oder dessen weiteres Anwendungs- oder Entwicklungspotenzial analysiert, möchte sicherlich genauer wissen, wie das autonome System zu einer Antwort kommt, um den Lösungsweg mit seinem eigenen Weg zu vergleichen. Er möchte nachvollziehen, welche Regeln berücksichtigt werden und wie Änderungen den Lösungsweg beeinflussen. Relevante Bereiche, in denen die Nachvollziehbarkeit und Transparenz des intelligenten, lernenden Systems sicher eine größere Rolle spielt, sind unter anderem sicherheitsrelevante Anwendungen, z.B. das bekannte autonome Fahrzeug, Logistiksysteme und auch autonome medizinische Diagnose- und Therapiesysteme.

Gibt es dazu ein passendes Beispiel?

Dr. Maul: Das Beispiel des Virenscanners, das Dr. Attila Bilgic in dieser Interviewreihe bei seiner Antwort auf Frage 1 eingeführt hat, passt hierzu: Ich möchte als simpler Anwender nicht unbedingt verstehen, wie mein Virenscanner im Detail funktioniert. Der Scanner soll im Hintergrund laufen, er soll mich nicht in meiner Arbeitsfähigkeit einschränken, aber er soll Viren fernhalten. Solange kein Virenbefall auftritt, wurde die Aufgabe erfolgreich gelöst und ich kümmere mich nicht weiter darum. Ein Experte möchte herausfinden, wie der Scanner neue Viren findet und mit welcher Strategie er dabei vorgeht, entweder um den Scanner zu verbessern oder um ihn zu überlisten.

Was passiert im Ausnahmefall?

Dr. Maul: In unserer komplexen Welt sind wir bei vielen Themen gewohnt, Aufgaben abzugeben. Wir wollen auch nicht alles in unserem täglichen Leben nachvollziehen, wir wollen nur, dass alles funktioniert. Ausnahmen können selbstverständlich technikbegeisterte Menschen sein, die auch Details wissen und verstehen möchten. Das alles ändert sich, sobald etwas nicht funktioniert und hier kommen wir zur Fallunterscheidung. Je nach Tragweite der Fehlfunktion ist das danach einsetzende Misstrauen in die Zuverlässigkeit des Systems groß und kann so weit führen, dass wir das System ablehnen, es also nicht mehr nutzen, sondern zu altbewährten Methoden zurückkehren, weil diese uns verlässlicher scheinen. Dabei prüfen wir selten Statistiken, sondern handeln meist emotional.

Dr. Maul: Das viel diskutierte Beispiel des führerlosen Fahrzeugs muss auch hier herhalten: Alle Unfälle mit führerlosen Fahrzeugen haben eine große Presse bekommen und insbesondere die Todesfälle haben verständlicherweise zu Zurückhaltung geführt, solche Fahrzeuge im Selbstversuch zu testen. Dabei hat aber niemand die Statistik zu Rate gezogen und die prozentuale Anzahl der Unfälle im normalen Straßenverkehr mit denen mit hoch automatisierten oder autonomen Fahrzeugen verglichen. Zusammenfassend kann man festhalten, dass die Notwendigkeit, autonome Systeme nachvollziehbar zu gestalten, in vielen speziellen Anwendungsfällen groß ist. Nachvollziehbarkeit schafft Vertrauen in das System. Wie dies umgesetzt wird, um auch Laien verständliche Erläuterungen hierzu zu liefern, ist eine Herausforderung.

Ist Nachvollziehbarkeit von realen KI-Systementscheidungen und speziell des Verhaltens autonomer Systeme mehr als mein persönliches Empfinden dazu?

Prof. Sommer: Ja, natürlich, die sogenannte erklärbare und transparente KI ist seit einigen Jahren, auch international, eine eigene Forschungs- und Entwicklungsrichtung, mit ersten Anwendungen beziehungsweise Tests unter anderem in der Medizin - etwa bei Diagnoseassistenz, autonome Therapiesysteme - für chemische Prozesse, Energieerzeugung und -verteilung, Luftfahrt, Militär, Datenanalyse und weitere autonome Systeme.

Gibt es vielversprechende systematische Strategien und Lösungsansätze zur Realisierung?

Prof. Sommer: Lassen Sie uns vorne beginnen: Den autonomen Systemen liegt maschinelles Lernen zur Analyse von Daten als Methode zugrunde. Nach heutigem Konsens ist in jedem Fall eine nachgelagerte systeminhärente Überprüfung, Validierung und Interpretation der Ergebnisse notwendig. In der Tat gibt es eine ganze Reihe konkreter und schon erprobter Ansätze dazu. Was unserer klassischen Herangehensweise in der Mess- und Automatisierungstechnik nahe kommt, ist etwa die sogenannte Schichtweise-Relevanz-Fortpflanzung. Bei dieser werden die angelernten Wichtungen der Neuronenschichten rückwärts betrachtet (fortgepflanzt). Daraus lassen sich Aussagen zur Klarheit und Sicherheit einer generierten Lösung sowie zu den dominanten, entscheidungsrelevanten Eingangsparametern treffen. Ähnlich nahe an bekannten Herangehensweisen erscheint der probabilistische Ansatz, die sogenannte Bayesian Rule List zu liegen. Durchsetzen werden sich die verlässlichsten und bezüglich ihrer Strategie verständlichsten Ansätze.

Welche kurzfristige Bedeutung, zum Beispiel für die Serienfertigung im Maschinen- oder Fahrzeugbau, haben die erklärbare und transparente KI und die autonomen Systeme?

Prof. Sommer: Wir sehen seit einiger Zeit eine rasante Entwicklung weg von der Großserienfertigung hin zur personalisierten Produktion. Permanent wechselnde Vorgaben für die Fertigungsstrecken und Parameteränderungen müssen berücksichtigt und schnell und ohne zeitintensive Umrüstungen zum geforderten Ergebnis führen. Modelle der Prozesse und Produkte werden immer wichtiger; sie sind schneller und einfacher zu handhaben als reale Messwerte. Machine-Learning-Prozesse ermitteln daraus die Fertigungsparameter und darauf muss Verlass sein. Sie müssen also validiert und nachvollziehbar sein. Eventuell notwendige, physische Änderungen an der Fertigungsstrecke werden vorzugsweise durch mobile Roboter durchgeführt oder kompensiert, wofür entsprechende Forderungen existieren.

Möchten Sie abschließend aus Ihrer Sicht einen Entwicklungszielpunkt für Nachvollziehbarkeit und Transparenz, insbesondere des Verhaltens autonomer Systeme setzen?

Prof. Sommer: Als Messtechniker favorisiere ich persönlich ein mittelfristig sicher erreichbares Ziel, nämlich die Ergebnisse und Entscheidungen von intelligenten Systemen beziehungsweise das Verhalten autonomer Systeme in ihrer Qualität quantifizierbar zu machen, zum Beispiel mittels Klassifizierung oder einem probabilistischen Vertrauensstatement. Etwa wie wir heute die Qualität von Messergebnissen anhand der Messunsicherheit nach internationalen Regeln bewerten.

Serie: Zehn Fragen zu KI und autonomen Systemen

Künstliche Intelligenz (KI) und autonome Systeme sind in vielen Bereichen der Industrie, der Logistik und des Verkehrs untrennbar miteinander verknüpft. Allein und in Kombination bergen sie große wirtschaftliche Potenziale, bringen aber auch Risiken mit sich. Die Arbeitsgruppe 'Autonome Systeme' der VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (VDI/VDE-GMA) hat zehn Fragen zusammengetragen, die es zu beantworten gilt, um KI wirtschaftlich erfolgreich zu machen:

1. Wie können wir das autonome System beherrschen?

2. Wie autonom soll das autonome System für uns sein?

3. Wie machen wir das autonome System autonom?

4. Wie nachvollziehbar muss das Verhalten eines autonomen Systems sein?

5. Wie kann man autonome Systeme vergleichen?

6. Wie zuverlässig ist das lernende autonome System?

7. Wie effizient ist das autonome System?

8. Wie sicher ist das autonome System?

9. Wo sind die Grenzen des autonomen Systems?

10. Welchen Werten folgt das autonome System?

VDI Verein Deutscher Ingenieure e.V.

Dieser Artikel erschien in IT&Production 1 (Januar Februar) 2020 - 06.02.20.
Für weitere Artikel besuchen Sie www.it-production.com