Sichere Lösung oder Poisoning-Falle?
Verteiltes maschinelles Lernen im Einsatz
KI-Technologien wie Deep Learning haben zuletzt große Fortschritte erzielt. Doch sind nicht alle Daten für das Training der Algorithmen geeignet, etwa aus Datenschutzgründen. Verteiltes Maschinelles Lernen - oder Federated Learning - soll dieses Problem adressieren, bietet aber auch neue Angriffsflächen.
Bild: acatech - Dt. Akademie der TechnikwissenschaftenDeep Learning bringt eine Reihe neuer funktionaler, aber auch datenschutzrechtlicher und sicherheitstechnischer Herausforderungen mit sich. Für das Training von Deep Neural Networks (DNNs) werden immer größere und diverse, teils sensible, Datenmengen benötigt.
Bild: acatech - Dt. Akademie der Technikwissenschaften
Sicherheitsrisiken
Neben den positiven Aspekten bietet verteiltes Lernen auch neue Angriffspunkte. Cyberkriminelle könnten etwa darauf abzielen, dass das kollaborativ trainierte Modell nur eine schwache Leistung bei der Zielaufgabe erreicht, oder eine sogenannte Hintertür im DNN-Modell verstecken, die das Modell in bestimmten Situationen zu Fehlverhalten veranlasst. Für derartige als Poisoning-Angriffe bekannte Attacken kennt die Forschung meist zwei Angriffsszenarien. Im ersten Szenario wird angenommen, dass eine Untermenge der Teilnehmer (Clients) den verteilten Lernprozess angreift und für sein lokales Modell manipuliert. Dies wird als Model-Poisoning bezeichnet. In dem anderen Szenario ist sich der jeweilige Teilnehmer nicht bewusst, dass er das System angreift. Diese Art von Angriff wird in der Fachliteratur als Data-Poisoning bezeichnet, wobei der Angreifer nur den Datensatz des jeweiligen Teilnehmers manipuliert. Im Gegensatz zum Model-Poisoning kann bei Data-Poisoning der Teilnehmer selbst ehrlich sein, stattdessen werden nur seine Daten manipuliert. Dies kann etwa durch einen defekten Sensor, der falsche Daten gemessen hat, einen böswilligen Mitarbeiter, der die Datensätze falsch beschriftet oder durch eine Anomalie in dem Beobachtungsszenario geschehen. Zusätzlich zu diesen Einfallstoren gibt es auch weitere Angriffspunkte auf der Seite des Aggregators, also des Servers, wobei Informationen über die Trainingsdaten aus einem trainierten DNN-Modell abgeleitet werden kann. Ein neugieriger Aggregator-Betreiber könnte diese Techniken nutzen, um aus den empfangenen, lokal trainierten Modellen Informationen über die Trainingsdaten eines Teilnehmers zu extrahieren.
Bild: acatech - Dt. Akademie der TechnikwissenschaftenRobustes verteiltes Lernen
Die Herausforderung bei der Abwehr dieser Angriffe besteht darin, dass die Gegenmaßnahmen die Leistung des Deep Learning-basierten Systems nicht beeinträchtigen sollten. So sollte etwa ein Verfahren, das vor Poisoning-Angriffen schützen soll, nicht fälschlicherweise reguläre Modelle ausschließen. Aktuelle Forschungsansätze fokussieren sich auf die Frage, wie manipulierte Modelle von unmanipulierten Modellen unterschieden werden können. Dies ist besonders anspruchsvoll, wenn sich die Daten der einzelnen Teilnehmer signifikant unterscheiden, also nicht unabhängig und identisch verteilt sind. Die Forschung beschäftigt sich gerade mit der Frage, wie beurteilt werden kann, ob sich die Trainingsergebnisse eines Teilnehmers von anderen Teilnehmern unterscheiden, weil auch unterschiedliche Trainingsdaten genutzt wurden, oder weil der Teilnehmer versucht, das trainierte Model zu manipulieren. Eine andere Forschungsrichtung befasst sich mit dem Schutz der Modelle gegen einen neugierigen Aggregator-Betreiber. Eine Schutzmaßnahme gegen solche Analysen ist der sogenannte Differential Privacy-Ansatz, also das Hinzufügen von Rauschen zu den Parametern der Modelle. Auf diese Weise werden die Modellparameter verschleiert und Angreifer haben es schwerer, Informationen abzuleiten. Allerdings kann dieses Rauschen die Leistung des DNN-Modells und die Genauigkeit der Vorhersagen verringern. Andere Ansätze, wie etwa Kryptographie, verhindern, dass der Aggregator die lokal trainierten Modelle analysiert und erlauben nur deren Aggregation. Allerdings sind rein kryptografische Ansätze noch nicht ausreichend skalierbar. DNN-Modelle für komplexe Aufgaben wie DALL-E 2 haben mehr als 2 Mrd. Parameter, GPT3, einer Vorgängerversion des für ChatGPT verwendeten DNNs, hat mehr als 150 Mrd. Parameter.. Daher wird an den algorithmischen Verbesserungen sowie hardware-basierten Lösungen für die KI-Sicherheit und Privatheit aktuell aktiv geforscht. Ein weiterer Forschungszweig beschäftigt sich mit der Integration verschiedener Verteidigungen (auf der Teilnehmer- und Serverseite). Dies erzeugt jedoch ein Dilemma: Einerseits hindern die Ansätze den Aggregator daran, die einzelnen Modelle zu analysieren. Andererseits muss der Aggregator die Modelle aber auf Poisoning-Angriffe untersuchen können.
Wie geht es weiter?
Mit dem zunehmenden Einsatz von KI-basierten Systemen steigt auch der potentielle Schaden, den manipulierte KI-Modelle anrichten könnten. Eine Herausforderung im Vergleich zu herkömmlicher (unsicherer) Software ist, dass die Manipulation bei DNNs noch verdeckter stattfinden kann. Gleichzeitig haben KI-Entscheidungen eine hohe Reputation und werden oft als neutral und unvoreingenommen angesehen. Die DNNs spiegeln jedoch oft nur die Daten wider, die für ihr Training verwendet wurden - und damit auch menschliches Verhalten, Gewohnheiten und Vorurteile. Dies zeigt, dass gesellschaftlichen Faktoren bei der Erstellung von DNNs mehr Aufmerksamkeit erfordern. Auch die Auswirkungen von KI-Systemen auf die Gesellschaft müssen eingehender untersucht werden. Während die oben genannten Anwendungsbeispiele als kritische Anwendungen zu erkennen sind, welche umfassend analysiert und überprüft werden müssen, können Folgen anderer KI-Anwendungen wie die Empfehlungsalgorithmen von Facebook, Twitter und Google leicht übersehen werden. n Mitglied der Arbeitsgruppe
KI-Technologien wie Deep Learning haben zuletzt große Fortschritte erzielt. Doch sind nicht alle Daten für das Training der Algorithmen geeignet, etwa aus Datenschutzgründen. Verteiltes Maschinelles Lernen - oder Federated Learning - soll dieses Problem adressieren, bietet aber auch neue Angriffsflächen.
Bild: acatech - Dt. Akademie der TechnikwissenschaftenDeep Learning bringt eine Reihe neuer funktionaler, aber auch datenschutzrechtlicher und sicherheitstechnischer Herausforderungen mit sich. Für das Training von Deep Neural Networks (DNNs) werden immer größere und diverse, teils sensible, Datenmengen benötigt.Bild: acatech - Dt. Akademie der Technikwissenschaften
acatech - Dt. Akademie der Technikwissenschaften
Dieser Artikel erschien in IT&Production 2 (März) 2023 - 09.03.23.Für weitere Artikel besuchen Sie www.it-production.com
