MIT entwickelt Systematik, um Ethik von autonomen Systemen zu bewerten

Das MIT hat ein neues System entwickelt, mit dem autonome KI-Systeme optimale Entscheidungen auf ethischer Basis treffen können.

Künstliche Intelligenz und autonome Systeme werden zunehmend in kritischen Bereichen zur Optimierung von Entscheidungsprozessen eingesetzt. Das wirft drängende Fragen hinsichtlich ihrer Ethik und Fairness auf. So könnte zum Beispiel eine technisch optimale und kostengünstige Strategie für die Energieverteilung dazu führen, dass benachteiligte Viertel häufiger von Stromausfällen betroffen sind als wohlhabendere Gegenden.

Weil sowohl ethische Werte als auch KI-Systeme einer ständigen Entwicklung unterliegen, reichen statische Evaluationsmethoden oder manuell festgelegte Regeln oftmals nicht aus, um alle unvorhersehbaren Szenarien im Vorfeld abzusichern.

Um diese Herausforderungen zu bewältigen, haben Forscher des Massachusetts Institute of Technology (MIT) ein neuartiges, automatisiertes Test-Framework namens SEED-SET (Scalable Experimental Design for System-level Ethical Testing) entwickelt. Das System hilft Stakeholdern dabei, potenzielle ethische Dilemmata frühzeitig zu identifizieren, bevor ein KI-Modell in der Praxis eingesetzt wird.

Das Besondere an der MIT-Entwicklung ist ihr hierarchischer Ansatz, der das Problem in zwei Teile gliedert: Zunächst bewertet ein objektives Modell greifbare, messbare Metriken wie Kosten oder Zuverlässigkeit, worauf aufbauend ein subjektives Modell qualitative menschliche Werte wie etwa wahrgenommene Fairness berücksichtigt. Weil Trainingsdaten für solch subjektive ethische Kriterien meist nur schwer verfügbar sind, kommt SEED-SET ohne vorab gesammelte Evaluationsdaten aus und passt sich dynamisch an unterschiedliche Zielsetzungen von verschiedenen Stakeholdern an.

Ziel war es, das System mit Leitplanken zu versehen, die auch das abdecken, was sich nicht vorhersehen lässt: die sogenannten "unkonwn unknowns".

Um die eigentliche ethische Bewertung durchzuführen, nutzt das System ein Large Language Model (LLM) als Stellvertreter für menschliche Prüfer. Die ethischen Präferenzen der verschiedenen Nutzergruppen werden dabei in Form von natürlichen Sprachbefehlen in das Modell integriert, das auf dieser Basis verschiedene Szenarien vergleicht und die bevorzugten Designs auswählt. Durch diesen automatisierten LLM-Ansatz werden menschliche Ermüdungserscheinungen und Inkonsistenzen verhindert, die unweigerlich auftreten würden, wenn Personen hunderte oder tausende Szenarien manuell prüfen müssten.

Abbildung 1: Funktionsweise des SEED-SET. Quelle: MIT. Erstellt per NotebookLM

In Simulationen mit realistischen autonomen Systemen wie einem KI-gesteuerten Stromnetz und einem städtischen Verkehrssteuerungssystem erwies sich das Framework als äußerst effizient: Es generierte in der gleichen Zeit mehr als doppelt so viele optimale Testfälle wie herkömmliche Basisstrategien und deckte dabei viele Szenarien auf, die andere Ansätze schlichtweg übersehen hätten.

Um den praktischen Nutzen in realen Entscheidungsprozessen weiter zu validieren, planen die Forscher als nächsten Schritt die Durchführung von Nutzerstudien sowie die Anpassung der Modelle, um sie für noch größere Problemstellungen mit mehr Kriterien skalierbar zu machen.