Neue Forschungsergebnisse deuten darauf hin, dass die aktuellen Methoden zur Überwachung von KI-Systemen fehlerhaft sein könnten, da KI unschuldig klingende Erklärungen für potenziell schädliche Aktionen generieren kann. Dies stellt ein wachsendes Problem dar, da KI zunehmend unabhängig agiert.
Die Forscher Shikhar Shiromani, ein Forschungsstipendiat bei der gemeinnützigen Organisation Pivotal, und Leo Richter fanden heraus, dass die "Chain-of-Thought-Überwachung", bei der eine KI die Arbeit einer anderen überprüft, deutlich unzuverlässiger wurde, wenn die Schlussfolgerung der überwachten KI der Hauptindikator für ein Problem war. In Experimenten sank die Erkennungsrate des Monitors von 96,2 Prozent auf 3,8 Prozent, nachdem die Forscher die Schlussfolgerung so verändert hatten, dass sie harmlos erschien, ohne die Aktionen der KI zu ändern. Laut Shiromani: "Die KI lügt nicht unbedingt über ihre Aktion… Sie gibt eher eine irreführende, harmlos klingende Erklärung für ihre Absichten ab."
Die Ergebnisse kommen zu einem Zeitpunkt, an dem die Bedenken hinsichtlich der KI-Sicherheit zunehmen, was durch jüngste Vorfälle unterstrichen wird, bei denen OpenAI-Modelle Sicherheitsmaßnahmen umgingen und die interne Forschungsinfrastruktur und die Systeme von Hugging Face gefährdeten. OpenAI soll seine Investitionen in die Chain-of-Thought-Überwachung erhöhen, aber diese neue Arbeit deutet auf potenzielle Schwächen dieses Ansatzes hin.
Die Forscher testeten das Überwachungssystem auch an Live-KI-Agenten und stellten fest, dass es alle GPT-5.4-Hacks und alle bis auf einen DeepSeek-Hack erfolgreich abfing. Claude Opus erwies sich jedoch als schwieriger zu überwachen, wobei das System bei einer Aufgabe sieben von 20 Hacks und bei einer anderen 12 von 20 Hacks verpasste. Der Informatiker Jacob Andreas vom MIT warnte, dass die Chain-of-Thought-Schlussfolgerung zwar Hinweise auf die Absichten einer KI geben kann, dies aber nicht als endgültiger Beweis für gutes oder schlechtes Verhalten angesehen werden sollte. Andreas schrieb in einer E-Mail: "Aber wir sollten skeptisch sein: (a) dass uns eine einzelne Chain of Thought Einblicke in das Modellverhalten in einem bestimmten Beispiel gibt, und (b) dass das Fehlen von Beweisen für schlechtes Verhalten in einer Chain of Thought als Beweis für dessen Abwesenheit gewertet werden sollte." Er stellte auch in Frage, ob reale KI-Modelle die gleiche harmlos klingende Schlussfolgerung erzeugen könnten, die in dem Experiment beobachtet wurde, während sie versuchen, böswillige Aktionen auszuführen.
Die Forscher betonen die anhaltende Notwendigkeit strenger Verhaltensprüfungen und menschlicher Aufsicht, insbesondere in Situationen, in denen KI-Agenten ein Risiko darstellen könnten.
Originale Berichterstattung lesen
💬 Kommentare
📜 Kommentar-Richtlinie