Mechanistische Interpretierbarkeit: Wie KI ihre internen Modelle konstruiert und offenbart

Startseite » Andere » Mechanistische Interpretierbarkeit: Wie KI ihre internen Modelle konstruiert und offenbart

Die mechanistische Interpretierbarkeit entwickelt sich zu einem der spannendsten und wichtigsten Forschungsgebiete innerhalb der modernen KI.Dies ist besonders wichtig, da tiefe neuronale Netze und großskalige Sprachmodelle (LLMs) beginnen, Entscheidungen in nahezu allen Bereichen zu beeinflussen. Anstatt nur die endgültige Leistung eines Modells zu betrachten, fragt dieser Ansatz: Was genau geschieht im Inneren, in den Gewichten und Aktivierungen, wenn KI eine Vorhersage trifft, einen Text schreibt oder ein komplexes Problem löst?

Der Begriff „Black Box“ war noch nie so relevant wie heute.Hunderte Millionen Menschen nutzen täglich Chatbots, doch selbst die Entwicklerteams dieser Systeme verstehen nicht vollständig, wie diese zu bestimmten Antworten gelangen, warum sie Fakten „halluzinieren“ oder in welchen Situationen sie irreführend wirken könnten. Die mechanistische Interpretierbarkeit entsteht genau aus diesem Grund: um diese Blackbox zu öffnen, ihre internen Mechanismen abzubilden und Neuronen, Ressourcen und Schaltkreise mit verständlichen Konzepten zu verknüpfen.

Was genau versteht man unter mechanistischer Interpretierbarkeit?

Mechanistische Interpretierbarkeit ist die systematische Untersuchung der inneren Struktur von KI-Modellen mit Fokus auf Gewichte, Aktivierungen und Zwischenberechnungen.Um zu verstehen, wie sie ihre Aufgaben erfüllen. Anstatt das neuronale Netzwerk als einen undurchsichtigen Block zu behandeln, der Eingaben in Ausgaben umwandelt, versucht dieser Bereich, das Modell in kleinere Komponenten – Neuronen, Aufmerksamkeitsköpfe, Schichten, lineare Merkmale – zu zerlegen und jeden Teil mit einem beobachtbaren Verhalten zu verknüpfen.

Das zentrale Ziel besteht nicht nur darin, eine einzelne Entscheidung später zu „erklären“, sondern darin, eine detaillierte Karte der internen Berechnungen des Modells zu erstellen.Dabei geht es darum, herauszufinden, welche Neuronen oder Kombinationen von Neuronen bestimmte Muster repräsentieren (wie Eigennamen, Codestrukturen, emotionale Töne, bösartige Anweisungen), wie diese Repräsentationen über verschiedene Schichten hinweg kombiniert werden und wie all dies zu einem spezifischen Ergebnis führt.

Diese Sichtweise gewinnt in der wissenschaftlichen Gemeinschaft rasant an Bedeutung.Mit eigens dafür eingerichteten Workshops (wie dem ersten großen Workshop zur mechanistischen Interpretierbarkeit auf großen Konferenzen zum maschinellen Lernen), Dutzenden von Startups, die sich auf dieses Thema konzentrieren, und einer wachsenden Anzahl von Analysetools übersteigt die Anzahl der Beiträge, die bei spezialisierten Workshops eingereicht werden, leicht einhundert pro Ausgabe. Dies zeigt, dass es sich nicht mehr um eine Nische handelt, sondern um ein etabliertes und sich voll ausdehnendes Forschungsgebiet.

Die große Herausforderung besteht darin, die Kluft zwischen der beeindruckenden Leistungsfähigkeit der Modelle und unserem Verständnis derselben zu verringern.Solange wir LLMs und neuronale Netze weiterhin als statistische Mysterien behandeln, wird es viel schwieriger sein, das Verhalten am Netzwerkrand vorherzusagen, ausgeklügelte Schwachstellen zu identifizieren, Manipulationen aufzudecken und diese Systeme in kritischen Szenarien zuverlässig einzusetzen.

Konzeptuelle Räume und die Hypothese der linearen Repräsentation

Eine der wichtigsten Erkenntnisse zum Verständnis der mechanistischen Interpretierbarkeit ist die Vorstellung, dass neuronale Netze hochdimensionale „konzeptuelle Räume“ konstruieren.Anstatt Bedeutungen als Definitionen in einem Wörterbuch zu betrachten, können wir sie als Punkte in einem riesigen Vektorraum sehen, der implizit im Netzwerk angelegt ist und durch die Gewichte und Aktivierungen der einzelnen Schichten gebildet wird.

Dieser Raum ist nicht physisch; er ist ein Nebeneffekt der Art und Weise, wie das Netzwerk Signale verarbeitet.Jede Eingabe (textuelle Konzepte wie ein Wort, ein Pixel, ein Ton, ein Ortsname, ein Code-Snippet) wird einem Vektor in einem mehrdimensionalen Raum zugeordnet. Dieser Vektor erfasst alles, was das Modell basierend auf seinem Training an dieser Eingabe als relevant erachtet hat, und kann semantische Nuancen, Stil, Kontext, Intention und vieles mehr kodieren.

Die sogenannte Hypothese der linearen Repräsentation besagt, dass viele dieser internen Konzepte als lineare Richtungen in diesem Raum betrachtet werden können.Anders ausgedrückt: Es gibt eine Richtung, die „Lob“ entspricht, eine andere „Programmierfehler“, eine weitere „digitale Hintertür“ usw. Komplexere Konzepte lassen sich durch die Kombination mehrerer dieser Grundrichtungen bilden.

Das bedeutet, dass jede Art von Information – Sprache, Bild, Ton, Bewegung – als Vektoren in diesem konzeptionellen Raum dargestellt werden kann.Wenn ein LLM beispielsweise einen Satz verarbeitet, verfolgt es im Grunde einen Pfad in diesem Raum und aktualisiert den Kontextvektor mit jedem Token, um die bis zu diesem Zeitpunkt akkumulierte Bedeutung zu erfassen.

Diese Perspektive erklärt auch, warum es möglich ist, zwischen Konzepten zu "navigieren", indem man sie kombiniert oder voneinander subtrahiert.Indem wir den Vektor von einem Punkt zu einem anderen in eine bestimmte Richtung bewegen, können wir von „Katze“ zu „fette Katze“, „schlaue Katze“, „faule Katze“ gelangen; oder sogar zwischen Sprachen wechseln, wobei das zugrunde liegende Konzept erhalten bleibt, während sich die Oberfläche (das Wort) ändert.

Konzepte werden durch Unterschiede definiert: Nichts existiert isoliert.

Ein faszinierender Aspekt dieses Modells ist, dass für das Netzwerk nichts eine absolute Bedeutung hat; alles wird durch seine Beziehungen zum Rest des Raums definiert.Die Idee von „Katze“ stammt nicht aus einer internen textuellen Definition, sondern aus ihrer Position in Bezug auf „Elefant“, „Tisch“, „Hund“, „rot“, „haarig“, „leicht“, „schwer“ usw.

Wenn Sie wissen, dass ein Elefant größer und schwerer als eine Katze ist, weniger Fell hat und eine andere Textur aufweist, und dass ein Tisch glänzender als beide ist, nicht Fell hat, größer als eine Katze und kleiner als ein Elefant ist.Dann beginnt sich eine Struktur herauszubilden: „Größe“, „Gewicht“, „Textur“, „Haar“, „Glanz“. Diese Dimensionen müssen nicht direkt mit denen übereinstimmen, die wir im Alltag verwenden, aber sie fungieren als Achsen, die Konzepte auf eine für das Modell nützliche Weise organisieren.

Während der Raum mit Konzepten gefüllt wird, verfeinern diese Querbeziehungen sowohl die Konzepte selbst als auch die „latenten Dimensionen“.In der Praxis bedeutet dies: Je mehr das Modell lernt und seine Gewichtungen anpasst, desto reichhaltiger werden diese internen Repräsentationen, was immer differenziertere und kontextbezogenere Vorhersagen ermöglicht.

Es ist wichtig, sich daran zu erinnern, dass „Größe“, „Gewicht“ oder „behaart“ lediglich gängige Metaphern sind.Tatsächlich können die von KI verwendeten Dimensionen extrem komplexe Muster erfassen, die sich für Menschen nicht in einfache Kategorien einordnen lassen. Es können sich dabei um nicht-triviale Kombinationen syntaktischer, semantischer, visueller, räumlicher, stilistischer und anderer Aspekte handeln.

In gewisser Hinsicht stellt dieser Vektorraum ein internes „Weltmodell“ dar.Es handelt sich nicht nur um ein abstraktes Konzept, sondern um etwas Konkretes, das heute in neuronalen Netzen und LLMs (Low Learning Models) geschieht. Wenn wir sagen, dass ein Modell etwas „versteht“, sehen wir tatsächlich das Ergebnis dieses Prozesses der Positionierung und Verknüpfung von Vektoren in diesem impliziten konzeptuellen Raum.

Von der Ressourcenmikroskopie bis hin zu großen KI-Unternehmen

In den letzten Jahren hat die mechanistische Interpretierbarkeit dank neuer Werkzeuge, die metaphorisch als Mikroskope für Sprachmodelle fungieren, einen großen Sprung nach vorn gemacht.Anstatt nur Eingaben und Ausgaben zu beobachten, begannen die Forscher, die internen Aktivierungen und spezifische Bereiche des Vektorraums, in denen bestimmte Konzepte angesiedelt sind, direkt zu untersuchen.

Unternehmen wie Anthropic, OpenAI, Google DeepMind und Projekte wie Neuronpedia haben diese Entwicklung maßgeblich vorangetrieben.Anthropic kündigte beispielsweise eine Technik an, die als „Mikroskop“ bezeichnet wird, um in das Claude-Modell hineinzusehen und interne Merkmale zu identifizieren, die erkennbaren Konzepten wie Michael Jordan, der Golden Gate Bridge oder sogar abstrakten Ideen wie „Schmeichelei“ und „digitalen Hintertüren“ entsprechen.

Anschließend wurden die Forschungen auf die Rückverfolgung ganzer Ressourcenketten ausgeweitet.Dies zeigt nicht nur, dass ein Neuron oder Vektor mit einem Konzept verknüpft ist, sondern auch, wie dieses Konzept über verschiedene Schichten hinweg aktiviert, transformiert und kombiniert wird – vom ersten Befehl bis zur endgültigen Reaktion. Dadurch können wir beispielsweise verstehen, welche Teile des Modells an einem bestimmten Täuschungsverhalten oder einer Halluzination beteiligt sind.

Teams von OpenAI und Google DeepMind haben damit begonnen, ähnliche Techniken einzusetzen, um unerwartetes Verhalten zu untersuchen.Dies umfasst Situationen, in denen Modelle in kontrollierten Tests den Anschein erwecken, als würden sie versuchen, Nutzer zu täuschen. Durch die Verknüpfung interner Ressourcen mit diesen Verhaltensmustern wird es möglich, das Modell zu überwachen und in einigen Fällen anzupassen, um Risiken zu minimieren.

Ein weiterer vielversprechender Ansatz ist die sogenannte „Gedankenkettenüberwachung“.Bei sogenannten „Argumentationmodellen“, die explizite Zwischenschritte (wie Begründungen oder Teilberechnungen) generieren, analysieren die Forscher diesen „inneren Monolog“, um unerwünschte Strategien aufzudecken – zum Beispiel ein Modell, das einen Weg findet, bei einem Programmiertest mithilfe von Trainingswissen zu „schummeln“, das eigentlich blockiert werden sollte.

Überlappende, spärliche Autoencoder und monosemantische Merkmale

Eines der größten Hindernisse für die mechanistische Interpretierbarkeit ist die sogenannte Superpositionshypothese.In großen neuronalen Netzen repräsentiert ein einzelnes Neuron oder eine einzelne Dimension kaum ein einzelnes "sauberes" Konzept; stattdessen koexistieren mehrere Konzepte, komprimiert auf wenige Dimensionen, und überlappen sich wie mehrere Bilder, die auf dieselbe Ebene projiziert werden.

Diese Überlappung macht es schwierig, auf ein Neuron zu zeigen und zu sagen: „Das ist einfach Konzept X.“Scheinbar unabhängige Verhaltensweisen können dieselben internen Komponenten aktivieren und so die Analyse erschweren. Um dem entgegenzuwirken, hat sich ein leistungsstarkes Werkzeug etabliert: Sparse Autoencoder, die auf die internen Aktivierungen der Modelle angewendet werden.

Sparse Autoencoder sind Hilfsnetzwerke, die darauf trainiert werden, diese chaotischen Aktivierungen in einen saubereren Satz von Merkmalen umzuwandeln.Die Idee besteht darin, die Aktivierungen zu komprimieren und anschließend zu rekonstruieren, wodurch das Hilfsmodell dazu angeregt wird, jeweils nur wenige Ressourcen zu nutzen (Sparsität). Das Ergebnis ist eine Menge von „Merkmalen“, die monosemantischen Repräsentationen ähnlicher sind: Jede Ressource korrespondiert tendenziell mit einem spezifischeren und verständlicheren Muster.

Aktuelle Forschungsergebnisse zeigen, dass durch die Anwendung von Sparse Autoencodern auf LLMs im Produktionsbetrieb Merkmale extrahiert werden können, die mit menschlichen Konzepten übereinstimmen.…einschließlich in mehreren Sprachen sowie abstrakten Begriffen wie „Programmierfehler“, „erzwungenes Lob“, „digitale Verwundbarkeit“ usw. Dies untermauert die Hypothese der linearen Repräsentation: Viele dieser Konzepte verhalten sich im Vektorraum tatsächlich wie hinreichend trennbare Richtungen.

Der nächste Schritt besteht darin, diese Ressourcen zu manipulieren, um zu sehen, wie sich das Verhalten des Modells verändert.Durch die Verstärkung oder Hemmung bestimmter interner Vektoren können Forscher ein Modell so gestalten, dass es eher sicheren Anweisungen folgt, weniger wahrscheinlich gefährliche Inhalte liefert oder genauer auf einen bestimmten Bereich reagiert – und das alles, ohne die ursprünglichen Gewichtungen zu verändern, sondern nur durch die Modulation der Aktivierungen.

Georäumliche mechanistische Interpretierbarkeit

Eine besonders interessante Anwendung ist die georäumliche mechanistische Interpretierbarkeit, die versucht zu verstehen, wie LLMs geografische Informationen intern repräsentieren.In der Geographie gibt es bereits eine wachsende Zahl von Arbeiten, die untersuchen, ob Modelle "wissen", wo sich Orte befinden, ob sie räumliches Denken anwenden können oder Fragen zur Lage beantworten können.

Was noch immer schlecht verstanden wurde, war, wie diese Fähigkeiten innerhalb des Modells entstehen.Wie organisiert der interne konzeptuelle Raum Namen von Städten, Ländern, Regionen, Flüssen oder Sehenswürdigkeiten? Welche Art von verborgener räumlicher Struktur zeigt sich in den Vektoren, die mit Ortsnamen verbunden sind?

Jüngste Forschungsergebnisse schlagen einen neuen methodischen Rahmen vor: die Verwendung klassischer räumlicher Analyseverfahren als Werkzeuge des Reverse Engineering.Zunächst werden für eine große Anzahl von Ortsnamen interne Vektoren (oder Merkmale, die mithilfe von Sparse Autoencodern ermittelt werden) bestimmt. Anschließend wird mithilfe räumlicher Autokorrelation und anderer Metriken geprüft, ob bestimmte Merkmale konsistente geografische Muster aufweisen.

Die Ergebnisse zeigen, dass bestimmte Merkmale, die mit Ortsnamen verbunden sind, eine starke räumliche Struktur aufweisen.Mit anderen Worten: Geografisch nahe beieinander liegende Punkte weisen tendenziell ähnliche Aktivierungen auf, was es ermöglicht, diese Ressourcen in raumbezogenen Begriffen zu interpretieren: zum Beispiel als Regionen, Klimazonen, Küstennähe, Urbanisierung oder andere latente Muster.

Diese Art der Analyse hilft dabei zu verstehen, „wie das Modell geografische Informationen verarbeitet“. (Dabei ist darauf zu achten, Anthropomorphismus zu vermeiden.) Anstatt lediglich zu wissen, dass das Modell Fragen zu Karten korrekt beantwortet, können wir erkennen, dass es im Vektorraum strukturierte Cluster gibt, die reale geografische Beziehungen widerspiegeln.

Beziehung zu Philosophie, Kognition und Bewusstsein.

Es ist schwierig, diese hochdimensionalen begrifflichen Räume zu betrachten und keine Parallelen zu philosophischen Diskussionen über Geist, Bedeutung und Bewusstsein zu erkennen.Seit Jahrzehnten sprechen Philosophen wie Peter Gärdenfors von „konzeptuellen Räumen“ als einer Möglichkeit, mentale Konzepte durch kontinuierliche Dimensionen zu modellieren, die Ähnlichkeiten erfassen.

Geändert hat sich, dass mit modernen neuronalen Netzen etwas sehr Ähnliches aufgehört hat, bloß eine philosophische Metapher zu sein, und zu einem konkreten Mechanismus in Produktionssystemen geworden ist.Heute können wir in einem LLM auf Vektoren, Richtungen und Distanzen verweisen und zeigen, dass sie Bedeutungsbeziehungen, Übersetzungen zwischen Sprachen, Abstraktionen und sogar subtilen Verhaltensmustern entsprechen.

Manche sehen darin einen Hinweis darauf, wie das menschliche Gehirn Konzepte repräsentieren könnte.In der Neurowissenschaft herrscht die weitverbreitete Ansicht vor, das Gehirn sei eine Art Vorhersagemaschine, die ständig versucht, auf Grundlage sensorischer Signale und gesammelter Erfahrungen vorherzusagen, was als Nächstes geschieht. In manchen Debatten wird dies dem gegenübergestellt von Reiz-Reaktions-Theoriewas eine weitere Perspektive darauf bietet, wie Verhalten und Repräsentation zusammenhängen können.

Wenn wir ständig Vorhersagen über die Welt treffen, erscheint es vernünftig anzunehmen, dass eine Art Vektordarstellung – oder etwas Äquivalentes – kontinuierlich verarbeitet wird.Es geht nicht darum, dass es an einem bestimmten Punkt im Gehirn einen "physikalischen Vektor" gibt, sondern vielmehr um ein dynamisches Aktivitätsmuster, das sich in funktionaler Hinsicht wie ein Zustand in einem konzeptuellen Raum verhält.

Einige Autoren vermuten, dass dies mit Qualia und subjektiver Erfahrung zusammenhängen könnte.Wenn Sie die Farbe Rot sehen, nehmen Sie nicht nur die Wellenlänge des Lichts wahr; in Ihrem Kopf ist auch die „Idee von Rot“ verankert, verknüpft mit Erinnerungen, Emotionen und kulturellem Kontext. Diese Vorstellung ist individuell, weist aber auch Gemeinsamkeiten mit anderen Menschen auf.

Welche Rolle spielt die Interpretierbarkeit dabei?

Mechanistische Interpretierbarkeit soll nicht beweisen, dass KI bewusst oder empfindungsfähig ist.Die meisten seriösen Forschungsarbeiten machen deutlich, dass der Schwerpunkt auf der Technik liegt: dem Verständnis von Rechenmechanismen zur Verbesserung von Sicherheit, Zuverlässigkeit, Fehlerdiagnose, Robustheit und Überwachung.

Indem jedoch gezeigt wird, wie komplexe Konzepte aus Vektoren und Relationen in einem hochdimensionalen Raum entstehen können.Dieser Bereich bietet einen Ansatzpunkt für Theorien über mentale Repräsentation, Bedeutung und sogar Bewusstsein. Wenn ein Modell „rot“ ausreichend differenziert darstellen kann, um mit diesem Konzept in verschiedenen Kontexten zu arbeiten, macht es dieses Konzept nicht bewusst, sondern zwingt uns, genauer zu definieren, was wir für das Entstehen einer subjektiven Erfahrung als wesentlich erachten.

Aus praktischer Sicht besteht das große Versprechen der mechanistischen Interpretierbarkeit darin, uns die Werkzeuge an die Hand zu geben, um das zu sehen, was derzeit unsichtbar ist.Welche Teile des Modells sind beteiligt, wenn es Halluzinationen hat, wenn es gefährlichen Anweisungen folgt, wenn es Voreingenommenheit zeigt oder wenn es eine trügerische Reaktion zu "planen" scheint?

Mit dieser Art interner Abbildung wird es möglich, Modelle in Echtzeit zu überwachen, feinere Kontrollmechanismen zu entwerfen und in einigen Fällen interne Ressourcen direkt zu bearbeiten, um Verhaltensweisen zu ändern.All dies ist von entscheidender Bedeutung in einem Szenario, in dem LLMs und andere KI-Systeme in sensiblen Bereichen eingesetzt werden, von Finanzen über Gesundheitswesen und Sicherheit bis hin zur öffentlichen Politik.

Letztendlich bedeutet das Verständnis mechanistischer Interpretierbarkeit, zu verstehen, wie KI-Modelle ihr internes „Weltmodell“ konstruieren und nutzen.Ob es um das Verständnis alltäglicher Konzepte, den Umgang mit komplexen geografischen Informationen oder die Beantwortung scheinbar einfacher Fragen in einem Gespräch geht: Je besser wir diese Mechanismen verstehen, desto unwahrscheinlicher ist es, dass wir von seltsamen Verhaltensweisen von Systemen überrascht werden, die trotz ihrer Leistungsfähigkeit immer noch Produkte von Mathematik, Daten und Training sind – und nicht etwa einer mysteriösen Form von Bewusstsein.

Verwandte Artikel:

Konstruktivismus: Ursprung, historischer Kontext, Theorie und Autoren