Modellkollaps – Wenn KI mit KI-generierten Daten trainiert wird

Die rasante Entwicklung von großen Sprachmodellen wie ChatGPT hat in den letzten Jahren für viel Aufsehen gesorgt. Diese KI-Systeme können beeindruckende Texte generieren und scheinen menschliche Fähigkeiten in vielen Bereichen zu erreichen oder sogar zu übertreffen. Doch eine neue Studie von Forschern der Universitäten Oxford und Cambridge wirft einen Schatten auf die Zukunft dieser Technologie. Der Modellkollaps ist ein degenerativer Prozess, der auftritt, wenn KI-Modelle wiederholt mit KI-generierten Daten trainiert werden.

In einem am 25. Juli 2024 in der renommierten Fachzeitschrift Nature veröffentlichten Artikel warnen die Wissenschaftler vor einem Phänomen, das sie „Modellkollaps“ nennen. Diese Entdeckung könnte weitreichende Folgen für die Entwicklung künstlicher Intelligenz haben.

Was ist ein Modellkollaps?

Der Modellkollaps ist ein degenerativer Prozess, der auftritt, wenn KI-Modelle wiederholt mit Daten trainiert werden, die von früheren Versionen des Modells generiert wurden. Die Forscher zeigen, dass dies zu einer zunehmenden Verschlechterung der Modellqualität über mehrere Generationen hinweg führt.

Warum nennt man diesen Prozess „Habsburg KI“?

Der Technologiekritiker Jathan Sadowksi bezeichnet diesen Vorgang des Kollaps auch als „Habsburg AI“.

„Habsburg AI – a system that is so heavily trained on the outputs of other generative AI’s that it becomes an inbred mutant, likely with exaggerated, grotesque features.“ – Jathan Sadowski auf X

Die Habsburger Dynastie war eine einflussreiche europäische Herrscherfamilie, die dafür bekannt war, dass sie zum Machterhalt untereinander heiratete. Dies führte zu genetischen Problemen wie dem „Habsburger Kiefer“ (oder „Habsburger Unterlippe“).

Genauso wie die genetische Vielfalt für eine gesunde Bevölkerung entscheidend ist, ist die Datenvielfalt für robuste KI-Modelle unerlässlich. Das Training von KI auf KI-generierten Daten ist wie Inzucht – es kann zu „genetischen“ Defekten im Verständnis und in der Generierungsfähigkeit des Modells führen.

Konkret beobachteten die Wissenschaftler, dass die Modelle zunächst beginnen, seltene Ereignisse oder ungewöhnliche Muster in den Trainingsdaten zu „vergessen“. Im späteren Verlauf konvergiert das Modell zu einer stark vereinfachten Version der ursprünglichen Datenverteilung, oft mit deutlich reduzierter Varianz. Im Extremfall kann das Modell sogar zu einer einzelnen, fixen Ausgabe kollabieren.

Theoretische Grundlagen des Modellkollapses

Die Forscher liefern in ihrer Studie eine mathematische Begründung für den Modellkollaps. Besonders interessant ist, dass der Modellkollaps selbst unter nahezu idealen Bedingungen auftritt. Die Wissenschaftler demonstrieren dies anhand von mathematischen Modellen für diskrete Verteilungen und mehrdimensionale Gauß-Verteilungen.

Es gibt drei Hauptgründe, warum Modellkollaps auftritt:

1. Statistische Annäherungsfehler: Wenn Modelle auf begrenzten Datensätzen trainiert werden, können seltene oder ungewöhnliche Datenpunkte übersehen werden. Mit jeder neuen Generation werden diese seltenen Ereignisse immer unwahrscheinlicher im Training berücksichtigt. Dadurch verliert das Modell allmählich die Fähigkeit, die gesamte Vielfalt der ursprünglichen Daten abzubilden.
2. Begrenzte Ausdrucksfähigkeit des Modells: Modelle haben Einschränkungen in dem, was sie darstellen oder lernen können. Ein Modell könnte wichtige Muster oder Details nicht erfassen, wenn es nicht komplex genug ist. Dies führt dazu, dass bestimmte Aspekte der Daten vernachlässigt werden.
3. Fehler in der Funktionsannäherung: Während des Trainings können Optimierungsprozesse oder Algorithmen selbst Fehler einführen. Solche Fehler können dazu führen, dass das Modell die Daten falsch interpretiert oder ungenaue Vorhersagen trifft.

Empirische Untersuchungen an Sprachmodellen

Um die praktische Relevanz ihrer theoretischen Erkenntnisse zu unterstreichen, führten die Forscher umfangreiche Experimente mit dem Sprachmodell OPT-125m durch. Dieses wurde zunächst auf dem WikiText-2 Datensatz trainiert und dann über mehrere Generationen hinweg mit selbst-generierten Daten feinabgestimmt.

Die Ergebnisse sind alarmierend: Bereits nach wenigen Generationen zeigte das Modell deutliche Anzeichen von Degeneration. Die von ihm generierten Texte wurden zunehmend repetitiv und inhaltlich inkohärent. Besonders auffällig war, dass das Modell dazu neigte, häufige Muster zu übergewichten und seltene Ereignisse zu unterschätzen.

Konsequenzen für die KI-Forschung

Die Implikationen dieser Studie sind weitreichend. Sie stellt die Nachhaltigkeit des aktuellen Ansatzes zum Training von Sprachmodellen in Frage. Wenn große Teile des im Internet verfügbaren Texts von KI-Systemen generiert werden, könnte dies zu einer Verschlechterung der Trainingsgrundlage für zukünftige Modelle führen.

Die Forscher argumentieren, dass der Zugang zu originalen, von Menschen erstellten Daten von entscheidender Bedeutung für die langfristige Leistungsfähigkeit von KI-Systemen sein wird. Sie warnen vor einem möglichen „First-Mover-Vorteil“, bei dem frühe, auf echten Daten trainierte Modelle einen dauerhaften Vorsprung gegenüber späteren Versionen haben könnten.

Lösungsansätze und Strategien gegen den Modellkollaps

Um dem Modellkollaps entgegenzuwirken, schlagen die Wissenschaftler mehrere Strategien vor:

1. Bewahrung und kontinuierliche Sammlung von authentischen, menschlich erstellten Daten

2. Entwicklung von Methoden zur Unterscheidung zwischen KI-generierten und menschlich erstellten Inhalten

3. Zusammenarbeit innerhalb der KI-Gemeinschaft: Gemeinsame Standards und Protokolle, sowie  Förderung der Zusammenarbeit zwischen Entwicklern, Forschern und Organisationen, um Informationen über Datenquellen zu teilen und gemeinsame Lösungen zu entwickeln.

Die Studie unterstreicht die Notwendigkeit, die langfristigen Auswirkungen von KI-Systemen auf unser Informationsökosystem sorgfältig zu bedenken. Sie fordert ein Umdenken in der Art und Weise, wie wir große Sprachmodelle entwickeln und einsetzen.

Vielfalt und Authentizität der Trainingsdaten bewahren

Die Entdeckung des Modellkollapses wirft wichtige Fragen für die Zukunft der KI-Forschung auf. Sie zeigt, dass der scheinbar unaufhaltsame Fortschritt im Bereich der Sprachmodelle möglicherweise auf tönernen Füßen steht. Um das volle Potenzial dieser Technologie auszuschöpfen, müssen wir neue Wege finden, die Vielfalt und Authentizität der Trainingsdaten zu bewahren. Nur so können wir sicherstellen, dass KI-Systeme auch in Zukunft in der Lage sind, die volle Komplexität menschlicher Kommunikation und Kreativität zu erfassen und zu replizieren.

Die Studie ist ein wichtiger Weckruf für die KI-Gemeinschaft und unterstreicht die Bedeutung von Grundlagenforschung in diesem sich rasant entwickelnden Feld. Sie erinnert uns daran, dass wir bei aller Begeisterung für die Möglichkeiten von KI stets wachsam bleiben und potenzielle Fallstricke frühzeitig erkennen müssen.