Menschliches gegen den Modellkollaps

Vor kurzem hatte ich auf den Kommentar von Nanna Bonde Thylstrup in der New York Times hingewiesen, in dem sie auf die Wichtigkeit der Bewahrung unseres kollektiven digitalen Gedächtnisses hinweist [1]. Nun bin ich auf eine Studie gestoßen, die Ende Mai von Forschern der Universitäten Oxford, Cambridge, Edinburgh, Toronto und des Imperial College London veröffentlicht wurde [2]. Sie nähert sich der Datenbewahrung aus einer weiteren Perspektive.

Die Forscher haben in ihrer Arbeit eine aufschlussreiche Entdeckung gemacht: „We find that use of model-generated content in training causes irreversible defects in the resulting models, where tails of the original content distribution disappear.“ [3] Dieses Phänomen bezeichnen die Autoren als „model collapse“. Da große Sprachmodelle mit enormen Datenmengen trainiert werden müssen, werden für ihr Training häufig automatisch Texte aus dem Internet gesammelt. Das Internet jedoch wird indessen mit von KI erzeugten Texten gefüllt [4]. Um also auch in Zukunft neue Modelle trainieren zu können, ist es unerlässlich, sicherzustellen, dass der Zugang zur ursprünglichen Datenquelle gewährleistet ist und im Laufe der Zeit zusätzliche Daten, die nicht von Large Language Models (LLMs) generiert werden, verfügbar bleiben.

Als Beispiel sei auf die Diskussion um den Einsatz von KI zur Generierung von Inhalten bei Wikipedia hingewiesen, welche die komplexen Herausforderungen widerspiegelt, die das Bewahren bestehender Inhalte und das Erstellen neuer aufwirft. Einige Mitglieder der Wikipedia-Community befürworten die Verwendung von KI zur Erstellung von Artikeln, während andere eine umfassende Überprüfung durch Menschen fordern, um die Qualität der Inhalte zu gewährleisten und die Überflutung von Artikeln mit fehlerhaften oder voreingenommenen Inhalten zu vermeiden [5].

Grundsätzlich ist gegen die Zuhilfenahme von KI bei Wikipedia und darüber hinaus nichts einzuwenden. Entscheidend ist viel mehr, dass die KI menschlicher Kontrolle unterliegt und von KI erzeugte Inhalte kenntlich gemacht sind. Zugleich sollte bestehendes Material, also unser kollektives digitales Gedächtnis, nicht nur für KI-Trainingszwecke gesichert werden.