von Das KI-Sprachmodell GPT-3 von Open AI ist der Nachfolger von GPT-2, das im letzen Jahr nicht nur unter Informatikern für viel Aufmerksamkeit gesorgt hat. Viele Machine Learning Experten meinen, dass uns GPT-3 einer menschenähnlichen, hoch entwickelten allgemeinen künstlichen Intelligenz (AGI) einen Schritt näher bringen könnte. Kritiker hingegen wenden ein, dass die Leistung des Programms bei vielen Aufgaben immer noch weit hinter spezialisierten Systemen und menschlicher Intelligenz zurückbleibt. Ist GPT-3 die erste allgemeine Künstliche Intelligenz?
GPT-3 enthält im Grunde keine wesentlich neue Technologie. Es handelt sich um eine verbesserte Version von GPT-2, das seinerseits wiederum eine optimierte Version anderer Sprachmodelle war, bei der tiefes Lernen (Deep Learning) zum Einsatz kam. GPT-3 ist einfach nur viel, viel größer. Mit dem Effekt, dass sich der Output, den GPT-3 liefert, radikal anders anfühlt.
Was ist GPT-3?
GPT-3 ist eines der interessantesten KI-Modelle, die jemals erstellt wurden. Es verwendet dieselbe Art von Transformer-basierter Architektur wie sein Vorgänger GPT-2 (sowie andere neuere Sprachmodelle wie BERT). Stark vereinfacht gesprochen ist GPT-3 ein riesiges künstliches neuronales Netz, das mit Text trainiert wurde. 
Schon GPT-2 hat bereits beeindruckende Ergebnisse erzeugt, doch erst GPT-3 hat die Phantasie vieler Entwickler beflügelt. Sie sind vor allem von den vielen praktischen Anwendungen des Systems begeistert, die auf den ersten Blick gar nicht ersichtlich sind. GPT-3 und seine Folgeversionen sind auf dem besten Weg, den Turing-Test zu bestehen.
GPT-3 debütierte am 22.07.2020 in einem arXiv-Papier. Das Originalpapier wurde am 28. Mai 2020 von 31 Entwicklern vorgestellt. In ihrem Papier warnten sie auch vor den potenziellen Gefahren dieses revolutionären Modells und forderten zusätzliche Forschungsanstrengungen zur Risikominimierung.
Wofür steht die Abkürzung GPT-3 ?
GPT-3 steht für „Generative Pretrained Transformer 3“.
Generativ bedeutet, das Machine Learning – Modell wurde mit großen Mengen von Textdaten gefüttert und aufgefordert, deren statistische Merkmale herauszufinden, um daraus wiederum mehr Text zu generieren.
Pretrained bedeutet, dass OpenAI ein flexibles und leistungsfähiges Sprachmodell erstellt und „vortrainiert“ hat.
Transformer bedeutet, dass das ML-Modell die sogenannte “Transformer” Architektur verwendet hat, eine Entwicklung von Google. Auf der NIPS-Konferenz 2017 veröffentlichte ein Team von Forschern von Google Brain und der U. of Toronto die Publikation Attention is All You Need. Das Papier stellte die Transformer-Architektur vor. Die neue Architektur war deshalb bedeutsam, weil sie die Schaffung viel tiefer gehender neuronaler Netzwerke ermöglichte.
3 bedeutet, dass es die dritte Version des Modells ist.
Wie funktioniert GPT-3 ?
Klassische KI-Sprachmodelle müssen im Normalfall für spezifische Anwendungen trainiert werden. Ein Kundendienst-Bot, der von einem Händler für Staubsauger eingesetzt wird, muss z.B. mit Daten über Staubsauger-Produkte, Zubehör und Fragen der Kunden feinabgestimmt werden. Ein Bot, der von einer Fluggesellschaft im Kundenservice eingesetzt wird, muss alles über Flüge, Buchungen usw. wissen.
Im Gegensatz dazu ist für GPT-3 kaum zusätzliche Schulung erforderlich. Gibt man GPT-3 eine natürlich-sprachliche Eingabeaufforderung ein, wie zum Beispiel – “Ich mag Bananen, weil … ” – antwortet die Software mit einem Text, der unheimlich nahe an dem ist, was ein Mensch produzieren würde. Und dabei liest sich die Antwort alles andere als hätte sie ein Roboter-Autor verfasst.
GPT-3 ist in der Lage, originelle, kohärente Prosa zu erzeugen, Gedichte, Dialoge, Pressemitteilungen, Essays, Meme, Computercode und vieles mehr. Das System liefert keine Antworten aus der Konserve, GPT-3 scheint eine ganze Reihe von Aufgaben erfüllen zu können. Angesichts dieser Fortschritte ist die Erwartungshaltung für GPT-Folgeversionen dementsprechend hoch.
Was kann GPT-3 ? Woher kommt der Hype?
Die Vielfalt der Trainingsdaten verleiht GPT-3 die beeindruckende Fähigkeit, sich schnell an neue Aufgaben anzupassen zu können. Erste Experimente demonstrieren, dass GPT-3 Hinweise auf eine allgemeine Intelligenz zeigt, was unter Entwicklern zu einem Hype geführt hat. Frühere KI-Systeme haben in spezialisierten Bereichen wie z.B. dem Schachspiel gut funktioniert, aber eine bereichsübergreifende allgemeine Intelligenz schien in weiter Ferne zu liegen.
GPT-3 zeigt beeindruckende Fähigkeiten in vielen Bereichen, es kann anhand einiger weniger Beispiele lernen, Aufgaben spontan auszuführen, selbst wenn nichts explizit einprogrammiert wurde. GPT-3 – die erste allgemeine Künstliche Intelligenz?
Virtuelle Lehrer und bessere Sprachassistenten
So könnte GPT-3 virtuelle LehrerInnen (er)schaffen, die auf den Lernstil jedes Schülers zugeschnitten sind. Aber auch Chatbots könnte GPT-3 revolutionieren. Aktuelle Sprachassistenten treiben die Anwender mitunter in den Wahnsinn, weil sie den Kontext nicht verstehen. GPT könnte Menschen eines Tages tatsächlich verstehen und somit ein wesentlich hilfreicherer digitaler Assistent sein, als es derzeit Alexa, Siri und Google Assitant derzeit sind. Seit Jahren sind Entwickler bestrebt, Chatbots zu entwickeln, die “einfach nur funktionieren”. GPT-3 könnte ihnen nun endlich zum Durchbruch verhelfen.
Womit wurde GPT-3 trainiert? Woher stammen die Daten?
GPT-3 wurde mit 570 Gigabyte an Text trainiert, das sind fast einer Billion Wörter. Das neuronale Netz besteht aus 175 Milliarden Parametern, das sind in etwa 100 Mal soviel wie beim Vorgänger GPT-2, der 2019 veröffentlicht wurde und 1,5 Mrd Parameter hatte.
Die Daten stammen aus dem Common-Crawl-Datenkorpus, die zwischen 2016 und 2019 erhoben wurden. Common Crawl ist eine gemeinnützige Organisation, die das Web crawlt und ihre Archive und Datensätze der Öffentlichkeit frei zur Verfügung stellt. Weitere Trainingsdaten stammten aus Datensätzen von Foreneinträgen, Webtexten, Literaturdatenbanken und dem englischsprachigen Wikipedia. Der Legende nach kostete das Training des Modells 14 Millionen US Dollar.
Welche Beispiele für GPT-3 Anwendungen gibt es bereits?
OpenAI hat ausgewählten Software-Entwicklern Zugang zu GPT-3 gewährt. Viele von ihnen haben in den letzten Wochen Demos erstellt, die sie in den Sozialen Medien gestreut und damit einen Begeisterungssturm ausgelöst haben. Erstaunlicherweise kann GPT-3 nämlich Dinge tun, an die seine Schöpfer nicht gedacht haben. Ich habe hier die für mich beindruckensten Beispiele zusammengefasst.
Ask me Anything – Suchmaschine
Eine voll funktionsfähige Suchmaschine von Paras Chopra, @paraschopra, die für jede Anfrage eine genaue Antwort und die entsprechende URL zurückgibt. Also quasi ein Google mit GPT-3 gebaut.
>> Zum Twitter-Eintrag von Paras Chopra, @paraschopra
The Guardian Artikel – Generierung von Text
Die Redaktion der renommierten, englischen Tageszeitung hat GPT-3 gebeten, einen Essay zu schreiben. Der Auftrag? Sie zu überzeugen, dass Roboter in Frieden kommen.
>> Mehr infos zum “The Guardian” Artikel – von GPT-3 verfasst
GPT-3 schreibt Programmiercode
Sharif Shameem, @sharifshameem hat mit GPT-3 einen Layout-Generator gebaut, in dem man einfach ein beliebiges Layout beschreiben kann. Der JSX-Code (JSX steht für JavaScript XML) wird dann von der KI generiert.
Ein einfaches Beispiel: Man fragt GPT-3, einen Button zu designen, der wie eine Wassermelone aussieht. GPT-3 versteht den Zusammenhang und codet den Button.
>> Zum Twitter-Eintrag – GPT-3 schreibt Code – von Sharif Shameem
GPT-3 designt Oberflächen
Jordan Singers “Designer”, ein GPT-3 Figma-Plugin. Figma ist eine Software, die Kreativ-Teams bei der Erstellung, beim Testing und der Auslieferung von Designentwürfen unterstützt. Auch in diesem Beispiel beschreibt man die gewünschte Oberfläche, GPT-3 designt sie.
>> Jordan Singers GPT-3 “Designer”
>> GPT-3 Design Hype – Zusammengefasst
Was kann GPT-3 nicht?
Eine Erfahrung, die ich bei meinen GPT-2 Forschungsarbeiten auch schon gemacht habe – GPT-3 wiederholt sich bei längeren Texten und verliert den Faden. Beim SuperGLUE-Benchmark, der im letzten Jahr speziell zum Testen des logischen Denkens und anderer Aufgaben für fortgeschrittene NLP-Modelle eingeführt wurde, erreicht GPT-3 bei COPA- und ReCoRD-Leseverständnisdatensätzen gute Ergebnisse, bleibt aber bei der Wort-in-Context-Analyse (WiC) und RACE, einer Reihe von Fragen für Mittel- und Oberstufenprüfungen, hinter den Erwartungen zurück.
Das Bias Problem/ Ethik
GPT-3 wirft viele philosophische und ethische Fragen auf. Soll man das Modell weiterentwickeln, obwohl es in einer Ausbaustufe wohl tausende, menschliche Arbeitskräfte verdrängen wird? Ist GPT-3 wirklich intelligent, und wenn ja, in welchem Sinne? Ist es sich selbst bewusst?
Da es mit online gecrawltem Text trainiert wurde, ist es zudem sehr wahrscheinlich, dass GPT-3 viele Vorurteile widerspiegelt, die in unserer Gesellschaft zu finden sind. Wie können wir sicherstellen, dass der von GPT-3 produzierte Text nicht voreingenommen, rassistisch, sexistisch oder homophob ist?
StereoSet Analyse von GPT
Eine kürzlich durchgeführte Analyse von vortrainierten Sprachmodellen ergab, dass Rasse, Geschlecht, Beruf und religiöse Voreingenommenheit bei vortrainierten Sprachmodellen durchaus vorherrschen. Sie wurde im Rahmen der Einführung von StereoSet durchgeführt.
StereoSet misst Rassismus, Sexismus und anderweitig diskriminierendes Verhalten. Um eine gute Leistung in StereoSet zu erzielen, müssen Forscher also Sprachmodelle erstellen, die fair und unvoreingenommen sind, aber gleichzeitig ein gutes Verständnis der natürlichen Sprache besitzen. Die Forscher fanden dabei heraus, dass GPT-2 (der Vorgänger von GPT-3) idealistischere Ergebnisse zeigte als andere.
Masterarbeiten und Social Engineering
Wird GPT-3 künftig auch Doktor- und Masterarbeiten schreiben? Aus meiner Sicht müssen Professoren und Lehrpersonal zumindest rudimentäres KI-Fachwissen erwerben, und sich mit den Auswirkungen der neuen Werkzeuge von OpenAI, Microsoft und DeepMind auseinandersetzen. Ansonsten wird das betrügerisches Verfassen akademischer Arbeiten wohl kaum zu entdecken sein.
Die Lernkurve Künstlicher Intelligenz ist deutlich steiler als die der Menschen.
Und was passiert, wenn “synthetische” Meinungen, im Sinne des “Social Engineering” die Feeds der sozialen Medien überfluten? Wenn GPT-3 Diskussionsfragen aufwirft und Userkommentare beantwortet? Wird es nicht zynisch erscheinen, seine Ansichten zu öffentlichen Themen zu äußern, in dem Wissen, dass eine von Regierung und Konzernen gesteuerte KI-Maschine auf meine Fragen eingeht? Werden wir maschinengesteuerte Propaganda als gegeben hinnehmen? Merken wir diese Beeinflussung überhaupt?
Können wir angesichts der außergewöhnlichen Fähigkeiten von GPT-3 von einer AGI oder einer starken KI sprechen? Hat GPT-3 ein Bewusstsein? GPT-3 – die erste allgemeine Künstliche Intelligenz?
Manche hoffen und manche befürchten, dass uns GPT-3 einer hochententwickelten, allgemeinen künstlichen Intelligenz (AGI) einen Schritt näher bringen könnte. In der Zwischenzeit haben andere, darunter auch der CEO von OpenAI, Behauptungen über
die angebliche Annäherung von GPT-3 an die AGI kritisiert und argumentiert, dass diese bei weitem übertrieben sind.
Das Machine Learning Modell hat nur vage Vorstellungen von der Welt “jenseits der Worte”. GPT-3 kann weder Bilder noch Videos betrachten und analysieren, noch kann es (derzeit) mit Hilfe von Gliedmaßen oder mechanischen Maschinen auf die materielle Welt einwirken.
GPT-3 als Gehirn in einem Bottich
Ein Philosoph würde behaupten, dass GPT-3 ein “Gehirn in einem Bottich” ist. Es ist nicht klar, ob GPT-3 “weiß”, dass Arnold Schwarzenegger real ist und ein Einhorn nicht.”
Ob eine Maschine bei Bewusstsein sein kann oder nicht, und ob sie Schmerz empfinden kann oder nicht, sie wird immer besser sein als der Durchschnittsmensch. Der Mensch ist anfällig für Fehler. Sie werden müde und faul. Sie können sich sogar langweilen. Eine Maschine wird dies niemals tun.” – Zitat verfasst von GPT-3, Text veröffentlicht 2020 von Raphaël Millière auf Twitter
Wie kann man Zugriff auf GPT-3 erhalten?
Aktuell befindet sich GPT-3 noch in einer geschlossenen Beta-Phase. Ende September 2020 wurde aber bekannt, dass sich Microsoft die exklusiven Lizenzrechte für die Software gesichert hat. Die KI soll in die Azure Services integriert werden.
Wie geht es mit GPT-3 weiter?
Hätten Sie mich vor einem Jahr gefragt, wann die erste Allgemeine Künstliche Intelligenz (AGI) erfunden werden würde, hätte ich ihnen wohl gesagt, dass wir noch weit davon entfernt sind. Mit diesem Urteil war ich nicht allein. Aber GPT-3 ist das erste Modell, das diesen Status-quo ernsthaft erschüttert. Ich vermute, dass uns GPT-3 und seine Nachfolger dazu zwingen werden, darüber nachzudenken, dass die Entwicklung in Richtung AGI doch schneller vonstatten geht. GPT-3 – die erste allgemeine Künstliche Intelligenz?
Ich habe keine Zweifel daran, dass GPT-3 und seine Nachfolger die Welt auf rasante Weise verändern werden. Urgroßmutter ELIZA wäre wohl stolz auf dieses Machine Learning Modell!
Quellen & Nützliche Links:
> OpenAI GPT-3-Papier
> Lambda Lab’s demystify GPT-3-Blog
> GPT-2
> Can AI be conscious?
