von GPT-2 von der Non-Profit-Oganisation OpenAI ist ein Machine Learning Modell, das darauf trainiert wurde, komplett eigenständig und autonom, zusammenhängende Texte zu schreiben. Diese synthetisch geschriebenen Zeilen sind von menschlichen Texten kaum zu unterscheiden. Als Trainingsbasis für dieses KI-Modell dienten Rohtexte von 8 Millionen Websites.
Seit Jahrzehnten kämpfen intelligente Maschinen mit den Feinheiten der menschlichen Sprache. Selbst der jüngste Boom des sogennanten Deep Learning, der auf großen Datenmengen und verbesserten Prozessoren basiert, hat es nicht geschafft, diese kognitive Herausforderung zu bewältigen. Aber neue Methoden zur Textanalyse wie GPT-2 von OpenAI überraschten Anfang 2019 die Entwicklergemeinde.
GPT-2 mit Spitzenleistungen in der Sprachmodellierung
Dieser neue Algorithmus ist aktuell eines der spannendsten Beispiele für die Sprachmodellierung von synthetischen Texten, die sich menschlich anfühlen. Hier entfaltet sich nach und nach das große Potenzial des unüberwachten Lernens, bei dem die KI selbständig versucht, in den Daten Muster zu erkennen. Das Modell wurde mit einer großen Anzahl von Artikeln, Blogs und Websites trainiert, die Datengrundlage waren laut OpenAI in Summe acht Millionen Webseiten. Das Ergebnis ist beeindruckend. Füttert man GPT-2 beispielsweise mit der ersten Zeile einer Kurzgeschichte, schreibt es die Story eigenständig fertig. Es kann aber auch andere Aufgaben ausführen, wie z.B. Texte übersetzen, lange Artikel zusammenfassen oder Quizfragen beantworten.
Was ist GPT-2 genau? Wie funktioniert es?
GPT-2 steht für “Generative Pretrained Transformer 2”. Es ist eine Produkt aus bestehenden Ideen und bereits im Einsatz befindlichen Technologien – aber stark verbessert.
“Generativ” bedeutet, das Modell wurde mit einer ganzen Reihe von Rohtextdaten gefüttert und aufgefordert, die statistischen Merkmale von Texten herauszufinden, um daraus mehr Text zu erstellen.
“Pretrained” bedeutet, dass OpenAI ein großes und leistungsfähiges Sprachmodell erstellt und “vortrainiert” hat.
“Transformer” bedeutet, dass OpenAI die sogenannte Transformer Architektur verwendet hat, die eine Entwicklung von Google ist.
“2” bedeutet, dass es nicht das erste Mal ist, dass OpenAI das GPT Modell testet.
GPT-2 schreibt neue Strophen für “Silent Night”
In einem ersten Versuch haben wir die erste Strophe des englischen Textes von “Stille Nacht”, “Silent Night” durch ein GPT-2 Modell laufen lassen. GPT-2 beginnt, eine neue Strophe zu schreiben.
Der ursprüngliche Text:
Silent night, holy night
All is calm, all is bright
‘Round yon virgin Mother and Child
Holy infant so tender and mild
Sleep in heavenly peace
Sleep in heavenly peace
Der von GPT-2 generierte Text:
Night is dawning on earth
I am the Lamb of light in Heaven
I am the Lamb of light in Earth
There are sweetlight skies
sweetlight waters, smooth walks of small children
Dark intervals of season
Number over thousands
True moon in the spring
GPT-2 ist flexibel – auf dem Weg zu allgemeinen künstlichen Intelligenz?
Besonders beeindruckend ist die Flexibilität dieses Machine Learning Modells. Fast alle heute eingesetzten maschinellen Lernsysteme sind sogenannte “Narrow AIs”, d.h. sie können nur bestimmte Aufgaben bewältigen, auf die sie vorher trainiert wurden. So konnte beispielsweise das ursprüngliche AlphaGo-Programm von DeepMind den Go-Weltmeister schlagen, aber kein Kind in Tic Tac Toe. GPT-2 könnte diese Modelle aufbrechen und einen allgemeinere Intelligenz nachahmen.
GPT-2 wurde nicht komplett freigegeben – OpenAI warnt vor Missbrauch
Wir leben in einer Welt, in der Informationskriege immer häufiger stattfinden. Eine Welt, in der Politikberater Bots auf Social Media einsetzen, um Wahlen zu beeinflussen. So gesehen ist die Vorstellung einer KI, die man für das Social Engineering mißbrauchen kann, sehr beunruhigend.
Die Ankündigung von OpenAI, die Veröffentlichung von GPT-2 einzuschränken und nicht Open Source freizugeben, führte in der Entwicklergemeinde zu gemischten Reaktionen. Schließlich handelt die Organisation OpenAI hier gegen ihre eigenen Richtlinien. OpenAI macht im Normalfall ihre Patente und Forschungsergebnisse für die Öffentlichkeit zugänglich.
Mit einem Tool wie GPT-2 wäre es zum Beispiel einfach, Amazon-Rezensionen zu fälschen, Spam und Phishing Mails oder gefälschte Nachrichtenartikel (Fake News) zu schreiben. Eine etwas ausgefeiltere Version könnte Studenten Diplomarbeiten erstellen lassen.
Über OpenAI?
OpenAI ist eine Non-Profit-Organisation, die sich mit der Erforschung von künstlicher Intelligenz beschäftigt. Der zentraler Geldgeber der Organisation ist Investor, Unternehmer und Silicon Valley Superstar Elon Musk. Das Ziel von OpenAI ist es, KI auf Open-Source-Basis zu entwickeln und zu vermarkten. OpenAI macht ihre Patente und Forschungsergebnisse für die Öffentlichkeit zugänglich. Im Februar 2018 wurde bekannt gegeben, dass Elon Musk die Leitung von Open AI verlässt, um Interessenkonflikte mit Teslas Entwicklungen im Bereich Künstliche Intelligenz zu vermeiden. Er bleibt weiterhin Spender und Berater der Organisation.
