GPT-2 – eine künstliche Intelligenz schreibt Texte

GPT-2 Künstliche Intelligenz schreibt Texte

GPT-2 von der Non-Profit-Oganisation OpenAI ist ein Machine Learning Modell, das darauf trainiert wurde, komplett eigenständig und autonom, zusammenhängende Texte zu schreiben. Diese synthetisch geschriebenen Zeilen sind von menschlichen Texten kaum zu unterscheiden. Als Trainingsbasis für dieses KI-Modell dienten Rohtexte von 8 Millionen Websites.

Seit Jahrzehnten kämpfen intelligente Maschinen mit den Feinheiten der menschlichen Sprache. Selbst der jüngste Boom des sogennanten Deep Learning, der auf großen Datenmengen und verbesserten Prozessoren basiert, hat es nicht geschafft, diese kognitive Herausforderung zu bewältigen. Aber neue Methoden zur Textanalyse wie GPT-2 von OpenAI überraschten Anfang 2019 die Entwicklergemeinde.

GPT-2 mit Spitzenleistungen in der Sprachmodellierung
Dieser neue Algorithmus ist aktuell eines der spannendsten Beispiele für die Sprachmodellierung von synthetischen Texten, die sich menschlich anfühlen. Hier entfaltet sich nach und nach das große Potenzial des unüberwachten Lernens, bei dem die KI selbständig versucht, in den Daten Muster zu erkennen. Das Modell wurde mit einer großen Anzahl von Artikeln, Blogs und Websites trainiert, die Datengrundlage waren laut OpenAI in Summe acht Millionen Webseiten. Das Ergebnis ist beeindruckend. Füttert man GPT-2  beispielsweise mit der ersten Zeile einer Kurzgeschichte, schreibt es die Story eigenständig fertig. Es kann aber auch andere Aufgaben ausführen, wie z.B. Texte übersetzen, lange Artikel zusammenfassen oder Quizfragen beantworten.

Was ist GPT-2 genau? Wie funktioniert es?
GPT-2 steht für „Generative Pretrained Transformer 2“. Es ist eine Produkt aus bestehenden Ideen und bereits im Einsatz befindlichen Technologien – aber stark verbessert.

Generativ“ bedeutet, das Modell wurde mit einer ganzen Reihe von Rohtextdaten gefüttert und aufgefordert, die statistischen Merkmale von Texten herauszufinden, um daraus mehr Text zu erstellen.

Pretrained“ bedeutet, dass OpenAI ein großes und leistungsfähiges Sprachmodell erstellt und „vortrainiert“ hat.

Transformer“ bedeutet, dass OpenAI die sogenannte Transformer Architektur verwendet hat, die eine Entwicklung von Google ist.

2“ bedeutet, dass es nicht das erste Mal ist, dass OpenAI das GPT Modell testet.

GPT-2 ist flexibel – auf dem Weg zu allgemeinen künstlichen Intelligenz?
Besonders beeindruckend ist die Flexibilität dieses Machine Learning Modells. Fast alle heute eingesetzten maschinellen Lernsysteme sind sogenannte „Narrow AIs“, d.h. sie können nur bestimmte Aufgaben bewältigen, auf die sie vorher trainiert wurden. So konnte beispielsweise das ursprüngliche AlphaGo-Programm von DeepMind den Go-Weltmeister schlagen, aber kein Kind in Tic Tac Toe. GPT-2 könnte diese Modelle aufbrechen und einen allgemeinere Intelligenz nachahmen.

GPT-2 wurde nicht komplett freigegeben – OpenAI warnt vor Missbrauch 
Wir leben in einer Welt, in der Informationskriege immer häufiger stattfinden. Eine Welt, in der Politikberater Bots auf Social Media einsetzen, um Wahlen zu beeinflussen. So gesehen ist die Vorstellung einer KI, die man für das Social Engineering mißbrauchen kann, sehr beunruhigend.

Schreibt GPT-2 bald meine Diplomarbeit?
Schreibt GPT-2 bald ihre Diplomarbeit?

Die Ankündigung von OpenAI, die Veröffentlichung von GPT-2 einzuschränken und nicht Open Source freizugeben, führte in der Entwicklergemeinde zu gemischten Reaktionen. Schließlich handelt die Organisation OpenAI hier gegen ihre eigenen Richtlinien. OpenAI macht im Normalfall ihre Patente und Forschungsergebnisse für die Öffentlichkeit zugänglich.

Mit einem Tool wie GPT-2 wäre es zum Beispiel einfach, Amazon-Rezensionen zu fälschen, Spam und Phishing Mails  oder gefälschte Nachrichtenartikel (Fake News) zu schreiben. Eine etwas ausgefeiltere Version könnte Studenten Diplomarbeiten erstellen lassen.
16
GPT-2 ausprobieren – jetzt testen – talktotransformer
Mit diesem Tool von Adam King (@AdamDanielKing) können sie testen, wie ein neuronales Netzwerk wie GPT-2 ihren Text vervollständigt. Geben Geben sie eine Textpassage ein oder wählen sie aus einem der Beispiele (leider nur auf Englisch verfügbar).

https://talktotransformer.com

16

Über OpenAI?
OpenAI ist eine Non-Profit-Organisation, die sich mit der Erforschung von künstlicher Intelligenz beschäftigt. Der zentraler Geldgeber der Organisation ist Investor, Unternehmer und Silicon Valley Superstar Elon Musk. Das Ziel von OpenAI ist es, KI auf Open-Source-Basis zu entwickeln und zu vermarkten. OpenAI macht ihre Patente und Forschungsergebnisse für die Öffentlichkeit zugänglich. Im Februar 2018 wurde bekannt gegeben, dass Elon Musk die Leitung von Open AI verlässt, um Interessenkonflikte mit Teslas Entwicklungen im Bereich Künstliche Intelligenz zu vermeiden. Er bleibt weiterhin Spender und Berater der Organisation.

%d Bloggern gefällt das: