“Deep Writing” im Detail erklärt

Aufgrund der zahlreichen Anfragen zu unserem KI generierten Gedicht “Sonnenblicke auf der Flucht” gehen wir in diesem Blog Artikel etwas tiefer ins Detail zu gehen. Unser Gedicht wurde mit einer sogenannten “Deep Learning” Methode erstellt, unter Zuhilfenahme des Open Source Frameworks TensorFlow von Google.

Wie funktioniert Deep Learning? Und was ist Deep Writing?

“Deep Writing” ist eine Ausprägung der sogenannten “Deep Learning” Methoden. Deep Learning bezeichnet eine Klasse von Optimierungsmethoden künstlicher neuronaler Netze. Deep Learning wiederum ist eine Teilmenge des maschinellen Lernens und nutzt eine Reihe hierarchischer Schichten bzw. eine Hierarchie von Konzepten um den Prozess des Maschinellen Lernens durchzuführen.

Was ist Maschinelles Lernen?

Maschinelles Lernen ist ein selbstlernender Algorithmus. Die hierbei benutzten künstlichen neuronalen Netze sind dem menschlichen Gehirn nachempfunden, wobei die künstlichen Neuronen wie ein Netz vielschichtig miteinander verbunden sind.

Diese erste Schicht leitet ihre Ausgaben an die jeweils nächste Schicht weiter. Diese zweite Schicht verarbeitet die Informationen der vorherigen Schicht und gibt das Ergebnis ebenfalls weiter. Die nächste Schicht nimmt die Informationen der zweiten Schicht entgegen und verarbeitet sie weiter usw.

Die Black Box

Die in den Layers enthaltenen Merkmale werden zunehmend abstrakt. Ihre Werte sind nicht in den Ursprungsdaten angegeben. Stattdessen muss das Modell bestimmen, welche Konzepte für die Erklärung der Beziehungen in den beobachteten Daten nützlich sind.

Das mysteriöse daran. Man weiß nicht genau warum die KI tut, was sie tut. Ein Artikel in der MIT Techolocial Review, getitelt mit “The Dark Secret at the Heart of AI” beschreibt das Problem anhand mehrerer Beispiele.

“It is a problem that is already relevant, and it’s going to be much more relevant in the future. Whether it’s an investment decision, a medical decision, or maybe a military decision, you don’t want to just rely on a ‘black box’ method.”, meint Tommi Jaakkola, Professor am MIT

Diesen – teils unerklärten – maschinellen Lernalgorithmen kann man also beibringen, z.B. im Stil von Goethe und Schiller zu dichten, oder aber auch Drehbücher im Stile von Friends, Harry Potter und co zu schreiben. Zu Beginn erzeugt die KI ohne passendes Training zumeist unsinnige, teilweise aber auch recht amüsante Texte, eine Feinjustierung ist also nötig. Aber alles der Reihe nach. So funktioniert das Training eines LSTM Recurrent Neural Network:

1. Installieren sie TensorFlow von google. Wir haben für unser Projekt die google cloud genutzt.
2. Sie brauchen einen Beispieltext in einem klassischen Textfile. In unserem Fall des künstlich generierten Gedichts “Sonnenblicke auf der Flucht” waren das die gesammelten Werke von Goethe und Schiller. Je länger diese Beispieltexte sind, desto besser ist das Ergebnis. Denn die Daten sind der Treibstoff, der die KI antreibt.
3. Der Computer identifiziert alle eindeutigen Wörter im Beispieltext. Wir haben die Maschine beispielsweise auf das Einreich-Thema des Brentano Wettbewerbs  “Auf der Flucht” trainiert.
4. Der Computer gruppiert die Wörter nach vielen Dimensionen, wie z.B. ihrer Häufigkeit, Geschlecht, Beziehungen untereinander usw. im Beispieltext. Die geschieht unter Verwendung eines mathematischen Modells, dem sogenannten Word2vec Modell. Das ist sozusagen der “lernende” Teil des oben erwähnten “Deep Learning” Prozesses.
5. Sie wählen ein Anfangswort (z.B. “Es”). Mit dem, was er in Schritt 3 (Häufigkeit) gelernt hat, bitten Sie den Computer, das Wort zu erraten, das am ehesten nach dem Anfangswort kommt (z.B. “Es ist”). Dieses wird als zweites Wort aufgezeichnet. Basierend auf den ersten beiden Wörtern, bitten Sie die Maschine, das dritte Wort zu erraten, und so weiter. Schließlich sagen Sie der KI, dass sie nach vielen Wörtern aufhören soll zu raten. So haben Sie Ihr Deep Writing Modell erfolgreich erstellt.
6. Nutzen Sie TensorFlow von google oder ein ähnliches Deep Learning Programm für die Ausgabe des trainierten Modells. Dieses Training ist rechenintensiv und kann mehrere Stunden dauern.
7. Am Ende formatieren sie den ausgegebenen Text.

Intuition und Kreativität gehören sicherlich zu den wichtigsten menschlichen Eigenschaften, derzeit werden wir Menschen von der KI ergänzt. Aber traditionelle Grenzen werden hier immer wieder überschritten. Wenn wir jedoch immer leistungsfähigere computergestützte Systeme erschaffen gibt es keinen Grund zur Annahme dass eine hochentwickelte KI nicht ähnliches leistet.

Und eines Tages vielleicht sogar ihre Schöpfer übertrifft.