GPT-3

Was ist GPT-3?

Bei GPT-3 (Generative Pretrained Transformer 3) handelt es sich um ein Sprachmodul der dritten Generation, welches von OpenAI entwickelt wurde und auf Natural Language Processing (NLP)-Modellen basiert.

Das Unternehmen, welches vom Tesla-CEO Elon Musk mitgegründet wurde, beschäftigt sich mit der Entwicklung von Open-Source-Lösungen im Bereich der künstlichen Intelligenz und hat sich zum Ziel gesetzt, die Vorteile dieser für die Menschheit herauszuarbeiten. Denn für die Gründer sowie einigen Wissenschaftlern ist die Gefahr des Übertreffens bzw. des Ersetzens von menschlicher Intelligenz durch künstliche Intelligenz gegeben.

Gegenüber seinen Vorgängern GPT-1 und GPT-2 konnte die aktuelle Version, das im Mai 2020 vorgestellt wurde, einige Verbesserungen erzielen. Bei der ersten Version GPT-1 handelt es sich um ein NLP-Modell, welches im Gegensatz zum bisherigen Stand der Technik nicht speziell für eine bestimmte Aufgabe trainiert werden musste, sondern nur sehr wenige Beispiele für eine qualitativ hochwertige Sprachausgabe benötigt. Mitarbeiter von OpenAI entwickelten dieses Modell weiter, indem sie den dahinterliegenden Datensatz erweiterten, mehr Parameter hinzufügten und schufen somit GPT-2.

Dieses Sprachmodul hat zudem die Fähigkeit, Anweisungen als solche zu verstehen, um beispielsweise Texte automatisch per Textanweisung zu übersetzen. Während GPT-1 und GPT-2 als Open-Source-Software frei verfügbar sind, fand mit dem Sprachmodell GPT-3 eine Kommerzialisierung des Produkts statt. OpenAI argumentiert diesen Schritt damit, dass eine freie Weitergabe der neuen Version aufgrund der starken Leistung eine zu große Gefahr für die Verbreitung von Fehlinformation und Spam oder dem betrügerischen Verfassen von akademischen Aufsätzen besteht.

Wie funktioniert das Sprachmodell?

Gegenüber dem Vorgänger berücksichtigt die dritte Version hundertmal mehr Parameter und greift auf fünf Datensätze (Common Crawl, WebText2, Books1, Books2 und Wikipedia) zurück, während GPT-1 (Book Corpus) und GPT-2 (WebText) nur auf jeweils einen Trainingsdatensatz zugreift.

Die Grundidee von vielen Sprachmodulen bei der Generierung von Texten besteht darin, mithilfe statistischen Modellen die Vorhersage der nächsten Worte eines Textes zu ermitteln, sodass der Text grammatikalisch und sprachlich Sinn ergibt. Dabei arbeitet sie KI-Software GPT-3 nicht mit Worten oder Buchstaben, sondern mit sogenannten Token. Hierbei handelt es sich grundsätzlich gesprochen um eine zusammengehörige Zeichenabfolge. Damit schafft es die Sprach-KI GPT-3 Varianz in die Sprachausgabe zu bringen, welche mit der Betrachtung von ganzen Wörtern schwieriger darzustellen wäre.

Das Sprachmodul wendet für die Analyse und Generierung von Texten folgende Modelle (sogenannte Engines) an: Davinci, Curie, Babbage und Ada. Jedes bietet für bestimmte Anwendungsbereiche Vor- und Nachteile. Während sich Davinci für die Analyse von komplexen Texten eignet, bietet sich Curie für die Nutzung eines Service-Chatbots an. Der Nutzer gibt diesen sowie einige weitere Parameter für die Ermittlung der Ausgabe an. Solche Parameter sind beispielsweise die Kreativität des ausgegebenen Texts sowie dessen Länge.

Die Sprach-KI GPT-3 wurde für die englische Sprache entwickelt und kann derzeit auch nur in dieser ihr vollständiges Potenzial entfalten, auch wenn sie Übersetzungsmöglichkeiten anbietet.

In welcher Software wird GPT-3 genutzt?

Grundsätzlich kann GPT-3 aktuell mittels API-Schnittstelle und entsprechender Bezahlung genutzt werden. Microsoft hat sich hingegen die exklusive Lizenz zum Quellcode von GPT-3 gesichert, um das Sprachmodul in eigene Produkte einzubinden und weiterzuentwickeln. So kombiniert beispielsweise Microsoft Azure OpenAI die Sprach-KI mit den Microsoft-Serviceleistungen Sicherheit, Zugriffsmanagement und Skalierungskapazität. Diese Gesamtlösung soll vor allem für Unternehmen von Interesse sein.

Darüber hinaus lässt sich GPT-3 beispielsweise auch in Chatbots einsetzen, sodass die Software dabei unterstützt, Konversationen zu führen und Hilfestellungen anzubieten. Darüber hinaus wird sie auch in der Spielentwicklung eingesetzt, um automatische Dialoge und Handlungsstränge in Computerspielen zu erstellen. Aufgrund der Engine-Parametrisierung können auf Basis weniger Informationen beispielsweise auch ganze Marketingtexte, Landingpages oder Newsletter erstellt und umgesetzt werden.

Data Navigator Newsletter