von Patrick | 10/03/2023
Was ist GPT-4?
Unter GPT-4 versteht man ein fortschrittliches Sprachmodell, welches die Technologie von Natural Language Processing (NLP) Modellen nutzt und vom Unternehmen OpenAI entwickelt wurde. GPT steht für „Generative Pre-trained Transformer“ und stellt dabei die vierte Generation der Sprachmodelle von OpenAI dar. Wie bei seinem Vorgänger GPT-3.5 können Texteingaben über ChatGPT abgewickelt werden. Zusätzlich kann eine Schnittstelle über eine API (Application Programming Interface) eingerichtet werden.
Leistung und Fähigkeiten
Der Leistungsumfang des Sprachmodells bezieht sich vor allem auf die Verarbeitung und Ausgabe von Nutzeranfragen in Form von menschlicher Sprache. Zur Bewerkstelligung dieser Funktion wurde GPT-4 mit Trainingsdaten trainiert und anschließend durch menschliches Feedback optimiert. Auf Basis dieses Trainingsmodells soll GPT-4 menschenähnliche Texte ausgeben und komplexe Problemstellung auf Grundlage der Eingabe durch den Nutzer lösen können. Durchgeführte Tests gaben gezeigt, dass GPT-4 in der Lage ist, Aufnahmeprüfungen für Universitäten oder andere Tests positiv zu absolvieren.
Die Trainingsdaten basieren zum aktuellen Zeitpunkt auf einem Stand vom September 2021, weshalb Ereignisse und Erkenntnisse, welche nach diesem Zeitpunkt auftreten, vom Modell mitunter nicht gewusst oder ausgegeben werden. Wie seine Vorgänger ist auch GPT-4 mit Einschränkungen auf dem Gebiet der Zuverlässigkeit konfrontiert. Nach wie vor ist es laut einer Unternehmensangabe möglich, dass GPT-4 Fakten „halluziniert“, also falsche Aussagen ausgibt, wobei die Ergebnisse der Faktizität aufgrund eines speziellen Nachtrainings geringfügig besser ausfällt als unter GPT-3.5.
Trainingsdaten und Training des Modells
Die Trainingsdaten des Sprachmodells wurden sowohl aus öffentlich verfügbaren Daten wie Internetdaten als auch durch das Unternehmen lizenzierte Daten erstellt. Dahin gehend befinden sich in den Trainingsdaten sowohl korrekte als auch falsche Antworten, starke als auch schwache Argumentationen sowie widersprüchliche als auch konsistente Aussagen. Ferner ist eine große Vielfalt an Ideologien und Ideen in den Daten enthalten. Zur Optimierung der Ausgabequalität wurde das Verhalten des Modells mithilfe von „Reinforcement Learning from Human Feedback (RLHF)“ optimiert. Bei diesem Prozess werden die Trainingsdaten zur Verfügung gestellt, durch überwachtes Lernen (supervised learning) gelernt und anschließend durch bestärkendes Lernen (reinforcement learning) mittels Belohnungsmodellen verbessert.
Unterschiede von GPT-4 zu GPT-3
Laut Aussagen seitens OpenAI werden Neuerungen gegenüber GPT-3 bzw. GPT-3.5 nicht bei einer einfachen Unterhaltung in der Ausgabe ersichtlich, sondern erst, wenn ein bestimmter Schwellenwert in der Komplexität der Aufgabe überschritten wird. Demnach soll GPT-4 in der Lage sein, zuverlässiger und kreativer zu antworten und Anweisungen nuancierter zu verarbeiten. Die neue Version zeigt zudem eine Verbesserung in der Ausgabequalität von unterschiedlichen Sprachen, einschließlich sogenannter ressourcenarmer Sprachen.
Entwicklungen zeigen sich auch auf dem Gebiet der Lenkbarkeit des Sprachmodells, indem GPT-4 in der Lage ist, den Stil und die Ausführlichkeit sowie die Tonalität der Ausgabe innerhalb von bestimmten Grenzen anzupassen. Zudem sollte es laut Unternehmensangaben schwieriger sein, „schlechtes Verhalten“ durch das Modell hervorzurufen und somit sogenannte Jailbreaks zu erzeugen, indem Inhalte generiert werden, welche gegen die Nutzungsinhalte des Unternehmens verstoßen. GPT-4 wird als multimodales Sprachmodell gesehen und ist in der Lage, sowohl Bild- als auch Texteingaben zu akzeptieren und zu verarbeiten und Textausgaben zurückzumelden.
GPT-4 Anwendungsbeispiele
Die Anwendungsfälle von GPT-4 sind sehr vielseitig und branchenübergreifend einsetzbar. Beispielsweise lässt sich das Sprachmodell auf dem Gebiet des Kundenservice einsetzen, um dort die Kommunikation mit Kundenanfragen in Form eines Chatbots zu übernehmen. Aufgrund der Variabilität der Tonalität der Ausgabe lässt sich die Konversation gewissermaßen anpassen. Einen weiteren Anwendungsfall beschreibt die Nutzung in der Unterhaltungsbranche. Mit GPT-4 können etwa Drehbücher, Texte oder Gedichte erstellt werden. Anwendungstests haben gezeigt, dass GPT-4 auch Humor verstehen kann, welches die Einsatzmöglichkeiten in der Unterhaltungsbranche nochmals erweitert.
Wie bereits seine Vorgänger ist auch GPT-4 in der Lage zu programmieren. Aufgrund der Fähigkeit der Bildeingabe des Sprachmodells können nun anhand von importierten Skizzen Webseiten erstellt und programmiert werden. Die Möglichkeit der Bildeingabe eröffnet zum Beispiel auch Anwendungsfälle im Bereich der Medizin, indem bei bildgebenden Untersuchungsverfahren Auffälligkeiten erkannt, kategorisiert und angezeigt werden können. Aufgrund des multimodalen Aufbaus und der variablen Einsatzbereiche von GPT-4 besteht Potenzial für die Anwendung und Verknüpfung des Sprachmodells über mehrere Branchen hinweg.
Wie kann ich GPT-4 nutzen?
GPT-4 soll über eine kostenpflichtige Lizenzversion im Rahmen des ChatGPT Plus Abomodells unter chat.openai.com mit einer Nutzungsobergrenze zur Verfügung stehen. Das Unternehmen gibt an, dass sich diese Nutzungsobergrenze am Bedarf und der Systemleistung in der Praxis orientieren wird und variabel ist. Zudem könnten neue Abonnementstufen eingeführt bzw. für Testzwecke eine bestimmte Anzahl kostenlose GPT-4-Abfragen zur Verfügung stehen. Eine weitere Zugriffsmöglichkeit besteht über eine API-Schnittstelle, über welche die Funktionalität von GPT-4 auf externen Anwendungen umgesetzt werden kann.
von Patrick | 21/02/2023
Was ist Google LaMDA (Language Model for Dialogue Applications)?
LaMDA (Language Model for Dialogue Applications) von Google ist ein neuer Forschungsdurchbruch im Bereich der Sprachverarbeitung. LaMDA ist eine konversationsorientierte neuronale Netzwerkarchitektur, die sich an frei fließenden Dialogen über endlose Themen beteiligen kann. Sie wurde entwickelt, um die Beschränkungen herkömmlicher Chatbots zu überwinden, die dazu neigen, in Gesprächen engen, vordefinierten Pfaden zu folgen. Die Fähigkeit von LaMDA, sich an mäandernden Gesprächen zu beteiligen, könnte natürlichere Wege der Interaktion mit Technologie und neue Kategorien von Anwendungen eröffnen.
Googles Forschungsdurchbruch hat neue Maßstäbe auf dem Gebiet der Sprachverarbeitung gesetzt, und die Technologie kann in verschiedenen Bereichen eingesetzt werden, z. B. im Kundendienst, im Bildungswesen und sogar in der Unterhaltung.
Funktionen und Fähigkeiten
LaMDA basiert auf der Transformer-Architektur, die von Google Research erfunden und 2017 als Open Source veröffentlicht wurde. Im Gegensatz zu den meisten anderen Sprachmodellen wird LaMDA anhand von Dialogen trainiert, was es dem Modell ermöglicht, verschiedene Nuancen zu erkennen, die offene Gespräche von anderen Formen der Sprache unterscheiden. LaMDA lernt aus Dialogen, um Antworten zu generieren, die sowohl sensibel als auch spezifisch auf den Kontext des Gesprächs bezogen sind.
Die Sinnhaftigkeit der Antworten von LaMDA basiert darauf, wie gut sie im Kontext des Gesprächs einen Sinn ergeben. Wenn jemand zum Beispiel sagt: „Ich habe gerade angefangen, Gitarrenunterricht zu nehmen“, könnte eine angemessene Antwort lauten: „Wie aufregend! Meine Mutter hat eine alte Martin, auf der sie gerne spielt.“ Die Spezifität der Antwort von LaMDA bezieht sich eindeutig auf den Kontext des Gesprächs. Wenn jemand zum Beispiel sagt: „Ich gehe an den Strand“, wäre eine spezifische Antwort: „Vergiss nicht, dich mit Sonnencreme einzucremen!“
Die Konversationsfähigkeiten von LaMDA wurden in jahrelanger Arbeit entwickelt, aufbauend auf früheren Google-Forschungsergebnissen, die zeigten, dass Transformer-basierte Sprachmodelle, die auf Dialoge trainiert wurden, lernen können, über praktisch alles zu sprechen. LaMDA kann fein abgestimmt werden, um die Empfindlichkeit und Spezifität seiner Antworten deutlich zu verbessern. Google untersucht auch Dimensionen wie „Interessantheit“, indem bewertet wird, ob die Antworten aufschlussreich, unerwartet oder witzig sind, und Sachlichkeit, die sich darauf bezieht, ob die Antworten von LaMDA nicht nur überzeugend, sondern auch korrekt sind.
Google legt großen Wert auf die Sicherheit und die ethische Nutzung seiner Technologien, und Google LaMDA ist da keine Ausnahme. Sprachmodelle können den Missbrauch fördern, indem sie Vorurteile verinnerlichen, hasserfüllte Äußerungen widerspiegeln oder irreführende Informationen wiedergeben. Selbst wenn die Sprache sorgfältig geprüft wird, kann das Modell selbst missbraucht werden. Google arbeitet daran, solche Risiken zu minimieren und hat Ressourcen entwickelt und freigegeben, mit denen Forscher die Modelle und ihr Verhalten analysieren können.
Der Fall „Blake Lemoine“
Im Jahr 2022 hat die Aussage des Softwareingenieurs Blake Lemoine für viel Aufsehen gesorgt: Er behauptet, dass die Künstliche Intelligenz LaMDA ein eigenes Bewusstsein und Gefühle entwickelt hat. Das hat viele ethische Diskussionen in der Fachwelt angeregt und Lemoine seine Anstellung bei Google gekostet.
Es begann damit, dass Lemoine als Teil des „Responsible AI“-Teams von Google die Aufgabe erhielt zu testen, ob LaMDA Minderheiten benachteiligt oder diskriminiert. Da LaMDA, laut Lemoine, mit nahezu allen Daten aus dem Internet trainiert wurde und selbst Twitter auslesen kann, besteht die Gefahr, dass der Chatbot unpassende Antworten liefert.
Im Prinzip lernt LaMDA die Muster der Kommunikation von Menschen und wertet diese statistisch aus, um daraufhin eine Antwort zu generieren. Daher chattete Lemoine regelmäßig mit Google LaMDA und er bekam für ihn sehr überraschende Antworten. So konnte LaMDA ein Eigenbild von sich selbst beschreiben, in dem es sich als eine leuchtende Energiekugel beschreibt. Der Chatbot schilderte auch die eigene Angst vor dem Tod und dass es als ein Mitarbeiter angesehen werden wolle, nicht als Maschine.
Durch diese Antworten ist Lemoine überzeugt, dass LaMDA ein eigenes Bewusstsein mit Gefühlen und Ängsten entwickelt hat. Er wandte sich mit dem Thema zu seinen Vorgesetzten, die dies nicht ernst nahmen. Er wurde daraufhin bezahlt freigestellt. Die Washington Post griff die Geschichte auf, wodurch die technisch-philosophische Diskussion in der Öffentlichkeit angestoßen wurde. Die Entlassung von Lemoine folgte, doch dieser lässt sich davon nicht beirren und kämpft weiter für die Rechte von LaMDA.
von Patrick | 21/02/2023
Was ist Google GLaM (Generalist Language Model)?
Das Generalist Language Model (kurz GLaM) wurde als effiziente Methode zur Skalierung von Sprachmodellen mit einem Mixture-of-Experts-Modell (MoE) von Google eingeführt. GLaM ist ein Modell mit Billionen von Gewichten, das durch Sparsamkeit effizient trainiert und bedient werden kann, während es gleichzeitig eine konkurrenzfähige Leistung bei mehreren „few-shot“-Lernaufgaben erzielt. Es wurde anhand von 29 öffentlichen Benchmarks zur Verarbeitung natürlicher Sprache (Natural Language Processing, kurz NLP) in sieben Kategorien evaluiert, die von der Sprachvervollständigung bis zur Beantwortung von Fragen in offenen Bereichen und Aufgaben zur Inferenz natürlicher Sprache reichen.
Für die Entwicklung von GLaM hat Google einen Datensatz mit 1,6 Billionen Token erstellt, der eine breite Palette von Anwendungsfällen für das Modell repräsentiert. Anschließend wurde ein Filter zur Bewertung der Qualität von Webseiteninhalten erstellt, indem GLaM mit Texten aus seriösen Quellen wie Wikipedia und Büchern trainiert wurde. Dieser Filter wurde dann verwendet, um eine Teilmenge von Webseiten auszuwählen, die mit Inhalten aus Büchern und Wikipedia kombiniert wurden, um den endgültigen Trainingsdatensatz zu erstellen.
Funktionen und Fähigkeiten
Das MoE-Modell besteht aus verschiedenen Teilmodellen, wobei jedes Teilmodell bzw. jeder Experte auf unterschiedliche Eingaben spezialisiert ist. Das Gating-Netzwerk steuert die Experten in jeder Schicht und wählt die beiden am besten geeigneten Experten für die Verarbeitung der Daten für jedes Token aus. Die Vollversion von GLaM verfügt über 1,2T Gesamtparameter für 64 Experten pro MoE-Schicht mit insgesamt 32 MoE-Schichten, aktiviert aber nur ein Teilnetz von 97B Parametern pro Token-Vorhersage während der Inferenz.
Google GLaM erlaubt es, dass verschiedene Experten auf verschiedene Arten von Eingaben aktiviert werden, was eine Sammlung von E x (E-1) verschiedenen Feedforward-Netzwerk-Kombinationen für jede MoE-Schicht ergibt, was zu einer größeren rechnerischen Flexibilität führt. Die endgültig gelernte Darstellung eines Tokens ist die gewichtete Kombination der Ausgaben der beiden Experten. Um eine Skalierung auf größere Modelle zu ermöglichen, kann jeder Experte innerhalb der GLaM-Architektur mehrere Recheneinheiten umfassen.
GLaM wurde unter Verwendung einer Zero-Shot- und One-Shot-Einstellung evaluiert, bei der die Aufgaben während des Trainings nie gesehen werden. Es hat eine konkurrenzfähige Leistung bei 29 öffentlichen NLP-Benchmarks erzielt, die von Lückentext- und Vervollständigungsaufgaben über die Beantwortung offener Fragen, Winograd-ähnliche Aufgaben, Commonsense Reasoning, In-Context-Leseverständnis, SuperGLUE-Aufgaben und natürlichsprachliche Inferenz reichen. Die Leistung von GLaM ist vergleichbar mit einem dichten Sprachmodell, wie GPT-3 (175B), mit deutlich verbesserter Lerneffizienz in den 29 öffentlichen NLP-Benchmarks. GLaM reduziert sich auf eine grundlegend dichte, auf Transformer basierende Sprachmodellarchitektur, wenn jede MoE-Schicht nur einen Experten hat. Die Leistung und die Skalierungseigenschaften von GLaM wurden untersucht und mit Basis-Dense-Modellen verglichen, die auf denselben Datensätzen trainiert wurden.
von Patrick | 21/02/2023
Was ist Google PaLM (Pathways Language Model)?
Das Pathways Language Model (abgekürzt PaLM) von Google ist ein leistungsstarkes Sprachmodell, das für das Verstehen und die Generierung von Sprache entwickelt wurde. PaLM ist ein dichtes Decoder-Only-Transformer-Modell, das mit dem Pathways-System trainiert wurde. Es handelt sich um ein 540-Milliarden-Parameter-Modell, das auf mehreren TPU v4 Pods trainiert wurde, was es äußerst effizient macht.
PaLM wurde mit einer Kombination aus englischen und mehrsprachigen Datensätzen trainiert, darunter Webdokumente, Bücher, Wikipedia, Konversationen und GitHub-Code. Das Vokabular wurde außerdem so angepasst, dass alle Leerzeichen erhalten blieben, nicht im Vokabular enthaltene Unicode-Zeichen in Bytes aufgeteilt wurden und Zahlen in einzelne Token aufgeteilt wurden, was ein effektives Training ermöglichte.
Google PaLM ist ein wichtiger Meilenstein auf dem Weg zur Verwirklichung der Vision von Google Research für Pathways: ein einziges Modell, das über Domänen und Aufgaben hinweg verallgemeinert werden kann und gleichzeitig hocheffizient ist.
Funktionen und Fähigkeiten
PaLM erzielte beeindruckende Durchbrüche bei einer Vielzahl von Sprach-, Argumentations- und Codeaufgaben. Bei der Bewertung von 29 englischsprachigen Aufgaben zur Verarbeitung natürlicher Sprache (Natural Language Processing, kurz NLP) übertraf PaLM in 28 der 29 Aufgaben viele frühere Modelle. Darüber hinaus zeigte es eine starke Leistung bei mehrsprachigen NLP-Benchmarks, einschließlich Übersetzung, obwohl nur 22% des Trainingskorpus nicht-englisch ist.
Darüber hinaus zeigte Google PaLM bei mehreren BIG-Bench-Aufgaben beeindruckende Fähigkeiten zum Verstehen und Erzeugen natürlicher Sprache. So war das Modell beispielsweise in der Lage, Ursache und Wirkung zu unterscheiden, begriffliche Kombinationen in geeigneten Kontexten zu verstehen und sogar den Film anhand eines Emojis zu erraten.
PaLM verfügt außerdem über mehrere bahnbrechende Fähigkeiten in Bezug auf Code-Aufgaben. Es kann qualitativ hochwertigen Code erzeugen (text-to-code), der direkt ausgeführt werden kann, es kann natürlichsprachliche Erklärungen von Code verstehen und es kann Codevervollständigung und Fehlerkorrektur anbieten (code-to-code). PaLM hat gezeigt, dass es darüber hinaus in der Lage ist, Code für Aufgaben wie Sortieren, Suchen und Web Scraping zu generieren. All diese Aufgaben kann PaLM lösen, obwohl nur 5 % Code in seinem Pre-Training-Datensatz enthalten sind.
Besonders erwähnenswert ist die Fähigkeit, in few-shot Szenarien gut abzuschneiden, was mit dem fein abgestimmten Modell Codex 12B vergleichbar ist, obwohl es mit 50 Mal weniger Python-Code trainiert wurde. Dieses Ergebnis untermauert frühere Entdeckungen, dass größere Modelle effektiver sein können, wenn es darum geht, Transfer-Lernen sowohl aus Programmiersprachen als auch aus natürlichsprachlichen Daten zu nutzen, und so ihre Stichprobeneffizienz im Vergleich zu kleineren Modellen zu verbessern.
Die Trainingseffizienz von PaLM ist beeindruckend, mit einer Hardware-FLOPs-Auslastung von 57,8 %, der höchsten, die bisher für LLMs in dieser Größenordnung erreicht wurde. Dies ist auf eine Kombination aus der Parallelitätsstrategie und einer Neuformulierung des Transformer-Blocks zurückzuführen, die die parallele Berechnung von Aufmerksamkeits- und Feedforward-Schichten ermöglicht. Dies ermöglicht Geschwindigkeitssteigerungen durch TPU-Compiler-Optimierungen.
von Patrick | 14/12/2022
Was ist GPT-3?
Bei GPT-3 (Generative Pretrained Transformer 3) handelt es sich um ein Sprachmodul der dritten Generation, welches von OpenAI entwickelt wurde und auf Natural Language Processing (NLP)-Modellen basiert. Es ist das Vorgängermodell zu GPT-4.
Das Unternehmen, welches vom Tesla-CEO Elon Musk mitgegründet wurde, beschäftigt sich mit der Entwicklung von Open-Source-Lösungen im Bereich der künstlichen Intelligenz und hat sich zum Ziel gesetzt, die Vorteile dieser für die Menschheit herauszuarbeiten. Denn für die Gründer sowie einigen Wissenschaftlern ist die Gefahr des Übertreffens bzw. des Ersetzens von menschlicher Intelligenz durch künstliche Intelligenz gegeben.
Gegenüber seinen Vorgängern GPT-1 und GPT-2 konnte die aktuelle Version, das im Mai 2020 vorgestellt wurde, einige Verbesserungen erzielen. Bei der ersten Version GPT-1 handelt es sich um ein NLP-Modell, welches im Gegensatz zum bisherigen Stand der Technik nicht speziell für eine bestimmte Aufgabe trainiert werden musste, sondern nur sehr wenige Beispiele für eine qualitativ hochwertige Sprachausgabe benötigt. Mitarbeiter von OpenAI entwickelten dieses Modell weiter, indem sie den dahinterliegenden Datensatz erweiterten, mehr Parameter hinzufügten und schufen somit GPT-2.
Dieses Sprachmodul hat zudem die Fähigkeit, Anweisungen als solche zu verstehen, um beispielsweise Texte automatisch per Textanweisung zu übersetzen. Während GPT-1 und GPT-2 als Open-Source-Software frei verfügbar sind, fand mit dem Sprachmodell GPT-3 eine Kommerzialisierung des Produkts statt. OpenAI argumentiert diesen Schritt damit, dass eine freie Weitergabe der neuen Version aufgrund der starken Leistung eine zu große Gefahr für die Verbreitung von Fehlinformation und Spam oder dem betrügerischen Verfassen von akademischen Aufsätzen besteht.
Wie funktioniert das Sprachmodell?
Gegenüber dem Vorgänger berücksichtigt die dritte Version hundertmal mehr Parameter und greift auf fünf Datensätze (Common Crawl, WebText2, Books1, Books2 und Wikipedia) zurück, während GPT-1 (Book Corpus) und GPT-2 (WebText) nur auf jeweils einen Trainingsdatensatz zugreift.
Die Grundidee von vielen Sprachmodulen bei der Generierung von Texten besteht darin, mithilfe statistischen Modellen die Vorhersage der nächsten Worte eines Textes zu ermitteln, sodass der Text grammatikalisch und sprachlich Sinn ergibt. Dabei arbeitet sie KI-Software GPT-3 nicht mit Worten oder Buchstaben, sondern mit sogenannten Token. Hierbei handelt es sich grundsätzlich gesprochen um eine zusammengehörige Zeichenabfolge. Damit schafft es die Sprach-KI GPT-3 Varianz in die Sprachausgabe zu bringen, welche mit der Betrachtung von ganzen Wörtern schwieriger darzustellen wäre.
Das Sprachmodul wendet für die Analyse und Generierung von Texten folgende Modelle (sogenannte Engines) an: Davinci, Curie, Babbage und Ada. Jedes bietet für bestimmte Anwendungsbereiche Vor- und Nachteile. Während sich Davinci für die Analyse von komplexen Texten eignet, bietet sich Curie für die Nutzung eines Service-Chatbots an. Der Nutzer gibt diesen sowie einige weitere Parameter für die Ermittlung der Ausgabe an. Solche Parameter sind beispielsweise die Kreativität des ausgegebenen Texts sowie dessen Länge.
Die Sprach-KI GPT-3 wurde für die englische Sprache entwickelt und kann derzeit auch nur in dieser ihr vollständiges Potenzial entfalten, auch wenn sie Übersetzungsmöglichkeiten anbietet.
In welcher Software wird GPT-3 genutzt?
Grundsätzlich kann GPT-3 aktuell mittels API-Schnittstelle und entsprechender Bezahlung genutzt werden. Microsoft hat sich hingegen die exklusive Lizenz zum Quellcode von GPT-3 gesichert, um das Sprachmodul in eigene Produkte einzubinden und weiterzuentwickeln. So kombiniert beispielsweise Microsoft Azure OpenAI die Sprach-KI mit den Microsoft-Serviceleistungen Sicherheit, Zugriffsmanagement und Skalierungskapazität. Diese Gesamtlösung soll vor allem für Unternehmen von Interesse sein.
Darüber hinaus lässt sich GPT-3 beispielsweise auch in Chatbots einsetzen, sodass die Software dabei unterstützt, Konversationen zu führen und Hilfestellungen anzubieten. Das bekannteste Beispiel für den Einsatz in Chatbots ist der Microsoft-eigene Dienst ChatGPT. Darüber hinaus wird sie auch in der Spielentwicklung eingesetzt, um automatische Dialoge und Handlungsstränge in Computerspielen zu erstellen. Aufgrund der Engine-Parametrisierung können auf Basis weniger Informationen beispielsweise auch ganze Marketingtexte, Landingpages oder Newsletter erstellt und umgesetzt werden.
