Große KI-Modelle wie GPT-3 oder PaLM revolutionieren den Markt für Künstliche Intelligenz (KI). Deutschland und Europa verpassen diese Entwicklung, da es europäischen Entwickler:innen an den richtigen Rahmenbedingungen fehlt. Um sich nicht – wie bereits in anderen Digitalbereichen – von amerikanischen Lösungen abhängig zu machen, müssen Wirtschaft und Politik endlich reagieren. Allen voran bedarf es eines dedizierten KI-Supercomputing Centers, auf dem an großen KI-Modellen geforscht und entwickelt werden kann. Die Initiative LEAM hat das Ziel, ein Ökosystem rund um einen solchen Supercomputer zu schaffen und große europäische KI-Modelle Realität werden zu lassen.

Vorstoß in eine neue Phase der KI-Entwicklung

Im Juni 2020 stellte das amerikanische Unternehmen OpenAI den Generative Pre-trained Transformer 3, kurz GPT-3, vor. Mit 175 Milliarden Parametern ist das KI-Modell mehr als hundertmal so groß wie sein Vorgänger GPT-2 und war zum Zeitpunkt seines Erscheinens das größte KI-Sprachmodell aller Zeiten. Diese Veröffentlichung war der Startschuss im Wettlauf um große KI-Modelle.

Innerhalb kürzester Zeit nutzten Entwickler den Algorithmus in verschiedensten Anwendungsgebieten. GPT-3 Anwendungen verfassen zuverlässig Mails und journalistische Texte oder funktionieren als Chatbots. Sie fassen Dokumente zusammen, füllen sie automatisch aus oder erkennen bestimme Merkmale. In einer viel beachteten Anwendung verwandelt GPT-3 sogar Text in Programmcode.

Nicht einmal ein Jahr nach der Veröffentlichung gab OpenAI bekannt, dass bereits über 10.000 Entwickler:innen GPT-3 verwenden und über 300 Anwendungen veröffentlicht haben. Der große Profiteur dieser Erfolgsgeschichte ist Microsoft, die GPT-3 im September 2020 offiziell lizensierten. Seitdem können Entwickler:innen nicht mehr offen auf den Code von GPT-3 zugreifen, sondern müssen eine von Microsoft bereitgestellte API nutzen.

GPT-3 war erst der Anfang

Microsoft war es dann auch, die Ende 2021 gemeinsam mit NVIDIA den nächsten Schritt in der Entwicklung großer KIModelle gingen. Das Modell Megatron-Turing NLG verfügt über 530 Milliarden Parameter und ist damit rund dreimal so groß wie GPT-3. Den Rekord als größtes KI-Sprachmodell hielten die beiden amerikanischen Konzerne aber nur bis vor einigen Wochen, als Google mit ihrem Pathways Language Model, kurz PaLM, das bisher größte Sprachmodell mit 540 Milliarden Parametern vorstellte. Zuletzt stieg auch Facebooks Mutterkonzern Meta in das Rennen um große KI-Sprachmodelle ein.

Gleichzeitig arbeitete in China die Beijing Academy of Artificial Intelligence an einer Lösung, um mit den amerikanischen Modellen zu konkurrieren. Das Ergebnis lautet WuDao2.0, besteht neben Text- auch aus Bilddaten und ist 1,75 Milliarden Parameter groß. Es übertrifft damit auch andere multimodale Modelle wie OpenAIs Dall-E oder Googles MUM bei weitem. Die Besonderheit dieser multimodalen Modelle ist, dass sie Text- und Bilddaten kombinieren und komplett neue Anwendungsmöglichkeiten schaffen. So erschaffen sie beispielsweise Bilder aus Text oder erkennen den Inhalt von Videos.

Doch bei Bild- und Textdaten hört die Datenbasis großer KI-Modelle nicht auf. Das zu Google gehörende Unternehmen DeepMind nutzt beispielsweise Proteinstrukturen für ihr Programm AlphaFold. Es erlaubt, die 3D-Struktur eines Proteins und so seine Funktion zu erkennen. Eigenhändig löst es damit eines der größten Herausforderungen der modernen Biologie.

Neben den großen amerikanischen Tech-Unternehmen und chinesischen Staatsorganisationen sind es vor allem Entwickler-Communities wie HuggingFace und EleutherAI, die aktuell an großen KI-Modellen arbeiten. Ein großes europäisches Modell sucht man vergeblich.

Um große KI-Modelle zu trainieren, braucht es vor allem drei Dinge: Daten, gut geschulte Entwickler:innen und Rechenkapazität.

Es fehlt an Rechenpower Um große KI-Modelle zu trainieren, braucht es vor allem drei Dinge: Daten, gut geschulte Entwickler:innen und Rechenkapazität.

Bei GPT-3 stammen die Daten aus dem Common Crawl, einer öffentlich zugänglichen Datenbank des Internets, sowie weiteren öffentlichen Datenbanken. WuDao 2.0 mischt diesem Mix noch chinesische Datenbanken hinzu. Europäische Sprachen finden bei beiden nicht statt. Dabei gibt es auch in Europa große Datensätze, welche die Sprachenvielfalt des Kontinents widerspiegeln. Dazu gehört beispielsweise die Datenbank EuroParl, die die Beratungen des Europäischen Parlaments seit 1996 beinhaltet.

Neben den Daten braucht es fähige Entwickler:innen und KI-Forscher:innen, die an Algorithmen arbeiten. Viele Grundlagen sind frei verfügbar, doch ständig werden neue und verbesserte Algorithmen entwickelt.

Deutschland und Europa verfügen über gute Ausbildungsmöglichkeiten für angehende KI-Entwickler:innen und die deutsche KI-Forschung kann im internationalen Vergleich mithalten.

Trotz ausreichend Daten und gut ausgebildeten Fachkräften gibt es aktuell kein vergleichbares großes europäisches KI-Modell. Dies liegt vor allem an mangelnden Rechenkapazitäten in Deutschland und Europa. Das Training von GPT-3 dauerte elf Tage auf NVIDIAs Supercomputer Selene. Für das Training von MegatronTuring NLG benötigten Microsoft und NVIDIA sogar sechs Wochen. Deutsche KI-Entwickler:innen haben nicht die Möglichkeit, so lange zu rechnen. Der einzig vergleichbare Supercomputer JUWELS in Jülich wird gemeinsam von Physiker:innen, Klimaforscher:innen und Biolog:innen genutzt. Die Entwicklung großer KI-Modelle spielt da nur eine untergeordnete Rolle. Das vom Bundesministerium für Wirtschaft und Klimaschutz geförderte Projekt OpenGPT-X, welches das Ziel hat, ein europäisches Sprachmodell zu entwickeln, musste sich zuletzt erst mühsam um Rechenpower bewerben. Ein Aufwand und Zeitverlust, den sich Europa nicht leisten kann.

Deutschland braucht ein dediziertes KI-Supercomputing Center

Diese Situation hat Folgen für die KI-Landschaft, aber auch für die Wirtschaft und Bürger:innen in Europa. Außereuropäische Modelle sind oft nicht offen zugänglich und transparent. Verzerrungen, die beispielsweise diskriminierend sein können, werden nicht offengelegt. Darüber hinaus unterstützen diese Modelle keine oder nur wenige europäische Sprachen. Vor allem bei kleineren Sprachcommunities ist es unwahrscheinlich, dass außereuropäische Modelle die Sprachen in ihr Modell implementieren werden. Hinzu kommt, dass nicht klar ist, was mit den Daten passiert, die europäische Bürger:innen und Unternehmen an diese Modelle weitergeben.

Sollte die Entwicklung großer KI-Modelle in Deutschland und Europa nicht bald Fahrt aufnehmen, werden die Nutzer:innen vor die Wahl gestellt: Entweder sich von amerikanischen Lösungen abhängig machen und wertvolle Daten ins Ausland verlagern, oder die immensen Vorteile der Technologie nicht nutzen.

Um dieses Szenario zu verhindern, müssen Deutschland und Europa eigene große KI-Modelle bereitstellen. Diese müssen offen verfügbar sein und eine Basis für Anwendungen von Unternehmen und Start-ups bilden. Die Modelle sollten europäische Sprachen und europäische Vorstellungen von Datenschutz berücksichtigen und so transparent und verzerrungsfrei wie möglich entwickelt werden. Bei der Entwicklung sollte außerdem ein Fokus auf Klimaneutralität gelegt werden.

Nur wenn Europa es schafft, eigene und konkurrenzfähige Anwendungen auf Basis großer KI-Modelle der Wirtschaft und den Bürger:innen zur Verfügung zu stellen, werden europäische Werte auch in diesen Anwendungen berücksichtigt und die digitale Souveränität im Bereich KI gewährleistet.

Nur wenn KI-Community, Wirtschaft und Politik gemeinsam an einem Strang ziehen, lassen sich große KI-Modelle auch verwirklichen.

LEAM: Das Leuchtturmprojekt zur Entwicklung großer europäische KI-Modelle

Um die Entwicklung großer KI-Modelle in Europa zu verwirklichen und eine Abhängigkeit von außereuropäischen Lösungen zu verhindern, hat der KI Bundesverband im letzten Jahr seine Initiative LEAM, Large European AI Models, gestartet. Unterstützt von zahlreichen namhaften Forschungsinstituten, Konzernen, Verbänden und Start-ups ist LEAM ein Leuchtturmprojekt in der europäischen KI-Landschaft.

Kern des Projektes ist der Aufbau eines dediziert auf KI ausgerichteten Rechenzentrums, an dem unkompliziert geforscht und entwickelt werden kann. Um dieses Rechenzentrum herum soll ein florierendes, eigenständiges KI-Ökosystem aus Forschung, Start-ups, KMU und Industrie entstehen. Gleichzeitig dient das Projekt als Beschleuniger für OpenData Initiativen, die ihre Daten bei LEAM effizient verwerten können. Seit dem Start von LEAM wächst das Netzwerk stetig, doch nur wenn KI-Community, Wirtschaft und Politik gemeinsam an einem Strang ziehen, lässt sich die Idee großer europäischer KI-Modelle auch verwirklichen.

Wir dürfen alte Fehler nicht wiederholen

Wir stehen aktuell am Anfang einer gravierenden Veränderung im Bereich der Forschung und Anwendung von KI. In Teilen erinnert diese Situation an Suchmaschinen und die Position von Google in den frühen 2000ern. Zu diesem Zeitpunkt hat niemand ein erfolgreiches Business-Modell bei Google erkannt. Wenige Jahre später versuchten die europäischen Staaten eine Alternative aufzubauen. Wie wir heute wissen: ohne großen Erfolg. Ähnliche Muster gibt es im Bereich soziale Medien, Betriebssystemen für Smartphones und aktuell auch bei Cloudanbietern. Wir müssen endlich aus diesen Fehlern lernen.

Daher gilt es, jetzt zu reagieren und Deutschland und Europa zu befähigen, große KI-Modelle nach europäischen Standards zu entwickeln. Wenn das nicht geschieht, verlieren wir einen weiteren Teil unserer digitalen Souveränität und bauen in einigen Jahren nur noch anwendungsspezifische Frontends für KI aus anderen Staaten.

Disclaimer:

Dieser Beitrag erschien im Original im Handelsblatt Journal „Künstliche Intelligenz – AI Experience“ (Juni 2022) als Grußwort von Jörg in seiner Rolle als Präsident des KI Bundesverband e.V.