Los grandes modelos de IA, como GPT-3 o PaLM, están revolucionando el mercado de la inteligencia artificial (IA). Alemania y Europa se están perdiendo este desarrollo porque los desarrolladores europeos carecen de las condiciones marco adecuadas. Para no depender de las soluciones estadounidenses -como ya ocurre en otros ámbitos digitales-, las empresas y la política deben reaccionar de una vez. En primer lugar, se necesita un centro de supercomputación dedicado a la IA en el que se puedan investigar y desarrollar grandes modelos de IA. La iniciativa LEAM pretende crear un ecosistema en torno a dicho superordenador y hacer realidad los grandes modelos europeos de IA.

Avanzar hacia una nueva fase de desarrollo de la IA

En junio de 2020, la empresa estadounidense OpenAI presentó el Generative Pre-trained Transformer 3, o GPT-3 para abreviar. Con 175.000 millones de parámetros, el modelo de IA es más de cien veces mayor que su predecesor GPT-2 y fue el mayor modelo de lenguaje de IA de todos los tiempos en el momento de su lanzamiento. Este lanzamiento fue el pistoletazo de salida en la carrera por los grandes modelos de IA.

En muy poco tiempo, los desarrolladores ya utilizaban el algoritmo en una gran variedad de aplicaciones. Las aplicaciones GPT-3 redactan con fiabilidad correos electrónicos y textos periodísticos o funcionan como chatbots. Resumen documentos, los rellenan automáticamente o reconocen determinadas características. En una aplicación muy apreciada, GPT-3 incluso convierte texto en código de programa.

Menos de un año después de su lanzamiento, OpenAI anunció que más de 10.000 desarrolladores ya utilizan GPT-3 y han publicado más de 300 aplicaciones. El gran beneficiado de esta historia de éxito es Microsoft, que licenció oficialmente GPT-3 en septiembre de 2020. Desde entonces, los desarrolladores ya no pueden acceder abiertamente al código de GPT-3, sino que deben utilizar una API proporcionada por Microsoft.

GPT-3 fue sólo el principio

Microsoft, junto con NVIDIA, dio el siguiente paso en el desarrollo de grandes modelos de IA a finales de 2021. El modelo Megatron-Turing NLG tiene 530.000 millones de parámetros y, por tanto, es unas tres veces más grande que GPT-3. Sin embargo, las dos empresas estadounidenses solo ostentaban el récord del mayor modelo de lenguaje de IA hasta hace unas semanas, cuando Google presentó su Pathways Language Model, o PaLM para abreviar, el mayor modelo de lenguaje hasta la fecha con 540.000 millones de parámetros. Más recientemente, Meta, la empresa matriz de Facebook, también entró en la carrera de los grandes modelos lingüísticos de IA.

Al mismo tiempo, la Academia de Inteligencia Artificial de Pekín, en China, trabajaba en una solución para competir con los modelos estadounidenses. El resultado se llama WuDao2.0, consta de datos de texto e imágenes y tiene un tamaño de 1.750 millones de parámetros. Supera así con creces a otros modelos multimodales como el Dall-E de OpenAI o el MUM de Google. La particularidad de estos modelos multimodales es que combinan datos de texto e imagen y crean posibilidades de aplicación completamente nuevas. Por ejemplo, crean imágenes a partir de texto o reconocen el contenido de vídeos.

Pero la base de datos de grandes modelos de IA no se limita a los datos de imágenes y texto. Por ejemplo, DeepMind, una empresa de Google, utiliza estructuras de proteínas para su programa AlphaFold. Permite reconocer la estructura 3D de una proteína y, por tanto, su función. Resuelve por sí solo uno de los mayores retos de la biología moderna.

Además de las grandes empresas tecnológicas estadounidenses y las organizaciones estatales chinas, son sobre todo las comunidades de desarrolladores como HuggingFace y EleutherAI las que trabajan actualmente en grandes modelos de IA. En vano se busca un gran modelo europeo.

Para entrenar grandes modelos de IA se necesitan sobre todo tres cosas: datos, desarrolladores bien formados y capacidad informática.

Falta potencia de cálculo Para entrenar grandes modelos de IA se necesitan sobre todo tres cosas: datos, desarrolladores bien formados y capacidad informática.

Con GPT-3, los datos proceden de Common Crawl, una base de datos de acceso público en Internet, así como de otras bases de datos públicas. WuDao 2.0 añade bases de datos chinas a esta mezcla. Las lenguas europeas no están incluidas en ninguna de las dos. Sin embargo, en Europa también existen grandes conjuntos de datos que reflejan la diversidad lingüística del continente. Entre ellas está, por ejemplo, la base de datos EuroParl, que contiene las deliberaciones del Parlamento Europeo desde 1996.

Además de datos, se necesitan desarrolladores cualificados e investigadores de IA para trabajar en algoritmos. Muchos de los básicos son de libre acceso, pero constantemente se desarrollan algoritmos nuevos y mejorados.

Alemania y Europa tienen buenas oportunidades de formación para los futuros desarrolladores de IA, y la investigación alemana en este campo puede mantenerse en la comparación internacional.

A pesar de contar con datos suficientes y especialistas bien formados, en la actualidad no existe un gran modelo europeo de IA comparable. Esto se debe principalmente a la falta de capacidad de cálculo en Alemania y Europa. El entrenamiento de GPT-3 llevó once días en el superordenador Selene de NVIDIA. Microsoft y NVIDIA necesitaron incluso seis semanas para entrenar MegatronTuring NLG. Los desarrolladores de IA alemanes no tienen la posibilidad de calcular durante tanto tiempo. El único superordenador comparable, JUWELS en Jülich, es utilizado conjuntamente por físicos, investigadores del clima y biólogos. El desarrollo de grandes modelos de IA sólo desempeña un papel subordinado. El proyecto OpenGPT-X, financiado por el Ministerio Federal de Economía y Protección del Clima y cuyo objetivo es desarrollar un modelo lingüístico europeo, ha tenido que emplearse a fondo recientemente para solicitar potencia de cálculo. Un esfuerzo y una pérdida de tiempo que Europa no puede permitirse.

Alemania necesita un centro de supercomputación dedicado a la IA

Esta situación tiene consecuencias para el panorama de la IA, pero también para las empresas y los ciudadanos europeos. Los modelos no europeos no suelen ser accesibles abiertamente ni transparentes. Por ejemplo, no se revelan los sesgos que pueden ser discriminatorios. Además, estos modelos no admiten ninguna lengua europea o sólo unas pocas. Especialmente en el caso de las comunidades lingüísticas más pequeñas, es poco probable que los modelos no europeos implanten las lenguas en su modelo. Además, no está claro qué ocurre con los datos que los ciudadanos y las empresas europeas facilitan a estos modelos.

Si el desarrollo de grandes modelos de IA en Alemania y Europa no se acelera pronto, los usuarios tendrán que elegir: O volverse dependientes de las soluciones estadounidenses y trasladar datos valiosos al extranjero, o no aprovechar las inmensas ventajas de la tecnología.

Para evitar este escenario, Alemania y Europa deben proporcionar sus propios modelos de IA de gran tamaño. Estos deben estar disponibles abiertamente y servir de base para las aplicaciones de empresas y start-ups. Los modelos deben tener en cuenta las lenguas europeas y las ideas europeas de protección de datos y desarrollarse de la forma más transparente y libre de distorsiones posible. El desarrollo también debe centrarse en la neutralidad climática.

Sólo si Europa consigue poner a disposición de la economía y los ciudadanos sus propias aplicaciones competitivas basadas en modelos de IA a gran escala, los valores europeos se reflejarán también en estas aplicaciones y se garantizará la soberanía digital en el ámbito de la IA.

Sólo cuando la comunidad de la IA, las empresas y la política se unan podrán hacerse realidad los grandes modelos de IA.

LEAM: el proyecto faro para el desarrollo de grandes modelos europeos de IA

Para hacer realidad el desarrollo de grandes modelos de IA en Europa y evitar la dependencia de soluciones no europeas, la AI Bundesverband puso en marcha el año pasado su iniciativa LEAM, Large European AI Models (grandes modelos europeos de IA). Con el apoyo de numerosos institutos de investigación de renombre, empresas, asociaciones y start-ups, LEAM es un proyecto faro en el panorama europeo de la IA.

El núcleo del proyecto es la creación de un centro de datos especializado en Inteligencia Artificial en el que la investigación y el desarrollo puedan llevarse a cabo sin complicaciones. En torno a este centro de datos se construirá un ecosistema de IA próspero y autónomo formado por investigadores, empresas emergentes, PYME e industria. Al mismo tiempo, el proyecto sirve de acelerador para las iniciativas OpenData, que pueden explotar eficazmente sus datos en el LEAM. Desde la puesta en marcha del LEAM, la red no ha dejado de crecer, pero solo si la comunidad de la IA, las empresas y la política se unen podrá hacerse realidad la idea de grandes modelos europeos de IA.

No debemos repetir viejos errores

Actualmente nos encontramos al principio de un gran cambio en la investigación y aplicación de la IA. En parte, esta situación recuerda a la de los motores de búsqueda y la posición de Google a principios de la década de 2000. Por aquel entonces, nadie reconocía un modelo de negocio de éxito en Google. Unos años más tarde, los países europeos intentaron construir una alternativa. Como sabemos hoy: sin mucho éxito. Existen patrones similares en las redes sociales, los sistemas operativos para teléfonos inteligentes y, actualmente, también con los proveedores de servicios en la nube. Debemos aprender de una vez de estos errores.

Por lo tanto, es importante reaccionar ahora y permitir que Alemania y Europa desarrollen grandes modelos de IA de acuerdo con las normas europeas. Si esto no ocurre, perderemos otra parte de nuestra soberanía digital y dentro de unos años solo construiremos frontales específicos para aplicaciones de IA de otros Estados.

Descargo de responsabilidad:

Este artículo apareció originalmente en la revista Handelsblatt "Künstliche Intelligenz - AI Experience" (junio de 2022) como saludo de Jörg en su calidad de Presidente de KI Bundesverband e.V.