La presión competitiva para desarrollar modelos de IA innovadores es cada vez mayor. Un año después de que OpenAI recibiera el Modelo GTP-3 había logrado dar un enorme salto en su desarrollo y había conmocionado al mundo, investigadores de la Academia de Inteligencia Artificial de Pekín (BAAI) presentaron a principios de junio de 2021 Wu Dao 2.0, 10 veces mayor que GPT-3 y ahora el modelo de red neuronal más grande del mundo.

Desde el punto de vista de la tecnología, es una noticia fascinante. Para la política europea y estadounidense, así como para la industria, una señal de advertencia para no quedarse completamente atrás. O, dicho de otro modo: una señal para la ambición de China de convertirse en líder mundial en el desarrollo de la IA.

Wu Dao 2.0 deja en la sombra a GPT-3 y Google Switch Transformer

No fue hasta marzo de 2021 cuando la BAAI dio a conocer el modelo predecesor Wu Dao 1.0. Apenas un mes después, el grupo de investigación liderado por socios del sector como Xiaomi, Meituan y Kuaishou presentó la versión actualizada del modelo multimodal.

Wu Dao 2.0, que literalmente significa "comprensión de las leyes de la naturaleza", tiene 1,75 billones de parámetros. Supera así en diez veces a GPT-3 y bate el récord de tamaño establecido en mayo por Transformador de interruptores de Google Modelo lingüístico AI (1,6 billones de parámetros) por 150.000 millones de parámetros.

En línea con el mayor desarrollo del año pasado hacia sistemas de IA multimodales, Wu Dao 2.0 también aprende de datos de imagen y texto y puede procesar con flexibilidad tareas complejas basadas en ambos tipos de datos. Es decir, domina capacidades como el procesamiento del lenguaje natural, la generación de textos, el reconocimiento de imágenes y la generación de imágenes, e incluso puede predecir estructuras tridimensionales de proteínas, de forma muy parecida al DeepMinds AlphaFold.

Características especiales de Wu Dao 2.0.: Tamaño y robustez

El modelo se entrenó utilizando 4,9 TB de datos de texto e imágenes, lo que hace que el conjunto de entrenamiento GPT-3 (570 GB de datos limpios de 45 TB de datos curados) parezca escandalosamente pequeño en comparación. Estos datos constan de 1,2 TB de datos de texto en chino, 2,5 TB de datos gráficos en chino y 1,2 TB de datos de texto en inglés.

Enfoques multimodales comparables son DALL-E y CLIP de OpenAI o LaMDA y MUM de Google. Solo el modelo chino es mucho más complejo en términos de escala y alcanza una robustez que, según el Investigadores del BAAI superó al estado actual de la técnica (SOTA) en nueve pruebas de referencia de IA ampliamente utilizadas:

• ImageNet (disparo cero): OpenAI CLIP
• LAMA (conocimientos objetivos y de sentido común): AutoPrompt
• LAMBADA (tareas cloze): Microsoft Turing NLG
• SuperGLUE (pocos disparos): OpenAI GPT-3
• Uso del suelo en UC Merced (foto cero): OpenAI CLIP
• MS COCO (diagrama de generación de texto): OpenAI DALL-E
• MS COCO (recuperación de gráficos en inglés): OpenAI CLIP y Google ALIGN
• MS COCO (recuperación gráfica multilingüe): por delante de UC² (mejor modelo multilingüe y multimodal preentrenado).
• Multi 30K (recuperación gráfica multilingüe): antes de UC².

Wu Dao 2.0. y FastMoE

Cualquiera que se pregunte ahora por las posibilidades de uso y comercialización recibirá probablemente FastMoE como respuesta. Esta arquitectura de código abierto, similar a Mixture of Experts (MoE) de Google, se utilizó para Switch Transformer de Google. En ella, determinada información sólo se envía a una red de expertos dentro del gran modelo. Así se reduce la potencia de cálculo necesaria, ya que sólo se activan determinadas secciones del modelo en función de la información que se procesa. De este modo, se garantiza la hiperescalabilidad, la eficiencia y una gran precisión. Además, FastMoE es más flexible que el sistema de Google porque se ha entrenado tanto en superordenadores como en GPU convencionales y, por tanto, no requiere hardware propietario.

Cabe señalar que aún está pendiente una publicación científica sobre Wu Dao 2.0. Sin embargo, parece que Wu Dao 2.0 puede generar resultados notables en las pruebas de referencia más importantes en todas las tareas y modalidades.

Aplicación de Wu Dao 2.0. - camino de la AI Grid

Uno de los objetivos que se persiguen, según Tang Jie, subdirector del BAAI, es el desarrollo y la aplicación de capacidades cognitivas en máquinas (pruebas de Turing).

Así se demostró durante la presentación de Hua Zhibing, un estudiante virtual que ha aprendido a componer música, escribir poesía, pintar cuadros y codificar sobre la base de Wu Dao 2.0. A diferencia de la GPT-3, Wu Dao 2.0 parece aproximarse a los mecanismos humanos de memoria y aprendizaje, pues ya no se olvida lo aprendido anteriormente.

Aparte de esta avatarización lúdica, sin embargo, Wu Dao 2.0. debe entenderse mucho más como el próximo hito para el futuro de una infraestructura industrial de IA transformadora en toda la zona, similar a una red eléctrica. Esta conecta las aplicaciones de IA entre sí y controla las capacidades de forma inteligente. Esto se verá reforzado por el hecho de que los proveedores utilizarán los datos proporcionados por los clientes a través de las interfaces para ampliar el conjunto de formación con el fin de contribuir a la mejora continua del sistema global.

Wu Dao demuestra el statu quo de la estrategia china en materia de IA

El hecho de que el Gobierno chino lleve varios años utilizando el potencial de la IA como ventaja estratégica en la competencia internacional no es, desde luego, una novedad. Los primeros frutos del Plan de IA e Innovación, que preveía la creación de 50 nuevos institutos de IA para 2020, se están cosechando con Wu Dao 2.0. Que esto fuera ya el "gran avance", como parafrasea China su objetivo estratégico para 2025, sería probablemente esperanzador desde una perspectiva europea, pero también ingenuo.

Porque ya en 2018 y 2019, el Gobierno de Pekín destinó más de 50 millones de dólares a la Academia de Inteligencia Artificial de Pekín.

Desde el punto de vista de la investigación, China puede considerarse ahora el líder mundial en publicaciones y patentes de IA. La cuota mundial ha pasado en los últimos años de 4% en 1997 a 28% en 2017, y la tendencia va en aumento. Esta tendencia también apunta al poder que China puede desencadenar en el campo de las empresas habilitadas para la IA, como las aplicaciones de reconocimiento de voz e imágenes.

Desafío para Europa

Como consecuencia de esta evolución predominante, las ofertas de los proveedores chinos que ya han seguido la transformación de la IA ejercerán una enorme presión de mercado sobre las empresas y los Estados europeos. Un ejemplo destacado que ha desencadenado recientemente dinámicas geopolíticas es la plataforma china de medios sociales TikTok.

Otro efecto que no debe subestimarse es que los modelos de IA también expresan siempre los datos y sesgos de sus programadores. En concreto, esto significa que si la evolución hacia modelos en inglés y chino se manifiesta, otras culturas tendrán que luchar para que se tengan en cuenta sus lenguas y valores.

Es aún más importante subrayar que los modelos de IA son un indicador informal del progreso continental o nacional y una dimensión central de la competencia tecnológica entre China, Estados Unidos y Europa.

Según un Estudio del Banco Europeo de Inversiones Alrededor del 80% de las inversiones en tecnologías de IA y blockchain las realizan Estados Unidos y China, mientras que Europa solo representa el 7% de la suma de inversiones, unos 1.750 millones de euros.

Los últimos acontecimientos en torno a Wu Dao 2.0 hacen temer que Europa se enfrente a la situación de perder su soberanía digital en el campo de la IA.

Es necesario reforzar la posición de Europa en IA

En abril de 2021, siete asociaciones europeas de la industria de la IA, entre ellas Alemania, Austria, Suecia, Croacia, Eslovenia, Países Bajos, Francia y Bulgaria, se dirigieron a la Comisión de la UE para llamar la atención sobre la situación y proponer medidas para desarrollar modelos de IA a gran escala en Europa.

Porque si Europa no reacciona con rapidez, existe el peligro de que se formen mercados oligopolísticos o monopolísticos controlados por China y Estados Unidos. Las fuerzas y los recursos asignados a la IA a nivel alemán y europeo deben agruparse e invertirse con más fuerza en proyectos moonshot: es la única manera de no salir perdiendo.