La magia de la máquina

La gente puede explicar bien la mayoría de sus acciones: Pasamos el semáforo porque está en verde. Si queremos una explicación para una acción de un semejante, normalmente sólo tenemos que preguntar. Nuestras propias experiencias introspectivas con nuestro cuerpo, así como la observación e interacción con el entorno, nos permiten comprender y comunicar nuestras motivaciones internas. Los motivos de la decisión de una IA (Inteligencia artificial), en cambio, son mucho más difíciles de comprender. Un modelo de IA suele llegar a un resultado basándose en causas completamente distintas a las que llegaría un ser humano.

La información sobre por qué un algoritmo decide lo que hace suele estar contenida en un juego binario sí-no increíblemente complejo y, para los humanos, inicialmente opaco. Comprender este juego de forma que podamos entenderlo y describirlo es un reto importante para los usuarios y desarrolladores de modelos de IA, porque las aplicaciones de IA forman parte cada vez más de nuestra vida cotidiana.

Especialmente para los usuarios sin conocimientos profundos sobre el funcionamiento de los modelos de IA, las decisiones de estos modelos pueden parecer casi mágicas. Ésta es probablemente una de las razones por las que muchas personas no sólo no confían en la IA, sino que le tienen cierta aversión. Mejorar la interpretabilidad de los modelos de IA debe ser, por tanto, una parte esencial del futuro de estas tecnologías.

Los sistemas fiables deben ser explicables

Especialmente en las aplicaciones críticas para la seguridad de la IA, es enormemente importante, sólo por razones legales y éticas, poder entender las decisiones algorítmicas. Basta pensar en conducción autónoma, Calificación crediticia o incluso aplicaciones médicas: ¿qué factores conducen a qué resultado y es así como lo queremos? Por ejemplo, no queremos que la gente no pueda conseguir un préstamo por su origen o que alguien sea atropellado por un coche autoconducido por razones equivocadas. Incluso para decisiones menos críticas, la interpretabilidad del modelo, como ya se ha descrito, desempeña un papel: ya sea para generar confianza en las predicciones del modelo o simplemente para averiguar las razones del valor de una previsión.

Por tanto, el uso de sistemas basados en IA está sujeto a las normas básicas de cualquier otro sistema de software para evitar la desinformación, la discriminación y garantizar la protección de los datos personales. La Unión Europea está debatiendo un proyecto de ley complementario para la evaluación y regulación específicas de los sistemas basados en IA: el Ley AI. El proyecto, que se espera entre en vigor en 2025, prevé que los sistemas de IA se clasifiquen en 4 categorías: sin riesgo, bajo riesgo, alto riesgo y riesgo inaceptable. El uso de sistemas de alto riesgo es necesario en muchos sectores: todas las aplicaciones que afectan a la seguridad pública o a la salud humana se consideran aquí sistemas de alto riesgo, pero la definición es amplia.

Gestionar y evaluar los casos de uso de la IA en la propia empresa lleva mucho tiempo, sobre todo si la IA se utiliza de forma productiva en la empresa. Faltan normas claras y procedimientos de prueba. Mediante una herramienta de gestión de casos de uso como Casebase se pueden minimizar los riesgos. Por ejemplo, en los siguientes casos:

• Aplicaciones de IA no supervisada en funcionamiento
• Casos de uso de IA no documentados
• Sistemas de riesgo alto o inaceptable no incluidos en el radar
• Sanciones de las autoridades supervisoras
• Daños en la imagen

Requisitos como una documentación detallada, una adecuada evaluación y mitigación de riesgos, así como medidas de supervisión, son indispensables para una explicabilidad sostenible de los modelos. Sólo así podrán satisfacerse los elevados requisitos de los casos de uso de la IA.

La caja negra

Especialmente Aprendizaje profundo a veces se denomina caja negra. Una caja negra es un sistema en el que conocemos las entradas y salidas, pero no conocemos el proceso dentro del sistema. El ejemplo es muy sencillo: Un niño que intenta abrir una puerta tiene que empujar la manilla (entrada) para que se mueva el pestillo de la cerradura (salida). Al hacerlo, sin embargo, no ve cómo funciona el mecanismo de cierre dentro de la puerta. El mecanismo de cierre es una caja negra. Sólo cuando se enciende una luz en su interior tiene la oportunidad de arrojar luz sobre la oscuridad.

¿Por qué IA explicable?

En realidad, deberíamos estar acostumbrados a tratar con sistemas que no son transparentes desde el exterior en muchas situaciones de la vida. Una complejidad casi infinita nos rodea constantemente. Recogemos una manzana del árbol, aunque no entendemos cómo interactúa exactamente qué molécula con qué molécula durante su crecimiento. Así que parece que una caja negra en sí misma no es un problema. Pero no es tan sencillo, porque los humanos hemos aprendido en nuestra historia evolutiva a base de mucho ensayo y error en qué podemos confiar suficientemente y en qué no. Si una manzana cumple ciertos criterios visuales y además huele a manzana, confiamos en el producto del manzano. Pero, ¿y la inteligencia artificial?

No siempre podemos recurrir a una experiencia milenaria. A menudo no podemos intervenir en la selección de los inputs para saber cómo influir en el output (menos agua -> manzana más pequeña). Sin embargo, cuando se trata de un sistema de inteligencia artificial al que a menudo sólo proporcionamos información de forma inconsciente, las cosas se complican: los usuarios de sistemas de inteligencia artificial que ya están funcionando sólo pueden intentar explicar cómo toma sus decisiones el sistema a través de un número limitado de decisiones anteriores del sistema. Los parámetros y factores que intervienen en este proceso sólo pueden probarse o estimarse con mucho esfuerzo, y aquí es donde entra en juego la IA explicable (XAI). La XAI describe un número creciente de métodos y técnicas para hacer explicables los sistemas complejos de IA. La IA explicable no es un tema nuevo. Desde los años ochenta se viene trabajando en este campo. Sin embargo, la cantidad cada vez mayor de áreas de aplicación, así como el establecimiento progresivo de métodos de ML, ha aumentado significativamente la importancia de esta área de investigación. Dependiendo de los algoritmos utilizados, resulta más o menos prometedor. Un modelo basado en la regresión lineal, por ejemplo, es mucho más fácil de explicar que una red neuronal artificial. No obstante, también existen métodos en la caja de herramientas XAI para hacer más explicables modelos tan complejos.

Los avances en el ámbito del hardware también facilitan enormemente el acceso a los modelos explicativos. Hoy en día, ya no lleva tanto tiempo probar miles de explicaciones o realizar numerosas intervenciones para comprender el comportamiento de un modelo como hace veinte años.

Ejemplos de XAI en la práctica

Así que, en teoría, con los métodos de XAI y los conocimientos adecuados, incluso los modelos complejos de caja negra pueden interpretarse, al menos parcialmente. Pero, ¿cómo se ve en la realidad? En muchos proyectos o casos de uso, la interpretabilidad es un pilar importante del éxito general. Los aspectos de seguridad, la falta de confianza en los resultados del modelo, las posibles regulaciones futuras, así como las preocupaciones éticas, garantizan la necesidad de modelos ML interpretables.

No sólo en [at] hemos reconocido la importancia de estos temas: La legislación europea también planea hacer de la interpretabilidad una característica obligatoria de las aplicaciones de IA en campos críticos para la seguridad y relevantes para la protección de datos. En este contexto, en [at] estamos trabajando en varios proyectos que utilizan nuevos métodos para hacer interpretables nuestras aplicaciones de IA y las de nuestros clientes. Un ejemplo es el proyecto AI Knowledge, financiado por el Ministerio Federal de Economía y Protección del Clima con 16 millones de euros. En él trabajamos con nuestros socios del mundo empresarial y de la investigación, Modelos de IA para la conducción autónoma explicable. Estrechamente relacionado con este tema está el aprendizaje por refuerzo (RL), que ha tenido mucho éxito en la resolución de muchos problemas, pero por desgracia suele ser una caja negra. Por esta razón, nuestro personal está trabajando en otro proyecto para hacer que los algoritmos de RL sean interpretables y seguros.

Además, nuestro Científicos de datos en una caja de herramientas para que el método SHAP descrito pueda utilizarse incluso con conjuntos de datos muy complicados. En definitiva, en [at] podemos ofrecer un catálogo muy bien fundamentado de métodos para la interpretabilidad de modelos de IA, derivados de la investigación actual. Ya se trate del desarrollo de un modelo nuevo e interpretable o del análisis de sus modelos existentes. No dude en ponerse en contacto con nosotros si está interesado.