IA explicable (XAI) es actualmente uno de los temas más debatidos en el campo de la IA. Avances como el Acta AI de la Unión Europeaque hace de la explicabilidad una propiedad obligatoria de los modelos de IA en dominios críticos, han puesto la XAI en el punto de mira de muchas empresas que desarrollan o aplican modelos de IA. Como ahora esto se aplica a una gran parte de la economía, la demanda de métodos que puedan describir las decisiones de los modelos de forma comprensible ha aumentado enormemente.

Pero, ¿por qué la explicabilidad es una propiedad tan importante? ¿Qué métodos del campo de la XAI pueden ayudarnos a entender las decisiones de un algoritmo complejo de IA basado en datos? En este artículo queremos llegar al fondo de estas preguntas con un enfoque ligeramente más técnico. El mecanismo básico de muchos modelos de IA es que los patrones se aprenden a partir de una gran cantidad de datos y éstos se utilizan como base de las decisiones para nuevos ejemplos. Por desgracia, en muchos casos no es obvio o resulta difícil comprender qué patrones ha aprendido el modelo de IA. Para el creador y el usuario, el modelo forma una Caja negradonde no conocemos la lógica que lleva de una entrada a una salida determinada. En este artículo, nos centraremos en los modelos de IA para datos tabulares porque son fundamentales para un gran conjunto de casos de uso empresarial.

Por naturaleza, hay varios modelos que son más explicables que otros: Las regresiones lineales y los árboles de decisión, por ejemplo, son relativamente explicables sólo por su diseño. Por tanto, si está desarrollando un modelo desde cero en el que la explicabilidad desempeña un papel central, debería optar por estos modelos u otros similares. Sin embargo, esto no es suficiente en muchos casos de uso. En casos de uso más complejos, en los que, por ejemplo Aprendizaje profundo o conjuntos, se intenta establecer el poder explicativo con el llamado análisis post-hoc (a posteriori) de los modelos.

Enfoques post-hoc para la XAI

Mientras tanto, existe una caja de herramientas bien nutrida de métodos que permiten analizar y evaluar la lógica de decisión de un modelo de caja negra, es decir, un modelo en el que la lógica de decisión no es comprensible. En principio, sin embargo, muchos métodos siguen planteamientos similares. Por lo tanto, describimos aquí una serie de enfoques con los que una caja negra puede hacerse transparente o, al menos, teñirse de oscuro en lugar de profundamente negra, dependiendo del enfoque y la complejidad. Por regla general, en los métodos post-hoc se distingue entre enfoques globales y locales.

• Métodos globales intento de cartografiar e interpretar un modelo completo. El objetivo es comprender la lógica de decisión general del modelo. Un ejemplo es entrenar un modelo explicable con todas las entradas y salidas disponibles de un modelo de caja negra y examinar el nuevo modelo explicable para conocer su lógica de decisión.

• Métodos locales examinar la decisión de un modelo para una entrada específica con el fin de comprender cómo esta entrada específica conduce a la salida correspondiente. Un ejemplo de ello son los métodos que cambian ligeramente una entrada específica una y otra vez y utilizan estas nuevas variantes para investigar el comportamiento del modelo.

Además, los métodos pueden ser agnósticos o específicos de un modelo. Aquí nos centramos en los métodos agnósticos, que pueden aplicarse a cualquier tipo de modelo de IA. Los métodos específicos de un modelo son aquellos que sólo se aplican a un tipo concreto de modelo de IA. A continuación resumimos algunos de los métodos XAI agnósticos de modelo más comunes para datos tabulares.

Métodos globales

Modelos sustitutos globales

En este enfoque, el comportamiento de un modelo de caja negra se analiza con la ayuda de un modelo explicable. Todo lo que se necesita es un conjunto de datos de entradas y salidas de la caja negra. Con la ayuda de este conjunto de datos, se puede entrenar un modelo explicable, como una regresión lineal. Sin embargo, hay que tener cuidado porque la calidad de esta "explicación" depende en gran medida de la calidad del conjunto de datos. Además, los modelos explicables más sencillos pueden no ser capaces de representar la compleja lógica de decisión del modelo de caja negra. A la inversa, si se puede encontrar un modelo sustitutivo simplificado que pueda replicar completamente el resultado del modelo complejo, entonces, por supuesto, se puede cuestionar la complejidad del modelo investigado.

Permutación Importancia de las características

El concepto que subyace a este método es relativamente sencillo: si una característica es importante para la decisión de un modelo de IA, la calidad de predicción del modelo debería deteriorarse si esta característica se hace irreconocible. Para comprobarlo, en un conjunto de datos, los valores de una característica se barajan aleatoriamente en todos los ejemplos de forma que ya no exista una relación significativa entre el nuevo valor de la característica y el valor objetivo para un ejemplo. Si esto aumenta significativamente el error que comete el modelo de IA en sus predicciones, la característica se califica como importante. Si no es así, o sólo en menor medida, la característica se considera menos importante.

Descubrimiento causal

Un método interesante, aunque algo más complejo, es el descubrimiento causal. En este caso, se crea un gráfico no dirigido basado en la matriz de correlación de los datos. Este grafo conecta todas las características y variables de resultado en una red: el grafo. A continuación, esta red se reduce al tamaño y la complejidad necesarios mediante técnicas de optimización. El resultado es un grafo del que pueden derivarse las causalidades. Para ser más precisos, a partir del grafo se puede deducir intuitivamente el efecto de las características individuales sobre el resultado del modelo. Sin embargo, ni siquiera estos métodos ofrecen garantías. Es difícil obtener resultados fiables y estables para estos modelos explicativos, ya que los gráficos resultantes suelen depender de forma muy sensible de la entrada seleccionada.

Métodos locales

Modelos sustitutos locales (LIME)

LIME (Local interpretable model-agnostic explanations) consiste en entrenar un "modelo sustitutivo" local para un ejemplo. En términos sencillos, LIME toma una entrada definida (un ejemplo), la procesa a través del modelo de caja negra y luego analiza la salida. A continuación, las características del ejemplo se modifican ligeramente una a una y el nuevo ejemplo vuelve a pasar por el modelo de caja negra. Este proceso se repite varias veces. De este modo, al menos en torno al ejemplo inicial, puede crearse un modelo explicable que haga evidente la influencia de las características en el resultado. Utilizando el ejemplo de la tramitación automática de siniestros para una aseguradora de automóviles, esto significaría cambiar ligeramente las características de un siniestro una y otra vez (tipo de vehículo, edad, sexo, importe, etc.) y comprobar cómo cambia la decisión del modelo de IA como resultado.

SHAP

SHAP (SHapley Additive exPlanations) puede utilizarse para analizar el grado de influencia de determinadas características en la predicción del modelo para un ejemplo concreto. SHAP funciona permutando las características de la entrada para analizar la importancia de determinadas características en la salida. En este caso, la permutación significa que los valores de determinadas características se sustituyen por los valores de otros ejemplos del conjunto de datos. Esta idea se basa en los valores de Shapley, que proceden de la teoría de juegos. La salida de un modelo se entiende como las ganancias de un juego cooperativo, mientras que las características representan a los jugadores. Las permutaciones se utilizan para determinar cuánto contribuye cada "jugador" (característica) a la "victoria" (resultado). Una gran ventaja de SHAP es que puede producir explicaciones tanto locales como globales. SHAP es uno de los métodos XAI más populares, aunque el elevado número de permutaciones requiere una capacidad de cálculo considerable.

CXPlain

CXPlain es un método más reciente que intenta conservar los puntos fuertes de métodos como LIME o SHAP, pero evitando sus inconvenientes, como los elevados tiempos de cálculo. En lugar de entrenar un modelo explicable que emule el modelo de IA de caja negra o probar un elevado número de permutaciones, CXPlain entrena un modelo independiente que estima la importancia de cada característica. El modelo se entrena basándose en los errores del modelo original de IA de caja negra y, por tanto, puede proporcionar una estimación de qué características contribuyen más a la predicción del modelo de IA de caja negra. Además, CXPlain proporciona una estimación del grado de confianza del modelo en sus predicciones y, por tanto, de la incertidumbre de los resultados. Este no es el caso de otros métodos XAI.

Contrafactuales

¿Qué tendría que cambiar en el input para que cambiara el output? Esta pregunta se plantea cuando se utilizan contrafactuales. Aquí se determina cuáles son los cambios mínimos necesarios para que cambie la salida de un modelo. Para ello, se generan nuevos ejemplos sintéticos y se seleccionan los mejores. Utilizando el ejemplo de la "calificación crediticia": en qué medida debe cambiar la edad o el patrimonio de la persona que realiza la solicitud para que se le conceda un préstamo en lugar de rechazarlo. Por ejemplo, ¿cambiar el sexo de "mujer" a "hombre" hace que se conceda el crédito? Por ejemplo, se pueden identificar sesgos no deseados en las predicciones del modelo. El ejemplo de la tramitación automática de siniestros para una compañía de seguros de automóviles es similar. Nos preguntamos: "¿Cuáles son las características mínimas del asegurado que habría que cambiar para alterar la decisión del modelo?".

¿Por qué no construir directamente modelos de caja blanca?

En general, todos los métodos aquí descritos se refieren a la interpretación post-hoc de modelos. Sin embargo, no hay que olvidar que muchos problemas también pueden resolverse con modelos comprensibles ya existentes. Métodos como las regresiones o los árboles de decisión pueden resolver muchos casos de uso empresarial y son explicables. Sin embargo, los problemas especialmente complicados o de mayor envergadura hacen necesario utilizar modelos más complejos. Para hacerlos explicables, utilizamos en la práctica, entre otros, los métodos aquí descritos. La producción de modelos explicables es actualmente uno de los principales ámbitos de aplicación de la IA. Así lo subraya la legislación actual, como la Ley Europea de IA, que hace de la explicabilidad una propiedad obligatoria de los modelos de IA en áreas críticas. Por supuesto, también tiene sentido intuitivo preferir modelos explicables. Quién querría sentarse en un coche de conducción autónoma controlado por una IA tan compleja que ni siquiera los fabricantes saben cómo y por qué la IA toma sus decisiones.