La IA se utiliza para automatizar cada vez más decisiones. En muchas aplicaciones, como la evaluación de créditos, la selección de solicitantes y la detección de fraudes, evitar cualquier tipo de discriminación es crucial tanto desde el punto de vista ético como jurídico. El sitio Con su estrategia de IA, el Gobierno Federal está regalando atención explícita a la cuestión de la parcialidad en las decisiones de IA y a la discriminación en el contexto de la aplicación de procesos de IA. El Reglamento General de Protección de Datos (RGPD) también establece que, en el caso de las decisiones automatizadas, los efectos discriminatorios basados en el origen racial o étnico, las opiniones políticas, la religión o las creencias, la afiliación sindical, el estado genético o de salud o la orientación sexual. (información confidencial) debe evitarse.

Causas y efectos

Las decisiones pueden estar sesgadas independientemente de su fuente. Sin embargo, si se basan en Algoritmos son más comprensibles que las decisiones tomadas por humanos. Esto permite a los desarrolladores hacer visible el sesgo en las decisiones de la IA. El sesgo puede definirse como un error sistemático y repetible en un sistema de toma de decisiones. Puede llevar a una degradación de la calidad de las decisiones o a resultados injustos o discriminatorios, como favorecer a un determinado grupo de usuarios. Evitar el sesgo para mejorar la calidad del modelo está bien establecido en la práctica, pero el uso ético de la IA es un tema de investigación activo.

El sesgo puede tener varias fuentes: la selección de datos, la variable objetivo (etiqueta), los desarrolladores y el propio modelo.

Con los sistemas de IA, no existe una comprensión natural de la objetividad de los datos que se procesan. Si hay un sesgo en los datos, el modelo lo adopta. Los algoritmos están escritos por humanos, que por naturaleza son parciales. Además, el método utilizado puede dar lugar a sesgos, por ejemplo si no es adecuado para su aplicación al problema específico.

En la adjudicación de viviendas públicas, por ejemplo, el sesgo podría tener las siguientes causas:

Selección de datos
Antes había menos padres solteros, por lo que sus datos están infrarrepresentados. Por tanto, sus solicitudes no se procesan correctamente.

Etiquetas
El proceso de asignación ha cambiado. Por lo tanto, los datos históricos no representan el proceso de asignación actual. La calidad del modelo está disminuyendo.

Desarrollador
El promotor no tiene hijos, por lo que no tiene suficientemente en cuenta la información sobre el tamaño de la familia.

Algoritmo
La relación entre el objetivo y las variables de entrada es demasiado compleja para el modelo utilizado (ajuste insuficiente). Esto puede evitarse utilizando modelos más complejos.

Hacer frente a los prejuicios en la práctica

Optimizar la equidad en los modelos suele estar reñido con optimizar la calidad de los mismos. Por lo tanto, conocer los sesgos y definir la equidad es una tarea esencial en cualquier proyecto, ya que un modelo puede ser justo según una definición e injusto según otra. Sólo entonces podrá comprobarse si el proceso de toma de decisiones es tendencioso e imparcial.

El sesgo en las decisiones de IA puede detectarse y corregirse en los datos analizando el conjunto de datos. Esto incluye el análisis de valores atípicos, un cambio en las dependencias de los datos a lo largo del tiempo o simplemente la representación gráfica de variables divididas en grupos adecuados, por ejemplo, la distribución de la variable objetivo para todos los géneros.

Para construir un modelo justo, no basta con omitir la información confidencial como variables de entrada, ya que otras variables de influencia pueden depender estocásticamente de la información confidencial.

Un conjunto de datos de referencia permite seguir analizando la equidad. El conjunto de datos de referencia ideal contiene toda la información relevante para el modelo y la información confidencial con la frecuencia esperada para el resultado. Al aplicar el modelo a este conjunto de datos, pueden hacerse visibles los sesgos ocultos, por ejemplo, la discriminación de las minorías, aunque el origen étnico no forme parte de las entradas del modelo.

Existen bibliotecas especializadas (p. ej: AIF360, fairlearn), que se desarrollaron para calcular medidas de imparcialidad y detectar así sesgos en los modelos. Suponen que el conjunto de datos utilizado contiene la información confidencial. También proporcionan métodos para reducir el sesgo en las decisiones de la IA.

El análisis de errores de los resultados del modelo permite encontrar muestras de datos en las que el modelo tiene dificultades. Esto suele ayudar a encontrar grupos infrarrepresentados, por ejemplo, observando muestras en las que el modelo ha elegido con mucha determinación la clase equivocada.

Es importante supervisar el modelo a lo largo de su ciclo de vida y permitir que los usuarios comprendan la lógica que subyace a las decisiones del modelo. Esto funciona bien para modelos más complejos, utilizando métodos de IA explicable como los valores SHAP, y ayuda a descubrir sesgos ocultos

Un ejemplo real: Discriminación por origen migratorio mediante el uso del tiempo de desplazamiento en las decisiones de contratación (Fuente: hbr.org).

Si los datos de entrenamiento no se ajustan suficientemente a los datos reales, pueden recogerse datos adicionales e integrarlos en el modelo. Si esto no es posible, puede recurrirse a un muestreo ascendente, a un aumento de los datos o a un muestreo descendente para lograr una mejor representación.

No todos los sesgos son malos: introduciendo deliberadamente una contramedida, se puede contrarrestar un sesgo conocido. Por ejemplo, una minoría infrarrepresentada podría recibir puntos extra en la selección automática de candidatos si se quiere alcanzar una cuota mínima de representación.

Conclusión

El análisis del sesgo , especialmente la discriminación, no sólo es ética y legalmente necesario cuando las decisiones automatizadas afectan a las personas. En la práctica, también suele arrojar información adicional que mejora la calidad predictiva, la transparencia y la calidad de la supervisión y, por tanto, todo el proceso de toma de decisiones, aunque el rendimiento y la imparcialidad sean objetivos teóricamente contradictorios. Y por último, también ayuda en los tribunales si las cosas se ponen serias.