Cómo las explicaciones textuales ayudan a generar confianza en los sistemas autónomos

Conducir" un coche que se dirige solo o compartir la carretera con vehículos autónomos: lo que parece un sueño hecho realidad para los fanáticos y visionarios de la tecnología, parece una auténtica pesadilla a ojos de algunos usuarios conservadores o escépticos convencidos de la tecnología. El progreso tecnológico está traspasando los límites de nuestra vida habitual y cambiando nuestra realidad más rápido que nunca. Por eso, la aceptación de las nuevas tecnologías se está convirtiendo en un reto cada vez mayor.

Sistemas autónomos en aplicaciones críticas para la seguridad

Las preocupaciones sobre los sistemas autónomos, especialmente en una aplicación de la IA tan crítica para la seguridad como el control de vehículos, deben tratarse con sumo cuidado y tomarse en serio. Se necesita algún tipo de "consulta al cliente" para impulsar estas nuevas tecnologías. Esto es especialmente cierto en el caso de las tecnologías que afectan directamente a ámbitos de la vida en los que la seguridad y la protección son fundamentales. Por tanto, es esencial contemplar los sistemas de IA desde la perspectiva del usuario. Para los científicos, la naturaleza de caja negra de las aplicaciones de IA puede ser una cuestión científica de gran interés, pero para los usuarios, el público y los responsables políticos es el factor decisivo. Si se explica y comprende, puede conducir a su aceptación y adopción. Si se mantiene en el misterio y se malinterpreta, el escepticismo y la desconfianza permanecen y siguen las prohibiciones.

Niveles de automatización en los sistemas de control de vehículos

Los asistentes de conducción se dividen en cinco niveles de autonomía en función de su grado de automatización. Estos niveles se describen en el Norma SAE J3016 definidos por SAE International (Asociación de Ingenieros de Automoción).

Ceder el control a un sistema automatizado -por supuestamente seguro que sea- es todo un reto. Sin embargo, es sorprendente que los sistemas no totalmente automatizados, como los asistentes al conductor o el aparcamiento automático, no causen preocupación a la mayoría de la gente. Los sistemas totalmente automatizados, sin embargo, siguen suscitando desconfianza. 

El problema: la desconfianza de los usuarios y otros usuarios de la carretera

La confianza y la aceptación de los vehículos autónomos van de la mano. Sin una amplia aceptación por parte de los usuarios, el mercado de los coches autónomos será muy limitado. Varias encuestas respaldan esta afirmación. Según un estudio reciente, alrededor del 53 % del público se siente inseguro compartiendo la carretera con coches autónomos y, por tanto, no quiere utilizar vehículos autónomos.

Además, no es sólo la desconfianza hacia los vehículos autónomos lo que plantea un problema, los usuarios humanos de la vía pública también suponen un riesgo interesante en la carretera: los experimentos demuestran que el comportamiento al volante cambia cuando un coche autoconducido se marca como tal en el tráfico: la gente tiende entonces a comportarse de forma más temeraria. Además, los peatones dependen mucho de las señales visuales del conductor, por ejemplo cuando quieren cruzar la calle. Esta comunicación no verbal se pierde en los vehículos autónomos, por lo que ya se está trabajando en soluciones más específicas que permitan la coordinación entre vehículos autónomos y peatones. Un buen ejemplo es el "coche sonriente" de Semcon, que literalmente sonríe a los peatones.

La solución: confianza entre personas y máquinas

Según Choi y Ji (2015), la confianza en un vehículo autónomo se basa en tres aspectos principales:

• En Transparencia del sistema abarca el grado en que el ser humano puede predecir y comprender el funcionamiento del vehículo.
• En competencia técnica del sistema incluye cómo perciben los humanos el rendimiento del vehículo.
• La posibilidad de Gestión de situacioneses decir, el conocimiento de la posibilidad de que el usuario pueda tomar el control cuando lo desee.

Más confianza gracias a mejores sistemas y comunicación con el usuario

Basándose en estos tres aspectos, se han propuesto varios factores clave para aumentar la confianza de la gente en los vehículos autónomos. La forma más fácil de ganar más confianza es mejorar el rendimiento del sistema. A pesar de que está estadísticamente demostrado que los conductores humanos causan más accidentes que los vehículos autónomos.
Otra forma es aumentar la transparencia del sistema. Facilitar información permite al usuario entender cómo funciona el sistema. Si las decisiones de un vehículo autónomo son comprensibles, esto tiene un impacto significativo y positivo en la confianza depositada en él. Esto es crucial para la aceptación y posterior adopción de los coches autónomos. Para fomentar aún más la confianza, las explicaciones deben darse antes de que el vehículo "actúe", no después.

Enfoques con explicaciones textuales y el "problema de la caja negra

Como ya se ha dicho, comprender el sistema y su funcionamiento puede contribuir a que las personas se sientan más seguras en torno a los vehículos autónomos. Sin embargo, la comprensibilidad para el usuario a través de las explicaciones textuales que proporciona el sistema está estrechamente ligada al reto que supone explicar los sistemas autónomos, la llamada "caja negra". Hacer transparente esta caja negra, es decir, explicar los procesos y patrones de toma de decisiones, no es sólo un reto para los consumidores, sino sobre todo para los ingenieros en el desarrollo y para la posterior regulación e implantación en el mercado.

Aprendizaje de descripciones de texto en vídeos

La mera descripción de escenas de tráfico con una explicación de posibles cursos de acción ya podría lograrse con los modelos existentes para descripciones de texto en vídeo, siendo la principal limitación que se requieren amplios datos anotados. Estos métodos podrían aumentar la aceptación de la tecnología de IA en general. Sin embargo, las decisiones de un sistema de control de vehículos entrenado por separado permanecerían en una caja negra.

Explicaciones post hoc de las decisiones del modelo

Algunos modelos existentes pueden proporcionar fundamentos para sus decisiones. En el modelo de control de vehículos, se utilizan mapas de atención o activación para determinar los objetos o regiones dentro de una imagen de vídeo que son relevantes para la salida de control. A partir de estas imágenes relevantes, se genera una leyenda apropiada. Estas explicaciones a posteriori pueden aumentar la confianza del usuario en el sistema y aplicarse como comentarios en directo sobre las acciones del vehículo durante la conducción.

Credibilidad frente a verosimilitud

Uno de los retos de estos modelos explicativos es distinguir qué tipo de explicación ofrece realmente el modelo. A veces, las explicaciones racionalizadoras de los resultados no reflejan el proceso real de toma de decisiones dentro del modelo. En cambio, las explicaciones que justifican el comportamiento del modelo se basan únicamente en las entradas.

La evaluación de las explicaciones también es un reto. La métrica automatizada y las evaluaciones humanas no son satisfactorias porque no pueden garantizar que la explicación se corresponda con el proceso de toma de decisiones del modelo. Las evaluaciones humanas tienen más en cuenta la verosimilitud de la explicación. Para evaluar la credibilidad en lugar de la verosimilitud, se introdujo la "simulabilidad ajustada a las fugas" (LAS). Se basa en la idea de que la explicación debe ayudar a predecir el resultado del modelo, sin revelar información directa sobre dicho resultado.

El problema de las explicaciones basadas en la verdad

Obtener registros etiquetados puede ser bastante difícil: Las explicaciones de la verdad sobre el terreno suelen ser justificaciones post-hoc generadas por un observador externo de la escena y no por el propio conductor que realizó la acción. Utilizar estas anotaciones para explicar el comportamiento de un modelo de aprendizaje automático es una extrapolación que debe hacerse con precaución. Sin embargo, en el contexto de la conducción, se suele suponer que los modelos se basan en los mismos indicios que los conductores humanos.

Uso de descripciones de texto para la supervisión

Otro enfoque consiste en utilizar explicaciones textuales para supervisar el control del vehículo. La idea es disponer de un conjunto de explicaciones para las acciones del vehículo y los propios comandos de acción. A continuación, estas declaraciones sólo se asocian a determinados objetos definidos como "desencadenantes de acciones" (por ejemplo, un semáforo en rojo). Esto significa que sólo se necesita un número determinado de declaraciones y que éstas pueden considerarse simplemente como un conjunto auxiliar de clases semánticas que se predicen al mismo tiempo que las acciones del vehículo. Esto elimina la ambigüedad de las explicaciones textuales y mejora el rendimiento de la predicción de acciones. Las explicaciones se convierten así en una fuente secundaria de control: Al obligar al clasificador a predecir la acción "conducir despacio" porque "el semáforo está en rojo", la configuración multitarea alerta al clasificador de la causalidad entre las dos acciones.

La comunicación es la clave

En general, la explicabilidad y la transparencia desempeñan un papel crucial en los sistemas autónomos. Por un lado, los desarrolladores e ingenieros se benefician enormemente de la explicabilidad del sistema. Es beneficiosa para la competencia técnica, la depuración y la mejora del modelo, ya que proporciona información técnica sobre las limitaciones y defectos actuales. Por otro lado, las consideraciones sociales y las perspectivas de responsabilidad de los coches autoconducidos son abordadas por los reguladores. Y lo que es más importante para el futuro del mercado de vehículos autónomos, la confianza de los usuarios finales y otros usuarios de la carretera depende de la transparencia de los sistemas automatizados. Considerar y abordar el aspecto de la comunicación con el usuario de aplicaciones y asistentes autónomos "inteligentes" puede ser la estrategia ganadora en el camino hacia la aceptación de la nueva tecnología.

Zablocki, É., Ben-Younes, H., Pérez, P. & Cord, M. (2021). Explicabilidad de los sistemas de conducción autónoma basados en visión profunda: revisión y retos https://arxiv.org/pdf/2101.05307.pdf

Edmonds, E. (2021). Los conductores deben saber si comparten la carretera con vehículos de pruebas de conducción autónoma https://newsroom.aaa.com/2021/05/drivers-should-know-if-they-are-sharing-the-road-with-self-driving-test-vehicles/

Gouy, M., Wiedemann, K., Stevens, A., Brunett, G. & Reed, N. (2014) Conducir junto a pelotones de vehículos automatizados: ¿Cómo influyen las distancias cortas en el control longitudinal de los conductores que no forman parte del pelotón? Investigación sobre el transporte Parte F: Psicología del tráfico y Beahviour, 19, 264-273 https://www.sciencedirect.com/science/article/abs/pii/S1369847814000345

Semcon. Coche autoconducido que te ve https://semcon.com/uk/smilingcar/

Kyu Choi, J., Gu Ji, Y. (2015). Investigating the Importance of Trust on Adopting an
Vehículo autónomo. Revista Internacional de Interacción Persona-Ordenador https://doi.org/10.1080/10447318.2015.1070549

Kim, J., Rohrbach, A., Darell, T., Canny, J. & Akata, Z. (2018). Explicaciones textuales para vehículos autoconducidos. https://arxiv.org/pdf/1807.11546.pdf

Hare, P., Zhang, S., Xie, H. & Bansal, M. (2020). Simulabilidad ajustada a las fugas: ¿pueden los modelos generar modelos no triviales?
¿Explicaciones de su comportamiento en lenguaje natural? https://arxiv.org/pdf/2010.04119.pdf

Xu, Y., Yang, X., Gong, L., Lin, H., Wu, T., Li, Y., Vasconcelos, N., (2020). Decisión explicable sobre acciones inducidas por objetos para vehículos autónomos https://arxiv.org/pdf/2003.09405.pdf