Un estudio empírico de gran relevancia para las aplicaciones médicas de la IA

Encuentre aquí todos los datos de este estudio.

Resumen

Ya sean radiografías de pulmones o imágenes del globo ocular, los conjuntos de datos médicos nunca son perfectos. Un pequeño número de diagnósticos erróneos suele ir acompañado de un número mucho mayor de etiquetas o anotaciones incorrectas que pueden atribuirse a una documentación incorrecta de las imágenes. El uso de estos conjuntos de datos erróneos para el entrenamiento de redes neuronales convolucionales afecta a la calidad de clasificación del modelo. Para investigar y cuantificar este efecto, creamos artificialmente un conjunto de datos con un 100% de etiquetas correctas e inyectamos varios porcentajes de etiquetas corruptas en el conjunto de entrenamiento. Por último, medimos el rendimiento del modelo en la clasificación de imágenes. Los resultados muestran que, en general, los modelos más complejos obtienen mejores resultados. Sin embargo, la disminución del rendimiento del modelo con el aumento de etiquetas corruptas en los datos de entrenamiento no depende únicamente de la complejidad del modelo. En varios casos, el rendimiento del modelo se estabiliza y a veces incluso aumenta ligeramente con niveles muy bajos de etiquetas corruptas. La fuerte correlación entre el rendimiento del modelo y la proporción de etiquetas corruptas puede servir de base para evaluar la proporción de etiquetas corruptas desconocidas en los conjuntos de datos existentes.

Introducción

La visión por ordenador ya tiene un impacto tangible en muchas industrias. Especialmente en la atención sanitaria, el potencial para el uso de la Inteligencia Artificial (IA) es alto. Hace tiempo que los algoritmos y las redes neuronales convolucionales (CNN) son capaces de detectar la neumonía (Patel et al. 2019; Rajpurkar et al. 2017; Stephen et al. 2019; Varshni et al. 2019), el cáncer de piel (Esteva et al. 2017), la malaria (Yang et al. 2017) y muchas otras enfermedades con una precisión mayor o al menos igual que la de los mejores especialistas en el campo respectivo. En la figura 1 se muestran ejemplos de imágenes médicas utilizadas para entrenar CNN de clasificación de enfermedades.

Sin embargo, estos modelos están sujetos a limitaciones porque los médicos suelen discrepar notablemente en el diagnóstico de las imágenes médicas. Por ejemplo, en la evaluación de la retinopatía diabética. Los médicos observaron imágenes del globo ocular y clasificaron la deficiencia visual en una escala de 1 a 5 como -en este orden- visión completa, ligeramente deficiente, deficiente, visión significativamente deficiente y ciego. Las valoraciones de los expertos médicos suelen diferir en varias escalas (Griffith et al. 1993; McKenna et al. 2018; Sussman et al. 1982). Además, los hallazgos médicos se documentan ocasionalmente de forma incorrecta, o las etiquetas (anotaciones indistintamente) se extraen de los hallazgos utilizando modelos NLP. Esto añade más fuentes de error (Olatunji et al. 2019), además de posibles diagnósticos incorrectos, por ejemplo en radiografías de pulmón (Brady et al. 2012; Busby et al. 2018; Cohen et al. 2020; Oakden-Rayner 2019). La Figura 2 muestra ejemplos de exploraciones de pacientes con complejo de esclerosis tuberosa (CET) con anotaciones detectadas y omitidas.

Se dice que los humanos aprenden de sus errores, lo cual sólo es cierto si se reconocen los errores. Esto sólo puede aplicarse marginalmente a la Inteligencia Artificial. Estos algoritmos dependen de que los datos de entrada (a menudo imágenes en el campo médico) estén correctamente etiquetados, es decir, que reciban los diagnósticos correctos, para producir el mejor rendimiento en datos no vistos. El efecto exacto de las etiquetas incorrectas en un conjunto de datos de imágenes utilizado para entrenar algoritmos de aprendizaje automático es difícil de evaluar, pero su impacto negativo general en el rendimiento del modelo se ha demostrado y documentado en varios entornos (Moosavi-Dezfooli et al. 2017; Pengfei Chen et al. 2019; Quinlan 1986; Speth y Hand. Emily M. 2019; Yu et al. 2018; Wang et al. 2018; Zhu y Wu 2004). En entornos como la atención sanitaria, cada punto de rendimiento ganado es valioso y potencialmente salvador de vidas.

En este trabajo, nos centramos en estudiar el deterioro de la clasificación de imágenes en el rendimiento del modelo debido a etiquetas corruptas (es decir, la atribución errónea de una etiqueta a una observación) en el conjunto de datos de entrenamiento. Generamos artificialmente "enfermedades" en las imágenes con ayuda del aumento de la visión por ordenador y, en consecuencia, las etiquetamos 100% correctamente sin discrepancias médicas. A continuación, introducimos y aumentamos constantemente la proporción de etiquetas corruptas y medimos el efecto de la proporción de etiquetas corruptas (CLR) en el rendimiento del modelo. De este modo, esperamos extraer y generalizar la conclusión de dicho efecto para una posible inferencia.

Fondo

Entrenamiento de etiquetas ruidosas

Las redes neuronales de aprendizaje profundo en general, así como las CNN en particular, suelen entrenarse en grandes conjuntos de datos con etiquetas anotadas. Este proceso se denomina aprendizaje supervisado. La fuente de errores en tales conjuntos de datos, que son utilizados por el algoritmo para aprender ciertas relaciones y patrones dentro de los datos, puede ser múltiple y difícil de eludir en muchos entornos empresariales. A menudo, los datos etiquetados correctamente son costosos o generalmente difíciles de obtener (Guan et al. 2018; Pechenizkiy et al. 2006) o el etiquetado, incluso por expertos, aún puede dar como resultado datos ruidosos (Smyth 1996).

Ya se han explorado otros enfoques de aprendizaje profundo para superar estos problemas, como el aprendizaje con etiquetas ruidosas (Joulin et al. 2016; Natarajan et al. 2013; Song et al. 2022; Veit et al. 2017), el aprendizaje autosupervisado (Pinto et al. 2016; Wang y Gupta 2015) o el aprendizaje no supervisado (Krizhevsky 2009; Le 2013 - 2013). Estos enfoques y sus rendimientos medidos demuestran que los modelos de aprendizaje profundo pueden tolerar una pequeña cantidad de ruido en el conjunto de entrenamiento.

Numerosos estudios han analizado el impacto de los datos ruidosos en los métodos de aprendizaje profundo. En general, estos estudios pueden clasificarse en dos grupos (Rolnick et al. 2017). En primer lugar, los enfoques que se centran en modelos robustos al ruido para aprender utilizando anotaciones ruidosas (Beigman y Klebanov 2009; Joulin et al. 2016; Krause et al. 2015; Manwani y Sastry 2011; Misra et al. 2015; Natarajan et al. 2013; Reed et al. 2014; Rolnick et al. 2017; Liu et al. 2020). Algunos de ellos se centran explícitamente en la clasificación de imágenes y las CNN (Ali et al. 2017; Xiao et al. 2015). Este primer grupo es comparativamente más grande, ya que el enfoque robusto al ruido tiene más potencial de escalado, así como puede conducir de manera óptima a una implementación de "entrenar y olvidar" tales modelos debido a su robustez. En segundo lugar, los enfoques que se centran en identificar y eliminar o corregir etiquetas de datos corruptas (Aha et al. 1991; Brodley y Friedl 1999; Skalak 1994). Karimi y sus colegas ofrecen una descripción detallada de varios métodos de ambos grupos (Karimi et al. 2020).

Efecto de etiquetas corrompidas

Nuestro estudio difiere de los enfoques anteriores, ya que el experimento se configura para tener un control total sobre el proceso de etiquetado y, por tanto, sobre las propias etiquetas de los datos. A continuación, modificamos el CLR en los datos de entrenamiento y, en consecuencia, medimos los cambios del rendimiento del modelo. Además, en comparación con otros estudios similares (Veit et al. 2016; Sukhbaatar et al. 2014), la arquitectura del modelo utilizada para entrenar en los datos limpios y luego parcialmente corruptos no se modifica. Del mismo modo, esperamos que centrarse en el cambio de rendimiento, y no en el nivel de rendimiento en sí, proporcione información valiosa.

Los más cercanos son dos estudios que experimentan con el cambio incremental de la proporción de etiquetas corruptas y su efecto en el rendimiento del modelo (van Horn et al. 2015; Zhang et al. 2016). El primero de ellos concluye que el aumento del error de clasificación debido a la corrupción de etiquetas en los datos de entrenamiento es sorprendentemente bajo, independientemente del número de clases o del algoritmo de visión por ordenador. Llegan a la conclusión de que para CLRs bajos (≤ 15%) el aumento del error de clasificación es menor que la proporción en la que aumenta el CLR. Cuando se introduce corrupción no solo en los datos de entrenamiento, sino también en el conjunto de datos de prueba, se observa una caída significativa en el rendimiento del modelo (van Horn et al. 2015). Como el rendimiento del modelo se mide en función del CLR con intervalos grandes (5%, 15%, 50%) ampliaremos este estudio utilizando intervalos más pequeños y centrándonos en el intervalo 0 % ≤ CLR ≤ 10%. El segundo estudio corrompe de forma independiente las etiquetas de los trenes en función de una probabilidad determinada con un incremento escalonado de 10%ejecutando el experimento con dos arquitecturas de CNN diferentes en dos conjuntos de datos distintos (Zhang et al. 2016). Llegan a la conclusión de que el ruido de etiqueta ralentiza el tiempo de convergencia del ajuste con un nivel creciente de ruido de etiqueta. Una vez más, elegimos un cambio más granular en CLR y evaluamos la magnitud del cambio en el rendimiento del modelo mientras se utiliza la misma arquitectura de modelo en el mismo conjunto de datos a través de las diferentes proporciones. De este modo, esperamos que sea una ampliación significativa de estos dos estudios.

Experimento

Aumento del conjunto de datos y etiquetado

El conjunto de datos de base utilizado son los conjuntos de datos unidos PascalVoc, públicos y de libre acceso, de 2007 y 2012, en los que se etiquetan y anotan originalmente determinados objetos, como personas, bicicletas, sillas, botellas o sofás. Utilizando estas imágenes como base, se reproducen artificialmente en ellas patrones típicos de determinadas patologías. El objetivo es que estos patrones sean creados de forma que resulten inequívocos en ciertos casos, y poco o nada reconocibles para el ojo humano en otros. Algunos de los resultados se muestran en las figuras 3a a 3c.

Los respectivos cambios de imagen se basan en dos pasos. En primer lugar, se elige una sección aleatoria de la imagen, ya sea un rectángulo o un polígono de cuatro lados. A continuación, dentro de la sección de imagen seleccionada, se cambian aleatoriamente los valores de los píxeles de la imagen, y las imágenes se etiquetan en función del tipo de cambio del valor de los píxeles. Los cambios consisten en cuatro clases principales y 14 subclases, como se indica en la tabla 1. Para la corrupción de etiquetas, la anotación de una imagen se cambia aleatoriamente a una de las clases principales o subclases no correctas, respectivamente.

Clase principal (con descripción)	Subclases
Distorsión Los valores de los píxeles de la región de interés cambian aleatoriamente dentro de un intervalo especificado.	- R: Sólo canal rojo - G: Sólo canal verde - B: Sólo canal azul - Todos: Todos los canales
Desenfoque Los valores de los píxeles de la región en cuestión se difuminan.	- Sin subclases
Blob Se añade un número aleatorio de puntos de tamaño aleatorio a la región en cuestión.	- R: Puntos rojos - G: Puntos verdes - B: Puntos azules - Todos: Puntos de color aleatorio
Color-X-Change En la región en cuestión, los canales de color se intercambian aleatoriamente.	- RBG: RGB (secuencia rojo-verde-azul) se convierte en RBG - BGR: RGB se convierte en BGR - PSG: RGB se convierte en GRB - BRG: RGB se convierte en BRG - BBR: RGB se convierte en GBR

En general, 22,077 Las imágenes están modificadas y etiquetadas. La distribución de las clases principales y subclases se muestra en la figura 4. La distribución de las clases principales es más o menos igual, con alrededor del 5,500 imágenes por clase. Para las subclases, se da un desequilibrio debido a Desenfoque-clase que no tiene subclases, lo que resulta en ~ 5,500 imágenes. Para todas las demás subclases, entre 1,100 y 1,400 las imágenes se modifican y se etiquetan. Dado que este estudio se centra en el cambio en el rendimiento del modelo y no en la optimización del rendimiento del modelo o el rendimiento de la predicción de una clase determinada, no se tratará con más detalle el impacto del desequilibrio de clases en el rendimiento general. Todas las imágenes, incluidos los polígonos creados, se redimensionan tras la alteración a una anchura y altura de píxeles de 244 antes de cargarse en las redes neuronales, lo que da como resultado una forma de entrada de (244, 244, 3) .

Arquitectura del modelo base y preentrenado

En la configuración del experimento se utilizan dos modelos. Una CNN básica (bCNN) de desarrollo propio con 7,2 millones de euros así como una ResNet50 preentrenada (resnet) con 27,8 millones de euros parámetros. La bCNN consta de nueve capas convolucionales, cada una de las cuales está encapsulada por capas de normalización por lotes, agrupación y abandono (tarifa = 0.1) ). Un cuadrático tamaño_del_núcleo = 3 y como función de activación LeakyReLu con un α = 0,3. Tras el aplanamiento, se añaden dos capas densas ocultas, de nuevo acompañadas de normalización por lotes, capas de abandono (tarifa = 0,1 ) y el LeakyReLu función de activación (α = 0.3 ). Para la capa de salida, softmax se selecciona la función de activación. El modelo ResNet (He et al. 2015) se amplía con una única capa densa oculta (relu función de activación) y una capa de salida que utiliza la softmax función de activación. En GitHub se puede consultar una descripción detallada de la arquitectura del modelo.

Configuración de entrenamiento de modelos con CLR creciente

Las redes neuronales se entrenan para clasificar las imágenes a lo largo de múltiples iteraciones del experimento. En cada iteración, el CLR se incrementa gradualmente dentro de los datos de entrenamiento y el rendimiento del modelo se mide utilizando un conjunto de prueba no corrompido. La división aleatoria de los datos de prueba de entrenamiento es 77.5% a 22.5%El resultado es 13,700 imágenes para formación y 4,952 para las pruebas. Durante la fase de entrenamiento del modelo, los datos de entrenamiento se dividen aleatoriamente utilizando 20% (3,425 imágenes) de las imágenes de entrenamiento para la validación. El entrenamiento de un único modelo consiste en 20 epochs y tamaño de lote de 32. Cada iteración del experimento incluye el entrenamiento de ambos modelos en una de las tareas de clasificación (ya sean cuatro clases principales o 14 subclases) para diez CLR diferentes con 0% ≤ CLR ≤ 10% .

Dentro de cada ejecución, el CLR más alto incluye las etiquetas ya corrompidas del ratio anterior, es decir, 10% CLR incluye todas las etiquetas corruptas del 7.5% CLR que incluye todas las etiquetas corruptas del 5% CLR, etc. 20 iteraciones para cada tarea de clasificación, lo que da como resultado 800 modelos entrenados (véase el cuadro 2) y >400 horas de cálculo. El rendimiento del modelo de clasificación se midió mediante la exactitud, la precisión media ponderada, la recuperación media ponderada y la puntuación f1 media ponderada.

Parámetros del experimento	Estados de los parámetros del experimento	Nº de Estados
Modelo	bCNN, ResNet50	2
Tarea de clasificación	Clasificación de la clase principal, clasificación de subclases	2
Ratio de etiquetas corruptas	0.0%, 0.25%, 0.5%, 1.0%, 2.0%, 3.0%, 4.0%, 5.0%, 7.5%, 10.0%	10
Iteraciones de formación	20	20
		= 800 modelos

Resultados

Disminución del rendimiento del modelo basado en CLR

En general, el rendimiento del modelo disminuyó continuamente con el aumento del CLR. La precisión media de las pruebas fue de 0,842 (std = 0,016) para la bCNN con 14 clases y 0% CLR, mientras que la precisión media es de 0,878 (std = 0,064) para la misma tarea de clasificación y configuración CLR. La precisión media disminuye a 0,68 (std = 0,036 - bCNN, 10% CLR, predicción de 14 clases) y 0,76 (std = 0,04 - ResNet, 10% CLR, 14 predicción de clase).

* Número de resultados de modelos eliminados utilizando un umbral de puntuación z >3,0 calculado por métrica - de 800 resultados de modelos: exactitud de 8 modelos eliminados, precisión media ponderada de 2 modelos eliminados, recuperación media ponderada de 8 modelos eliminados, puntuación F1 media ponderada de 6 modelos eliminados. puntuación F1 de 6 modelos eliminados

Para la predicción de cuatro clases, la precisión media de la prueba bCNN con 0% CLR es 0,901 (std = 0.018). Para la misma configuración (0% CLR, predicción de cuatro clases), la ResNet alcanza una precisión media de 0,937 (std = 0.028 ). La precisión media disminuye a 0,789 (std = 0,072 - bCNN, 10% CLR, predicción de 4 clases) y 0,831 (std = 0.04  - ResNet, 10% CLR, predicción de 4 clases) respectivamente. La figura 5a ofrece una visión general del rendimiento de los distintos modelos y tareas de clasificación en función de las métricas de los datos de prueba.

No sólo una disminución constante de más de 10 puntos porcentuales para cada configuración en la precisión media, sino también un aumento de la varianza del rendimiento del modelo a medida que aumenta el CLR. Este comportamiento se mantiene para la precisión media ponderada, la recuperación media ponderada y la puntuación F1 media ponderada en todas las configuraciones. En el apéndice A se ofrece un resumen detallado.

Anomalías de rendimiento del modelo CLR de bajo nivel

Para la red neuronal ResNet entrenada con 14 la desviación estándar de la precisión, la recuperación media ponderada y la puntuación F1 media ponderada son sorprendentemente altas para un CLR de 0.0%, 0.25%, 0.5% y 1.0% en comparación con las otras configuraciones (figura 5a, para más detalles, véase el apéndice A). Al mismo tiempo, se puede reconocer una característica inusual en el cambio de rendimiento medio del CLR para la ResNet de 14 clases: un pico peculiar en las métricas de rendimiento de la prueba cuando sólo se corrompe deliberadamente un pequeño número de etiquetas, es decir, en CLR = 0,5%. Incluso cuando se eliminan los valores atípicos (véase la figura 5b), este patrón persiste.

La figura 6 muestra el delta de precisión media de cada configuración de entrenamiento en comparación con su línea de base media (modelo entrenado con 0% CLR para la misma tarea de clasificación). Para ambos modelos, bCNN y ResNet, puede observarse un nuevo estancamiento visual para los mismos CLR de nivel bajo (0,0% ≤ CLR ≤ 1,0% ) mencionado anteriormente cuando se entrenó para clasificar cuatro etiquetas, así como la ResNet entrenada en 14 clases.

Relación entre el rendimiento de la clasificación y el CLR

Se ejecutó una regresión lineal simple para sondear la predicción del CLR basada en una precisión dada, utilizando los resultados de la clasificación como entrada. La tabla 3 confirma una correlación negativa de moderada a fuerte entre la precisión de la prueba de clasificación (regresor) y el CLR (regresor) para todas las configuraciones del experimento con -0,75 ≤ 0,1 %. r ≤ -0,5, excepto para el modelo bCNN entrenado en 14 clases con una relación negativa muy fuerte de r < -0.9 .

Modelo	Tarea de clasificación	Pearson r	p-valor	Coeficiente	RMSE tren	Prueba RMSE
bCNN	4 clases	-0.64758	< 0.00001	-2.15962	2.39808	2.77765
ResNet	4 clases	-0.72335	< 0.00001	-2.32666	2.16245	2.31352
bCNN	14 clases	-0.90859	< 0.00001	-2.86965	1.37372	1.17014
ResNet	14 clases	-0.54147	< 0.00001	-1.51071	2.92637	2.16982

Los coeficientes, que pueden interpretarse como valores más altos que indican modelos más robustos y valores más bajos que indican modelos más susceptibles a las etiquetas falsas, muestran el mayor efecto de CLR en la precisión para la bCNN con 14 clases. Aunque los modelos utilizados para elegir y clasificar un menor número de clases obtienen un mejor rendimiento total de precisión, esta observación no se traduce automáticamente en una mayor robustez de los modelos con respecto a las etiquetas corruptas. Su rendimiento disminuye significativamente más rápido que el de la ResNet entrenada para reconocer 14 clases.

Debate

Con una mayor proporción de etiquetas corruptas en los datos de entrenamiento, el rendimiento del modelo se vuelve menos fiable. El rendimiento disminuye más rápidamente que en estudios similares anteriores (van Horn et al., 2015), lo que puede deberse a la complejidad comparativamente baja de la arquitectura del modelo utilizado en el presente estudio, medida por los parámetros que pueden entrenarse. Además, cuando el modelo debe clasificar menos tipos de clases, el rendimiento es mejor en los distintos niveles de CLR. Esto se debe probablemente a que las diferencias en las características, y por tanto en los patrones subyacentes utilizados para la diferenciación de clases, son mayores entre las clases principales que entre las subclases, especialmente entre las subclases que pertenecen a la misma clase principal. Es plausible que, a medida que aumenta la similitud (menos diferencias en los patrones subyacentes), disminuya el poder predictivo del modelo, independientemente del número de etiquetas falsificadas.

Los modelos con un mayor número de parámetros entrenables obtienen mejores resultados que los que tienen menos, en todos los niveles del CLR examinados. El tamaño de una red determina cuánto puede recordar en términos de patrones observados durante el entrenamiento. En este caso, un mayor número de parámetros entrenables conduce a un mejor reconocimiento de los patrones dentro de las imágenes, así como de la relación entre estos patrones y sus respectivas clases. Estos resultados respaldan investigaciones anteriores (Moosavi-Dezfooli et al. 2017; Pengfei Chen et al. 2019; Speth y Hand. Emily M. 2019; Wang et al. 2018; Yu et al. 2018; van Horn et al. 2015; Zhang et al. 2016). Dado que se implementó un modelo con parámetros preentrenados, se incrementó aún más el potencial para afinar el reconocimiento de patrones de relaciones ya aprendidas. Esto coincide con estudios anteriores (Chandeep Sharma 2022; Hassan et al. 2021; Hussain et al. 2019; Wang et al. 2019).

Una implicación del pico de rendimiento observado en valores bajos de CLR para algunas de las configuraciones experimentales estudiadas es que el modelo es más capaz de discriminar entre patrones frecuentes y menos frecuentes de imágenes correctamente etiquetadas de la misma clase cuando el número de imágenes mal etiquetadas es extremadamente bajo. De este modo, se incrementa la robustez para la clasificación de datos no vistos al centrarse en las diferencias de clase más importantes. Como no todas las configuraciones muestran este comportamiento, no se puede concluir con certeza esta implicación.

Al igual que la anomalía descrita anteriormente, la meseta en el rendimiento de la clasificación al mismo nivel bajo de CLR permite cierta interpretación. La inclusión de etiquetas falsas no disminuye inmediatamente el reconocimiento de patrones de los modelos, sino que apoya potencialmente la identificación de relaciones entre la imagen y las clases respectivas mediante la estimulación de patrones y el énfasis en las diferencias de clase. Sólo el modelo con menos parámetros entrenables por clases no muestra el comportamiento descrito y disminuye de forma constante. Basándose en estas observaciones, se podría llegar a la conclusión de que inyectar un número muy bajo de etiquetas corruptas en los datos de entrenamiento podría aumentar el rendimiento del modelo. Los resultados sugieren que esto sólo es factible si el modelo es lo suficientemente complejo en términos de proporción de parámetros entrenables por clase.

A partir de los resultados de la regresión, se puede hacer una estimación inicial sobre las etiquetas falsificadas existentes en un conjunto de datos, aunque se desconozca el CLR. Por ejemplo, los modelos entrenados en un conjunto de datos con un CLR incierto pueden volver a entrenarse insertando intencionadamente diferentes proporciones de etiquetas falsificadas. A continuación, se pueden hacer inferencias sobre los datos y su posible proporción de etiquetas falsificadas utilizadas en el modelo original. La fuerte correlación entre la precisión y el CLR podría servir potencialmente como indicador para predecir el número de etiquetas falsificadas y, por tanto, representa un resultado interesante para futuras investigaciones.

Conclusión

Este estudio se centra en el efecto de las etiquetas corruptas en los datos de entrenamiento de los modelos de clasificación de imágenes. En general, los modelos más complejos obtienen mejores resultados con distintos porcentajes de etiquetas corruptas en los datos de entrenamiento y en distintas tareas de clasificación que los modelos menos complejos. Al mismo tiempo, los resultados sugieren que la robustez no viene automáticamente acompañada de una mayor complejidad de la arquitectura del modelo, ya que la disminución del rendimiento del modelo no parece depender únicamente de la complejidad del modelo. Se observa un resultado sorprendente en una de las cuatro configuraciones de entrenamiento, lo que abre nuevos interrogantes. Los próximos estudios pueden basarse en los resultados actuales y centrarse en el estancamiento del rendimiento y el posible aumento a niveles muy bajos de las proporciones de etiquetas corruptas, potencialmente como una fuente para mejorar el rendimiento general del modelo.

Los datos demuestran que es posible utilizar la estrecha relación entre el rendimiento del modelo y la proporción de etiquetas corruptas para inferir CLR desconocidos en conjuntos de datos existentes insertando deliberadamente etiquetas corruptas y midiendo el cambio en el rendimiento. Se recomienda seguir validando esta hipótesis aumentando el número de arquitecturas de modelo medidas o probando configuraciones similares con diferentes conjuntos de datos.

---

Encuentre aquí todos los datos de este estudio.

Referencias

Apéndice A - Métricas de clasificación

Modelo	Clases	Relación (%)	Precisión - media	Puntuación F1 media ponderada - media	Precisión media ponderada - media	Recuperación media ponderada - media	Precisión - std	Puntuación f1 media ponderada - std	Precisión media ponderada - std	Recuperación media ponderada - std
bCNN	14	0	0.841585	0.841569	0.856274	0.841585	0.015765	0.016428	0.011858	0.015765
bCNN	14	0.25	0.834243	0.833636	0.849078	0.834243	0.018119	0.016862	0.010445	0.018119
bCNN	14	0.5	0.833151	0.83232	0.851727	0.833151	0.023118	0.024443	0.017886	0.023118
bCNN	14	1	0.826751	0.824182	0.840438	0.826751	0.018587	0.020629	0.016899	0.018587
bCNN	14	2	0.80913	0.806645	0.826534	0.80913	0.020547	0.022943	0.018127	0.020547
bCNN	14	3	0.802899	0.799414	0.823501	0.802899	0.014477	0.012963	0.009651	0.014477
bCNN	14	4	0.774605	0.770601	0.801667	0.774605	0.023745	0.026735	0.017696	0.023745
bCNN	14	5	0.771367	0.77033	0.799715	0.771367	0.020306	0.018644	0.012359	0.020306
bCNN	14	7.5	0.73366	0.729435	0.765726	0.73366	0.026668	0.023696	0.015436	0.026668
bCNN	14	10	0.680102	0.678463	0.738586	0.680102	0.035719	0.03411	0.029199	0.035719
bCNN	4	0	0.90064	0.90043	0.909698	0.90064	0.016816	0.017951	0.011357	0.016816
bCNN	4	0.25	0.883076	0.881632	0.895888	0.883076	0.030711	0.033535	0.024019	0.030711
bCNN	4	0.5	0.885072	0.885436	0.896021	0.885072	0.034272	0.034266	0.02338	0.034272
bCNN	4	1	0.888554	0.88929	0.898819	0.888554	0.026146	0.024604	0.016208	0.026146
bCNN	4	2	0.874172	0.873042	0.888647	0.874172	0.035609	0.03735	0.024418	0.035609
bCNN	4	3	0.877805	0.875302	0.887272	0.877805	0.025013	0.028107	0.018683	0.025013
bCNN	4	4	0.85209	0.849806	0.867463	0.85209	0.032318	0.034461	0.022245	0.032318
bCNN	4	5	0.83125	0.828942	0.853832	0.83125	0.051635	0.055876	0.031775	0.051635
bCNN	4	7.5	0.809846	0.806584	0.835089	0.809846	0.057421	0.062427	0.027209	0.057421
bCNN	4	10	0.788874	0.785768	0.828895	0.788874	0.071561	0.075434	0.034534	0.071561
ResNet	14	0	0.877937	0.876813	0.894809	0.877937	0.063885	0.065784	0.044438	0.063885
ResNet	14	0.25	0.84503	0.846851	0.881667	0.84503	0.092582	0.08707	0.044718	0.092582
ResNet	14	0.5	0.890757	0.890049	0.903257	0.890757	0.035435	0.03872	0.024877	0.035435
ResNet	14	1	0.846404	0.842625	0.877276	0.846404	0.117977	0.133892	0.046202	0.117977
ResNet	14	2	0.864401	0.865366	0.882305	0.864401	0.028041	0.025746	0.017496	0.028041
ResNet	14	3	0.844635	0.845458	0.86419	0.844635	0.034156	0.034433	0.023673	0.034156
ResNet	14	4	0.826845	0.82875	0.85409	0.826845	0.024981	0.025226	0.019944	0.024981
ResNet	14	5	0.815136	0.816168	0.839149	0.815136	0.022655	0.021114	0.017676	0.022655
ResNet	14	7.5	0.77564	0.7764	0.806798	0.77564	0.03182	0.030592	0.017621	0.03182
ResNet	14	10	0.759902	0.757283	0.785185	0.759902	0.04012	0.039818	0.030053	0.04012
ResNet	4	0	0.937293	0.937203	0.942557	0.937293	0.028026	0.028343	0.021526	0.028026
ResNet	4	0.25	0.934601	0.934833	0.940729	0.934601	0.028955	0.02855	0.01846	0.028955
ResNet	4	0.5	0.920633	0.920504	0.930877	0.920633	0.029071	0.029474	0.019921	0.029071
ResNet	4	1	0.916999	0.917056	0.927508	0.916999	0.041602	0.041808	0.028402	0.041602
ResNet	4	2	0.92148	0.921242	0.926384	0.92148	0.02539	0.026496	0.021056	0.02539
ResNet	4	3	0.915644	0.915653	0.919914	0.915644	0.024833	0.02517	0.021372	0.024833
ResNet	4	4	0.883151	0.88214	0.893619	0.883151	0.032576	0.035687	0.023465	0.032576
ResNet	4	5	0.87244	0.871402	0.88391	0.87244	0.041492	0.043127	0.033444	0.041492
ResNet	4	7.5	0.846141	0.844722	0.858183	0.846141	0.034155	0.035994	0.026663	0.034155
ResNet	4	10	0.830873	0.830042	0.842399	0.830873	0.039727	0.040315	0.039217	0.039727