¿Qué es la retropropagación?
La retropropagación es una técnica muy utilizada en IA. Retropropagación y Retropropagación del error (retropropagación de errores) se utiliza para enseñar redes neuronales artificiales. Este método pertenece al grupo de métodos de aprendizaje supervisado y se aplica como generalización de la regla delta en redes multicapa. Siempre debe haber un profesor externo que conozca una salida deseada, es decir, el valor objetivo, en cada momento de la entrada. Esta retropropagación es un cierto caso especial de un método de gradiente general en una optimización basada en el error cuadrático medio.
El procedimiento ya fue propuesto por algunos autores en los años 70, pero luego cayó en el olvido durante una década hasta que varios autores lo redescubrieron. Hoy en día, la retropropagación es uno de los métodos más importantes para redes neuronales artificiales a enseñar. La retroalimentación de errores pertenece al grupo de métodos de aprendizaje supervisado. También se aplica como generalización de la regla delta a las redes multicapa. En la retropropagación, se pueden utilizar capas ocultas, que se entrenan de forma significativa. Para cada patrón de entrenamiento, debe conocerse la salida deseada.
¿Cómo funciona la minimización de errores?
La propagación de la cocción Algoritmo procede en las siguientes fases. En primer lugar, se crea el patrón de entrada, que se propaga hacia adelante a través de la red. A continuación, se comparan todas las salidas de la red con las salidas deseadas. Ahora, la diferencia de los valores se considera un error de la red. Este error puede propagarse de nuevo a través de la capa de salida a la capa de entrada. Por último, los pesos de las conexiones neuronales se modifican en función de la influencia sobre el error. De este modo, cuando se vuelve a aplicar una entrada, se puede garantizar una cierta aproximación a la salida deseada y esperada. Sólo hay que minimizar la función de error.
¿Qué hace la retropropagación?
En la retropropagación, los pesos deben ajustarse en función del error. Se requiere como entrada un error que sea lo más exacto posible. El error se calcula mediante la función de error (Función de pérdida) en la capa de salida. El MSE (error cuadrático medio) o la entropía cruzada (Entropía cruzada). Una retropropagación consta de dos pasos, a saber, el cálculo del error por coincidencia con los valores objetivo de la predicción en una capa de salida y por la retroalimentación del error a las neuronas individuales de las capas ocultas (Capa oculta) y del ajuste de los pesos frente al aumento del gradiente calculado de la función de pérdida.
¿Qué es la retropropagación en el tiempo?
La retropropagación en el tiempo (BPTT) es una técnica basada en gradientes para entrenar ciertos tipos de redes neuronales recurrentes (RNN). Puede utilizarse para entrenar redes Elman. El algoritmo ha sido derivado de forma independiente por varios investigadores. La retropropagación en el tiempo puede ampliar el grafo computacional de una RNN en un paso temporal cada vez para obtener dependencias entre las variables y los parámetros del modelo. Basándose en la regla de encadenamiento, la retropropagación se aplica para calcular y almacenar gradientes.
¿Cuál es el contexto biológico?
El procedimiento forma parte del aprendizaje automáticoque utiliza un mecanismo de aprendizaje basado en las matemáticas. Se utilizan redes neuronales artificiales, pero no se intenta modelar biológicamente los mecanismos de aprendizaje neuronal. Probablemente no se utilice la retropropagación en las neuronas biológicas, pero el método funciona matemáticamente con precisión. Por lo tanto, no está claro cómo puede llegar la información sobre los valores objetivo a la hendidura sináptica de la última capa neuronal correspondiente. El hecho es que las neuronas biológicas se comunican mediante cambios de estado binarios (los llamados picos) y no mediante valores continuos. Las neuronas biológicas son sensibles al tiempo y necesitan pasos perfectamente sincronizados y discretos en el tiempo.
