¿Qué es la entropía?
En teoría de la información, una entropía es una medida que indica un contenido medio de información de los mensajes de salida para una determinada fuente de mensajes. La comprensión teórica de la información del término entropía se remonta a Claude Shannon. En general, cuantos más caracteres se reciben de una fuente dada, más información se recoge. La entropía, según la intención original de Shannon, debía utilizarse como medida del ancho de banda necesario de un canal de transmisión. Sin embargo, generalizó los resultados e ideó un estado de entropía que se acepta generalmente como medida del contenido de la información. Si ésta es pequeña, entonces el texto informativo contiene muchas redundancias o incluso regularidades estadísticas.
Las principales ramas de la teoría de la información de Shannon incluyen la codificación de la información, la medida cuantitativa que se aplica a la redundancia de un texto, la compresión de datos y la criptografía. La teoría de la información es una teoría que pretende cuantificar y calificar el contenido informativo de un conjunto de datos.
¿Qué aspectos se plantean en informática?
Shannon comprendió la La entropía en informática como medida de la información y así pudo combinar la termodinámica con la teoría de la información. Esto dio lugar a nuevos aspectos y métodos:
- La entropía cruzada es una medida de la calidad del modelo. Calcula la entropía total entre las distribuciones. La entropía cruzada suele utilizarse en la Aprendizaje automático utilizada como función de pérdida. La entropía cruzada puede entenderse como una medida que procede del campo de la teoría de la información y se basa en los estados de entropía.
- La divergencia de Kullback-Leibler es una cierta medida de distancia entre dos modelos diferentes. La medida intrínseca de dificultad y calidad se aplica en el aprendizaje automático.
- El cambio de entropía (ganancia de información) se utiliza como criterio en la ingeniería de características.
- La minimización de la entropía cruzada se utiliza como método de optimización del modelo.
- Otro papel lo desempeña la entropía condicional, que aclara cuánta entropía queda en una variable aleatoria dado el conocimiento de otra variable aleatoria.
- La entropía conjunta hace afirmaciones sobre cuántos bits son necesarios para codificar correctamente ambas variables aleatorias.
- En última instancia, existe todo un álgebra de la entropía en la que se puede calcular hacia adelante y hacia atrás entre los estados de entropía marginal, condicional y conjunta.
¿Cómo se utiliza la entropía en el aprendizaje automático?
La entropía en el aprendizaje automático es la medida de impureza más utilizada en toda la informática. El estado de entropía es máximo cuando dos clases alcanzan 1,00 y estas clases se dan dentro de un superconjunto con idéntica frecuencia. Si una clase adquiere dominancia cuantitativa, la probabilidad de dicha clase aumenta igualmente y el estado de entropía disminuye. En el aprendizaje automático, la entropía nos indica lo difícil que es predecir un suceso.
