Las matemáticas del Machine Learning: el mecanismo de BackprogationFran Ramírez 25 junio, 2020 Ya hemos hablado anteriormente sobre Backpropagation, primera parte aquí y la segunda aquí. Este fue uno de los grandes avances que impulsaron el mundo de la Inteligencia Artificial y en concreto, las redes neuronales. Dicho algoritmo apareció por primera vez en 1974 por Werboz, el cual lo introdujo en su tesis doctoral, aunque bien es cierto que hasta el 86 no tuvo un mayor reconocimiento. Con la propagación hacia atrás se conseguía evitar el problema del o-exclusivo que tenía el Perceptrón. Es un algoritmo de aprendizaje supervisado que se utiliza mayormente para entrenar redes neuronales artificiales. Durante los años 80 este algoritmo fue mejorado para ser un sistema automático de entrenamiento de redes neuronales con capas ocultas. Básicamente el mecanismo es que una vez que se le aplica un patrón a la entrada de la red como estímulo, este se propaga desde la primera capa, hasta la última, hasta generar una salida, la cual se compara con la salida deseada. Una vez tenemos la comparación de ambas se calcula una señal de error para cada una de las salidas. A rasgos generales el sistema de entrenamiento consiste en dos fases, la primera sigue estos pasos: Introducción de pesos sinápticos (aleatorios).Introducción de datos de entrada (capa de entrada) elegidos al azar entre todos los datos de entrada.Esperar una salida generada por la red (propagación hacia delante)Comparar salidas. Figura 10. Ejemplo gráfico de Backpropagation. Fuente. La segunda fase una vez comparadas las salidas obtenidas con las deseadas/esperadas, se calcula su diferencia y sigue los siguientes pasos: El error (diferencia entre las salidas) se utiliza para ajustar los pesos sinápticos de cada capa de neuronas.El error se va propagando hacia atrás, hacia las capas anteriores, comienza por la capa de salida y va yendo hacia atrás, de ahí su nombre back-propagation, hacia la capa de neuronas anterior. Continua propagándose hacia atrás capa por capa, ajustando los diferentes pesos sinápticos hasta llegar a la última capa, o primera según se mire, la capa de entradas. ¿Cuáles son las grandes características que lo diferenciaban con otros algoritmos de la época? Se basa en una generalización de la Regla Delta (la cual es una variante del método de descenso por el gradiente).Estructura de niveles y conexiones estricta hacia atrás entre neuronas. El gran avance que supuso este algoritmo de aprendizaje es que dadas unas entradas y salidas, es capaz de autocorregirse, de adaptar los pesos de las neuronas de las capas intermedias y aprender/entender la relación que pueda existir entre el conjunto de entradas y salidas. Como hemos mencionado anteriormente el algoritmo backpropagation o propagación hacia atrás fue introducido por Werbos en su tesis doctoral de 1976, pero fueron David E. Rumelhart y James McClelland quienes en 1986 gracias a los avances computacionales de la época comenzaron a fomentarlo en su libro, donde además consiguieron promover el movimiento del «conexionismo». También mencionar el gran avance que supuso la creación del grupo PDP (Parallel Distributed Processing), gracias al cual resurgió buena parte del campo en redes neuronales desde la publicación de Minsky y Papert. Figura 11. Marvin Minsky (izquierda) y Seymourt Papert. Fuente. Por último nos gustaría mencionar y explicar más adelante, (quien sabe si en el siguiente artículo) otras grandes aportaciones de esta época: La neurona Hoopfiel y su función de activación.Mapas de KohonenMáquina de Boltzmann Con estas últimas aportaciones llegaríamos a los 90, donde el campo de las redes neuronales y la inteligencia artificial comenzaría su gran expansión y avance, un avance que crece exponencialmente hasta nuestros días gracias al poder computacional de los ordenadores. Las redes neuronales permiten hoy día, entre otras cosas: Investigación en campos como la medicina mediante el análisis de grandes datos.Inversión en mercados.Estudio y predicción de sucesos.Reconocimiento de patrones.Visión artificialEtc Hoy día, con el Machine Learning y el Deep Learning, las redes neuronales están máxima actualidad. De hecho, el número de investigaciones y nuevos papers científicos está en contínuo movimiento. Quizás una de las investigaciones relacionadas con las redes neuronales y el Deep Learning han sido las GANs o Generative Adversarial Networks. Esta nueva arquitectura ha revolucionado para siempre el mundo de la Inteligencia Artificial, ya que ha abierto un nuevo campo de exploración. Hasta ahora, sólo podíamos clasificar y predecir, pero gracias a las GANs podemos generar nuevo contenido. Temas tan de moda como los DeepFakes o incluso la generación de obras de arte imitando a artistas famosos son consecuencia de esta gran investigación desarrollada por Ian Goodfellow. Como vemos, esto no ha hecho más que empezar. Seguro que veremos más avances espectaculares en los próximos años o incluso meses. Estaremos atentos. No os perdáis el resto de esta serie de «Matemáticas y el Machine Learning«: Las Matemáticas del Machine Learning ¿Qué debo saber?Las Matemáticas del Machine Learning: explicando la Regresión Lineal (I)Las Matemáticas del Machine Learning: Ejemplos de Regresión Lineal (II) y Multilineal.Las Matemáticas del Machine Learning: Ejemplos de Regresión Lineal (III) y Multilineal. Contraste y Fiabilidad.Las Matemáticas del Machine Learning: Ejemplos Regresión Lineal (IV y último). Implementación en lenguaje RLas Matemáticas del Machine Learning: Redes Neuronales (Parte I)Las Matemáticas del Machine Learning: Redes Neuronales (Parte II) Escrito para LUCA por Fran Fenoll (@ffenoll16), Fran Ramírez (@cyberhadesblog y @cybercaronte) y Enrique Blanco (@eblanco_h) (ambos del equipo de Ideas Locas CDCO de Telefónica). Sesgos cognitivos en los datos (I): SupervivenciaInternet de las Cosas…arqueológicas
Javier Coronado Blazquez Big Data en investigación básica: de las partículas elementales a los agujeros negros El paradigma Big Data ha tenido una profunda penetración en todos los estratos de nuestra sociedad, cambiando la manera en la que interactuamos entre nosotros y se llevan a...
Marina Salmerón Uribes AI of Things en el deporte Hace unas semanas, Carolina Marín, la joven deportista española se convirtió, por sexta vez consecutiva en campeona europea de bádminton. Título que suma a su grandísimo palmarés tras ser...
Víctor Vallejo Carballo AI of Things (V): Recomendación y optimización de contenido publicitario en pantallas inteligentes Conoce los beneficios que tecnologías como las pantallas inteligentes y el Big Data ofrecen al sector de la publicidad exterior
Santiago Morante La Inteligencia Artificial en las películas de ciencia ficción: un patrón recurrente de fascinación y terror Así retrata Hollywood los avances en Inteligencia Artificial: descubre qué es el "patrón R.U.R" y por qué lo aplican muchas películas de ciencia ficción
Paloma Recuero de los Santos Cómo interpretar la matriz de confusión: ejemplo práctico La matriz de confusión es una herramienta muy útil para valorar cómo de bueno es un modelo clasificación basado en aprendizaje automático. En particular, sirve para mostrar de forma...
Paloma Recuero de los Santos Tipos de aprendizaje en Machine Learning: supervisado y no supervisado El machine Learning o aprendizaje automático consiste básicamente en automatizar, mediante distintos algoritmos, la identificación de patrones o tendencias que se “esconden” en los datos. Por ello, resulta muy...