LUCA Talk: Enseña a tu IA a jugar Breakout de Atari con OpenAI y Deep Learning

Ideas Locas, CDO de Telefónica    31 mayo, 2018

Escrito por Enrique Blanco (Investigador en CDO) y Fran Ramírez (Investigador de seguridad informática en Eleven Paths)
En el segundo webinar de nuestra serie de OpenAI Gym, Enseña a tu IA a jugar Breakout de Atari con OpenAI y Deep Learning, recogimos el testigo del primer LUCA Talk: Domina los videojuegos clásicos con OpenAI y Machine Learning e hicimos uso de los conceptos presentados en el post Deep Learning vs Atari: entrena tu IA para dominar videojuegos clásicos (Parte I).

En esta sesión presentamos el resultado de un entrenamiento de una Inteligencia Artificial (IA) que ha aprendido a desenvolverse en el entorno  Breakout (aka Arkanoid) de OpenAI Gym.

El núcleo de la arquitectura se ha generado haciendo uso de la librería TensorFlow. Por ello os animamos a visitar el post Deep Learning con Python: Introducción a TensorFlow (Parte I), el primero de una serie dirigida a familiarizarse con este framework para proyectos de Deep Learning en Python.

Puedes ver el webinar completo a continuación:

Profundizamos en la descripción del uso de las Redes Neuronales Convolucionales (ConvNets o CNNs) para su uso en aprendizaje reforzado por parte de agentes en entornos observados a través de visión por computadora, y explicamos cómo aplicar algoritmos de Q-Learning en este tipo de redes. Continuamos mostrando la metodología del entrenamiento apoyándonos en pseudocódigo y describimos tanto la arquitectura elegida, como las estrategias de preprocesado de las imágenes del juego usadas para el entrenamiento del modelo. Para terminar, ofrecimos un resumen de la solución obtenida tanto en Breakout como en Space Invaders, junto con algunos posibles puntos a mejorar a la hora de enfocar el entrenamiento conforme aumenta la complejidad del entorno en el que se hace jugar a la IA.

En el caso de que os haya gustado el webinar y queráis profundizar en lo que presentamos el pasado martes o si os ha quedado alguna duda, os animamos a leer el próximo – y último – post de Deep Learning vs Atari: entrena tu IA para dominar videojuegos clásicos, que comenzó en este artículo. Se darán más detalles sobre el entrenamiento realizado, donde se ha hecho uso de una Red Neuronal Profunda con algoritmos de Q-Learning (DQN) para que un agente aprendiera a desenvolverse en juegos clásicos soportados en el framework OpenAI Gym.

En este último artículo, demostraremos que es posible entrenar a una IA o agente en el entorno Breakout-v0. Tras un largo tiempo de entrenamiento, haciendo uso de 4 frames consecutivos como entrada al modelo, podréis ver cómo hemos conseguido una actuación aceptable de la Inteligencia Artificial superando la puntuación media obtenida por otros modelos bien caracterizados. Por otro lado, la estrategia usada (como demostramos durante el webinar) nos ha permitido extrapolar la solución al entorno SpaceInvaders-v0 con mínimos cambios de código.

También podrás encontrar más información en la comunidad de ElevenPaths, donde podrás podrás compartir tus dudas o sugerencias a través de los comentarios.

Te puede interesar

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *