Aprendizaje por Refuerzo y No Supervisado

• Horas semanales
• Competencias
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Capacidades previas

Profesorado

Responsable

• Javier Béjar Alonso ( )
• Mario Martín Muñoz ( )

Horas semanales

Competencias

Competencias Transversales

Transversales

• CT6 [Avaluable] - Aprendizaje autónomo. Detectar deficiencias en el propio conocimiento y superarlas mediante la reflexión crítica y la elección de la mejor actuación para ampliar dicho conocimiento.

Básicas

• CB5 - Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía

Competencias Técnicas

Específicas

• CE18 - Adquirir y desarrollar técnicas de aprendizaje computacional y diseñar e implementar aplicaciones y sistemas que las utilicen, incluyendo las dedicadas a extracción automática de información y conocimiento a partir de grandes volúmenes de datos.

Competencias Técnicas Genéricas

Genéricas

• CG2 - Utilizar los conocimientos fundamentales y metodologías de trabajo sólidas adquiridos durante los estudios para adaptarse a los nuevos escenarios tecnológicos del futuro.
• CG4 - Razonar, analizando la realidad y diseñando algoritmos y formulaciones que la modelen. Identificar problemas y construir soluciones algorítmicas o matemáticas válidas, eventualmente nuevas, integrando el conocimiento multidisciplinar necesario, valorando distintas alternativas con espíritu crítico, justificando las decisiones tomadas, interpretando y sintetizando los resultados en el contexto del dominio de aplicación y estableciendo generalizaciones metodológicas a partir de aplicaciones concretas.

Objetivos

1. Conocer qué tipo de problemas se pueden modelizar como un problema de aprendizaje por refuerzo e identificar las técnicas que se pueden aplicar para resolverlas
   Competencias relacionadas: CG2, CT6, CE18,
2. Comprender la necesidad, los fundamentos y las particularidades del aprendizaje conductual y las diferencias que tiene con el aprendizaje automático supervisado y no supervisado.
   Competencias relacionadas: CG2, CE18,
3. Comprender los algoritmos más importantes y el estado del arte en el área del aprendizaje por refuerzo.
   Competencias relacionadas: CG4, CE18,
4. Saber formalizar computacionalmente un problema del mundo real como aprendizaje para reforzamiento y saber implementar en los entornos más actuales los algoritmos de aprendizaje que los resuelve
   Competencias relacionadas: CG2, CG4, CT6, CE18,
5. Conocer los problemas que se pueden modelizar con algoritmos no supervisados produndos
   Competencias relacionadas: CG2, CT6, CE18,
6. Entender las particularidades de los algoritmos no supervisados profundos
   Competencias relacionadas: CG4, CT6, CE18,
7. Conocer los algoritmos más importantes y el estado del arte del aprendizaje no supervisado profundo
   Competencias relacionadas: CG2, CT6, CB5, CE18,
8. Saber implementar y aplicar a un problema algoritmos de aprendizaje profundo utilizando el entorno más actual
   Competencias relacionadas: CG2, CT6, CB5, CE18,

Contenidos

1. Introducción: Aprendizaje del comportamiento en agentes y descripción de los principales elementos en el aprendizaje de refuerzo
   Intuición, motivación y definición del marco del aprendizaje pro refuerzo (RL). Elementos clave en RL.
2. Encontrando políticas óptimas mediante la programación dinámica
   Como aprender un comportamiento con conocimiento completo del modelo del mundo: solución algebraica, evaluación iterada de políticas y evaluación iterada de valores.
3. Introducción a los enfoques sin modelos del mundo.
   Algoritmos básicos para el aprendizaje por refuerzo: Monte-Carlo, Q-learning, Sarsa, TD (lambda). La necesidad de exploración. Diferencias entre los métodos On-policy y Off-policy
4. Aproximación de funciones en el aprendizaje por refuerzo
   La necesidad de la aproximación de funciones y métodos incrementales en RL. El enfoque de Gradient Descent. RL con aproximación de función lineal. La tríada mortal para la aproximación de funciones en RL. Métodos por lotes y redes neuronales para la aproximación de funciones.
5. Aprendizaje por refuerzo profundo (DRL)
   Introducción de DL en RL. Como tratar la mortal tríada con el algoritmo DQN. Aplicación de DQN el caso de los juegos Atari. Evoluciones del algoritmo DQN: Double DQN, Prioritized Experience Replay, aprendizaje en múltiples pasos y funciones de valor distribuidas. Rainbow: el algoritmo de última generación para un espacio de acción discreto.
6. Métodos del gradiente en la política
   Qué hacer en espacios de acción continuos. Cómo las políticas probabilísticas permiten aplicar el método de gradiente directamente en la red de políticas. El algoritmo REINFORCE. Los algoritmos Actor-Critic. Algoritmos de última generación en espacios de acción continuos: DDPG, TD3 y SAC.
7. Temas avanzados: Como tratar el problema del refuerzo esparso
   El problema de la recompensa esparsa. Introducción a técnicas avanzadas de exploración: curiosidad y empoderamiento en RL. Introducción al aprendizaje curricular para facilitar el aprendizaje del objetivo. RL jerárquico para aprender tareas complejas. El aprendizaje de las funciones de valor universales y Hindsight Experience Replay (HER).
8. Aprendizaje por refuerzo en el marco de múltiples agentes
   Aprendizaje de comportamientos en un entorno donde actúan varios agentes. Aprendizaje de conductas cooperativas, Aprendizaje de conductas competitivas y casos mixtos. Algoritmos de última generación. El caso especial de los juegos: el caso AlfaGo y la extensión a Alfa-Zero.
9. Introducción: El aprendizaje no supervisado profundo
   Introducción a la necesidad del aprendizaje no supervisado profundo y sus aplicaciones
10. Modelos autoregresivos
    Introducción al aprendizaje de distribuciones de probabilidad definidas como distribuciones autorregresivas y principales modelos
11. Flujos normalizantes
    Introducción a los flujos normalizados para el aprendizaje de distribuciones de probabilidad
12. Modelos de variables latentes
    Introducción a los modelos basados en variables latentes y a los autocodificadores variacionales
13. Redes adversarias Generativas
    Introducción a las redes adversarias generativas, generación condicionada y sin condicionar, separación de atributos
14. Redes de difusión
    Introducción a modelos basados en difusión de ruido, redes para eliminación de ruido, condicionamiento, generación multimodal
15. Aprendizaje por auto supervisión
    Introducción al aprendizaje por autosupervisión para el entrenamiento de redes generadoras de características, metodos contrastivos y no contrastivos, enmascaramiento

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Reinforcement learning : an introduction - Sutton, Richard S; Barto, Andrew G, The MIT Press, [2020]. ISBN: 9780262039246
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004166329706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Grokking deep reinforcement learning - Morales, Miguel, Manning Publications, 2020. ISBN: 9781617295454
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004208939706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Generative deep learning: teaching machines to paint, write, compose, and play - Foster, D, O'Reilly Media, Incorporated, 2023. ISBN: 9781098134143
  
• Hands-on image generation with TensorFlow: a practical guide to generating images and videos using deep learning - Cheong, S.Y, Packt Publishing, 2020. ISBN: 9781838821104
  

Complementaria:

• Deep reinforcement learning in action - Zai, Alexander; Brown, Brandon, Manning Publications Co , 2020. ISBN: 9781617295430
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004203829706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Generative AI with Python and TensorFlow 2: harness the power of generative models to create images, text, and music - Babcock, J.; Bali, R, Packt Publishing , 2021. ISBN: 9781800208506
  

Capacidades previas