Conceptos Avanzados en Inteligencia Computacional

• Horas semanales
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Web links
• Capacidades previas

Profesorado

Responsable

• Mario Martín Muñoz ( )

Horas semanales

Objetivos

1. Comprender la necesidad, los fundamentos y las particularidades del aprendizaje conductual y las diferencias que tiene con el aprendizaje automático supervisado y no supervisado.
   Competencias relacionadas: CEA3, CEA11, CG3, CG4,
2. Conocer qué tipo de problemas se pueden modelizar como un problema de aprendizaje por refuerzo e identificar las técnicas que se pueden aplicar para resolverlas
   Competencias relacionadas: CEA3, CEA11, CEP2, CEP3,
3. Comprender los algoritmos más importantes y el estado del arte en el área del aprendizaje por refuerzo.
   Competencias relacionadas: CEA3, CEA11, CG3, CG4,
4. Saber formalizar computacionalmente un problema del mundo real como aprendizaje para reforzamiento y saber implementar en los entornos más actuales los algoritmos de aprendizaje que los resuelve
   Competencias relacionadas: CG4, CEP2, CEP3, CEP8, CT3,
5. Conocer y entender las técnicas más avanzadas y recientes en el campo de los sistemas Multi-Agente para aprender a cooperar o competir.
   Competencias relacionadas: CEA9, CG4, CEP2, CEP3, CEP8, CT3,
6. Comprender las dificultades e ineficiencias del enfoque de aprendizaje por refuerzo y proponer las técnicas y enfoques que podrían resolverlas.
   Competencias relacionadas: CEA11, CG3, CG4, CEP3, CEP8,

Contenidos

1. Introducción: Aprendizaje del comportamiento en agentes y descripción de los principales elementos en el aprendizaje de refuerzo
   Intuición, motivación y definición del marco del aprendizaje pro refuerzo (RL). Elementos clave en RL.
2. Encontrando políticas óptimas mediante la programación dinámica
   Como aprender un comportamiento con conocimiento completo del modelo del mundo: solución algebraica, evaluación iterada de políticas y evaluación iterada de valores.
3. Introducción a los enfoques sin modelos del mundo.
   Algoritmos básicos para el aprendizaje por refuerzo: Monte-Carlo, Q-learning, Sarsa, TD (lambda). La necesidad de exploración. Diferencias entre los métodos On-policy y Off-policy
4. Aproximación de funciones en el aprendizaje por refuerzo
   La necesidad de la aproximación de funciones y métodos incrementales en RL. El enfoque de Gradient Descent. RL con aproximación de función lineal. La tríada mortal para la aproximación de funciones en RL. Métodos por lotes y redes neuronales para la aproximación de funciones.
5. Aprendizaje por refuerzo profundo (DRL)
   Revolución en RL introduciendo Deep Learning. Como tratar la mortal tríada con el algoritmo DQN. Aplicación de DQN el caso de los juegos Atari. Evoluciones del algoritmo DQN: Double DQN, Prioritized Experience Replay, aprendizaje en múltiples pasos y funciones de valor distribuidas. Rainbow: el algoritmo de última generación para un espacio de acción discreto.
6. Temas avanzados: Aprendizaje por refuerzo basado en modelos (MBRL)
   Separar el aprendizaje de la política del aprendizaje de un modelo del mundo tiene algunos beneficios y algunos problemas. Eficiència de l'aprenentatge en EL per al·lucinació i imaginació.
7. Métodos del gradiente en la política
   Qué hacer en espacios de acción continuos. Cómo las políticas probabilísticas permiten aplicar el método de gradiente directamente en la red de políticas. El algoritmo REINFORCE. Los algoritmos Actor-Critic. Algoritmos de última generación en espacios de acción continuos: DDPG, TD3 y SAC.
8. Temas avanzados: Como tratar el problema del refuerzo esparso
   El problema de la recompensa esparsa. Introducción a técnicas avanzadas de exploración: curiosidad y empoderamiento en RL. Introducción al aprendizaje curricular para facilitar el aprendizaje del objetivo. RL jerárquico para aprender tareas complejas. El aprendizaje de las funciones de valor universales y Hindsight Experience Replay (HER).
9. Temas avanzados: Hacia el aprendizaje continuo la vida en los agentes
   ¿Es RL un camino para obtener una Inteligencia Artificial General? Aprendizaje multitarea en RL, Transferencia de aprendizaje en RL y Meta-aprendizaje en RL. Enfoques de última generación.
10. Aprendizaje por refuerzo en el marco de múltiples agentes
    Aprendizaje de comportamientos en un entorno donde actúan varios agentes. Aprendizaje de conductas cooperativas, Aprendizaje de conductas competitivas y casos mixtos. Algoritmos de última generación. El caso especial de los juegos: el caso AlfaGo y la extensión a Alfa-Zero.

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Reinforcement learning : an introduction - Sutton, Richard S; Barto, Andrew G, The MIT Press, [2018]. ISBN: 9780262039246
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004166329706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep reinforcement learning - Morales, M, Manning Publications, 2020. ISBN: 9781617295454
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004208939706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Deep reinforcement learning in action - Zai, A.; Brown, B, Manning Publications Co. , 2020. ISBN: 9781617295430
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004203829706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Web links

• Master in Artificial Intelligence http://www.fib.upc.edu/en/masters/mai.html
• Web page of the course with all materials. https://www.cs.upc.edu/~mmartin/ATCI-RL.html

Capacidades previas