Conceptos Avanzados en Inteligencia Computacional

• Horas semanales
• Competencias
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Web links
• Capacidades previas

Profesorado

Responsable

• Mario Martín Muñoz ( )

Horas semanales

Competencias

Competencias Técnicas Genéricas

Genéricas

• CG3 - Capacidad para la modelización, cálculo, simulación, desarrollo e implantación en centros tecnológicos y de ingeniería de empresa, particularmente en tareas de investigación, desarrollo e innovación en todos los ámbitos relacionados con la Inteligencia Artificial.
• CG4 - Capacidad para la dirección general, dirección técnica y dirección de proyectos de investigación, desarrollo e innovación, en empresas y centros tecnológicos, en el ámbito de la Inteligencia Artificial.

Competencias Técnicas de cada especialidad

Académicas

• CEA3 - Capacidad de comprender los principios básicos de funcionamiento de las técnicas principales de Aprendizaje Automático, y saber utilizarlas en el entorno de un sistema o servicio inteligente.
• CEA9 - Capacidad de comprender las técnicas avanzadas de Sistemas Multiagentes, y saber diseñar, implementar y aplicar estas técnicas en el desarrollo de aplicaciones, servicios o sistemas inteligentes.
• CEA11 - Capacidad de comprender las técnicas avanzadas de Inteligencia Computacional, y saber diseñar, implementar y aplicar estas técnicas en el desarrollo de aplicaciones, servicios o sistemas inteligentes.

Profesionales

• CEP2 - Capacidad de resolver los problemas de toma de decisiones de las diferentes organizaciones, integrando herramientas inteligentes.
• CEP3 - Capacidad de aplicación de las técnicas de Inteligencia Artificial en entornos tecnológicos e industriales para la mejora de la calidad y la productividad.
• CEP8 - Capacidad de respetar el entorno ambiental y diseñar y desarrollar sistemas inteligentes sostenibles.

Competencias Transversales

Trabajo en equipo

• CT3 - Ser capaz de trabajar como miembro de un equipo interdisciplinar ya sea como un miembro mas, o realizando tareas de direccion con la finalidad de contribuir a desarrollar proyectos con pragmatismo y sentido de la responsabilidad, asumiendo compromisos teniendo en cuenta los recursos disponibles.

Objetivos

1. Comprender la necesidad, los fundamentos y las particularidades del aprendizaje conductual y las diferencias que tiene con el aprendizaje automático supervisado y no supervisado.
   Competencias relacionadas: CEA3, CEA11, CG3, CG4,
2. Conocer qué tipo de problemas se pueden modelizar como un problema de aprendizaje por refuerzo e identificar las técnicas que se pueden aplicar para resolverlas
   Competencias relacionadas: CEA3, CEA11, CEP2, CEP3,
3. Comprender los algoritmos más importantes y el estado del arte en el área del aprendizaje por refuerzo.
   Competencias relacionadas: CEA3, CEA11, CG3, CG4,
4. Saber formalizar computacionalmente un problema del mundo real como aprendizaje para reforzamiento y saber implementar en los entornos más actuales los algoritmos de aprendizaje que los resuelve
   Competencias relacionadas: CG4, CEP2, CEP3, CEP8, CT3,
5. Conocer y entender las técnicas más avanzadas y recientes en el campo de los sistemas Multi-Agente para aprender a cooperar o competir.
   Competencias relacionadas: CEA9, CG4, CEP2, CEP3, CEP8, CT3,
6. Comprender las dificultades e ineficiencias del enfoque de aprendizaje por refuerzo y proponer las técnicas y enfoques que podrían resolverlas.
   Competencias relacionadas: CEA11, CG3, CG4, CEP3, CEP8,

Contenidos

1. Introducción: Aprendizaje del comportamiento en agentes y descripción de los principales elementos en el aprendizaje de refuerzo
   Intuición, motivación y definición del marco del aprendizaje pro refuerzo (RL). Elementos clave en RL.
2. Encontrando políticas óptimas mediante la programación dinámica
   Como aprender un comportamiento con conocimiento completo del modelo del mundo: solución algebraica, evaluación iterada de políticas y evaluación iterada de valores.
3. Introducción a los enfoques sin modelos del mundo.
   Algoritmos básicos para el aprendizaje por refuerzo: Monte-Carlo, Q-learning, Sarsa, TD (lambda). La necesidad de exploración. Diferencias entre los métodos On-policy y Off-policy
4. Aproximación de funciones en el aprendizaje por refuerzo
   La necesidad de la aproximación de funciones y métodos incrementales en RL. El enfoque de Gradient Descent. RL con aproximación de función lineal. La tríada mortal para la aproximación de funciones en RL. Métodos por lotes y redes neuronales para la aproximación de funciones.
5. Aprendizaje por refuerzo profundo (DRL)
   Revolución en RL introduciendo Deep Learning. Como tratar la mortal tríada con el algoritmo DQN. Aplicación de DQN el caso de los juegos Atari. Evoluciones del algoritmo DQN: Double DQN, Prioritized Experience Replay, aprendizaje en múltiples pasos y funciones de valor distribuidas. Rainbow: el algoritmo de última generación para un espacio de acción discreto.
6. Temas avanzados: Aprendizaje por refuerzo basado en modelos (MBRL)
   Separar el aprendizaje de la política del aprendizaje de un modelo del mundo tiene algunos beneficios y algunos problemas. Eficiència de l'aprenentatge en EL per al·lucinació i imaginació.
7. Métodos del gradiente en la política
   Qué hacer en espacios de acción continuos. Cómo las políticas probabilísticas permiten aplicar el método de gradiente directamente en la red de políticas. El algoritmo REINFORCE. Los algoritmos Actor-Critic. Algoritmos de última generación en espacios de acción continuos: DDPG, TD3 y SAC.
8. Temas avanzados: Como tratar el problema del refuerzo esparso
   El problema de la recompensa esparsa. Introducción a técnicas avanzadas de exploración: curiosidad y empoderamiento en RL. Introducción al aprendizaje curricular para facilitar el aprendizaje del objetivo. RL jerárquico para aprender tareas complejas. El aprendizaje de las funciones de valor universales y Hindsight Experience Replay (HER).
9. Temas avanzados: Hacia el aprendizaje continuo la vida en los agentes
   ¿Es RL un camino para obtener una Inteligencia Artificial General? Aprendizaje multitarea en RL, Transferencia de aprendizaje en RL y Meta-aprendizaje en RL. Enfoques de última generación.
10. Aprendizaje por refuerzo en el marco de múltiples agentes
    Aprendizaje de comportamientos en un entorno donde actúan varios agentes. Aprendizaje de conductas cooperativas, Aprendizaje de conductas competitivas y casos mixtos. Algoritmos de última generación. El caso especial de los juegos: el caso AlfaGo y la extensión a Alfa-Zero.

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Reinforcement learning : an introduction - Sutton, Richard S; Barto, Andrew G, The MIT Press, [2018]. ISBN: 9780262039246
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004166329706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep reinforcement learning - Morales, M, Manning Publications, 2020. ISBN: 9781617295454
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004208939706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Deep reinforcement learning in action - Zai, A.; Brown, B, Manning Publications Co. , 2020. ISBN: 9781617295430
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004203829706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Web links

• Master in Artificial Intelligence http://www.fib.upc.edu/en/masters/mai.html
• Web page of the course with all materials. https://www.cs.upc.edu/~mmartin/ATCI-RL.html

Capacidades previas