Aprendizaje por Refuerzo Avanzado

• Horas semanales
• Competencias
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Web links
• Capacidades previas

Profesorado

Responsable

• Mario Martín Muñoz ( )

Horas semanales

Competencias

Competencias Transversales

Transversales

• CT6 [Avaluable] - Aprendizaje autónomo. Detectar deficiencias en el propio conocimiento y superarlas mediante la reflexión crítica y la elección de la mejor actuación para ampliar dicho conocimiento.

Básicas

• CB5 - Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía

Competencias Técnicas

Específicas

• CE18 - Adquirir y desarrollar técnicas de aprendizaje computacional y diseñar e implementar aplicaciones y sistemas que las utilicen, incluyendo las dedicadas a extracción automática de información y conocimiento a partir de grandes volúmenes de datos.
• CE19 - Utilizar los sistemas de computación actuales, incluidos sistemas de alto rendimiento, para el proceso de grandes volúmenes de datos desde el conocimiento de su estructura, funcionamiento y particularidades.
• CE22 - Representar, diseñar y analizar sistemas dinámicos. Adquirir conceptos como su observabilidad, estabilidad y controlabilidad.

Competencias Técnicas Genéricas

Genéricas

• CG2 - Utilizar los conocimientos fundamentales y metodologías de trabajo sólidas adquiridos durante los estudios para adaptarse a los nuevos escenarios tecnológicos del futuro.
• CG4 - Razonar, analizando la realidad y diseñando algoritmos y formulaciones que la modelen. Identificar problemas y construir soluciones algorítmicas o matemáticas válidas, eventualmente nuevas, integrando el conocimiento multidisciplinar necesario, valorando distintas alternativas con espíritu crítico, justificando las decisiones tomadas, interpretando y sintetizando los resultados en el contexto del dominio de aplicación y estableciendo generalizaciones metodológicas a partir de aplicaciones concretas.
• CG9 - Afrontar nuevos retos con una visión amplia de las posibilidades de la carrera profesional en el ámbito de la Inteligencia Artificial. Desarrollar la actividad aplicando criterios de calidad y mejora continua, y actuar con rigor en el desarrollo profesional. Adaptarse a los cambios organizativos o tecnológicos. Trabajar en situaciones de carencia de información y/o con restricciones temporales y/o de recursos.

Objetivos

1. Conocer los problemas al diseñar funciones de refuerzo y cómo resolverlos
   Competencias relacionadas: CG4, CB5, CE18,
2. Aprender técnicas para acelerar el aprendizaje por reforzamiento de forma que sea viable en aplicaciones reales.
   Competencias relacionadas: CG2, CG9, CT6, CB5,
3. Entender la problemática del aprendizaje simultáneo en sistemas multiagentes y las técnicas que permiten este aprendizaje
   Competencias relacionadas: CG4, CE22,
4. Aprendrez cómo incorporar el aprendizaje a partir de ejemplos para obtener políticas mejores que las que generan los ejemplos y para obtener la función de refuerzo oculta y detrás de estos ejemplos.
   Competencias relacionadas: CG2, CG4, CE19,

Contenidos

1. Diseño de la función de refuerzo: Aprendizaje por reforzamiento inverso (IRL)
   La función de refuerzo es crucial en RL, pero no siempre es fácil de definir. En este tema se ve cómo obtener una función de refuerzo a partir de ejemplos de comportamiento.
2. Aprendiendo la función de refuerzo con un humano en el Loop (RLHF)
   En la definición de funciones de refuerzo complejas poder no tenemos ejemplos de comportamientos para aplicar IRL. En este caso veremos cómo crear la función de refuerzo con el feedback de humanos (RLHF). Este mecanismo es la base del entrenamiento para alinear modelos del lenguaje como ChatGPT y otros.
3. Aprendizaje por reforzamiento ayudado con el aprendizaje de modelos del mundo.
   El aprendizaje por reforzamiento es lento. Para reducir el número de interacciones con el entorno, una posibilidad es aprender un modelo predictivo del entorno a partir de las interacciones con él y así poder generar experiencias simuladas de las que se podría aprender sin interaccionar tanto con el mundo real. En este tema se ve esa aproximación y sus limitaciones.
4. Exploración básica y avanzada en RL: implementando la curiosidad
   Un elemento básico en RL es la exploración que permite encontrar mejores políticas. Los métodos básicos de exploración consisten en tomar acciones aleatorias, lo que conduce a ineficiencia y ralentización en el aprendizaje. Hay mejores formas de explorar nuevas opciones y en este tema se describen, pasando por determinación de incertidumbre en el conocimiento aprendido hasta la implementación de método de curiosidad para mejorar la exploración.
5. Aprendizaje en sistemas Multiagentes utilizando RL
   En RL se presupone que el entorno es markoviano y que, por tanto, los cambios en el entorno sólo se producen por acciones del agente que aprende. Cuando el agente aprende en un entorno donde otros agentes también actúan y aprenden, esta condición ya no se cumple y los algoritmos de RL deben adaptarse. En este tema se ven los métodos más avanzados de aprendizaje por reforzamiento en sistemas multiagentes, poniendo especial énfasis en los problemas cooperativos.
6. Competición en sistemas multiagente utilizando RL: AlfaGo y familia
   Un caso especial de interacción en sistemas multiagentes es la competición y, en especial, los juegos de suma cero. En este escenario, el aprendizaje por reforzamiento ha llevado al desarrollo de habilidades sobrehumanas en algunos casos, remarcablemente el caso del juego del Go. En este tema veremos las técnicas de self-play y MonteCarlo Tree Search que permiten desarrollar estas habilidades.
7. RL en funciones esparsas de refuerzo: Políticas condicionadas y hindsight
   A menudo en RL la función de refuerzo es dispersa (poco informativa). Esto tiene como ventaja que las políticas obtenidas no son sesgadas, pero ralentiza el aprendizaje. En este tema se estudian las políticas condicionadas al objetivo y la técnica de hindsight que se han demostrado muy efectivas para acelerar el aprendizaje en estos casos.
8. Aprendizaje por refuerzo off-line
   En algunas aplicaciones tenemos ejemplos de comportamientos generados por humanos o por otras políticas. Una posibilidad para aprovechar estos datos es realizar aprendizaje por imitación o aplicar IRL para aprender de ejemplos. Ahora bien, la política obtenida será como muy tan buena como la que genera los ejemplos. ¿Podemos obtener políticas mejores que las que generan los ejemplos utilizando RL? Off-line RL aprovecha la calidad de los métodos Off-policy para obtener políticas buenas no con los datos que ella misma genera sino con datos posiblemente subóptimos generados por otras políticas (los ejemplos)
9. Aprendizaje curricular y jerárquico
   En RL es a menudo complicado aprender tareas complejas desde cero. Una aproximación, alineada con cómo los humanos aprendemos, consiste en definir un currículum o jerarquía de tareas para aprender de forma inicial antes de intentar aprender la tarea compleja por la que el agente no está preparado. En este tema se verá cómo realizar curriculum learning y aprendizaje jerárquico en estos casos.
10. Transfer learning, Meta learning, Lifelong learning y AGI
    RL es una aproximación interesante al aprendizaje autónomo por agentes inteligentes. Sin embargo, por su naturaleza es enfocado a tareas concretas cuando es sabido que un agente inteligente debe resolver diferentes tareas. En este tema se plantea la interacción entre diferentes tareas que deben aprenderse respecto a la transferencia de conocimiento de una a otra (Transfer learning), el aprendizaje de tareas para mejorar el aprendizaje en tareas posteriores (Meta- Learning) y, por último, respecto al mantenimiento del conocimiento aprendido durante la vida del agente (Life-long learning). Veremos cómo todas estas técnicas podrían empoderar al agente y permitir una auténtica Inteligencia Artificial General (AGI).

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Deep reinforcement learning in action - Zai, Alexander; Brown, Brandon, Manning Publications Co, 2020. ISBN: 9781617295430
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004203829706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep Reinforcement Learning Hands-On: apply modern RL methods to practical problems of chatbots, robotics, discrete optimization, web automation, and more - Lapam, Maxim, Packt Publishing, 2020. ISBN: 9781838820046
  https://ebookcentral-proquest-com.recursos.biblioteca.upc.edu/lib/upcatalunya-ebooks/detail.action?pq-origsite=primo&docID=6034344
• Multi-Agent Reinforcement Learning Foundations and Modern Approaches - Albrecht, Stefano V.; Christianos, Filippos; Schäfer, Lukas, MIT Press, 2024. ISBN: 9780262049375
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991005317955806711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Mastering reinforcement learning with Python : build next-generation, self-learning models using reinforcement learning techniques and best practices - Bilgin, Enes, Packt Publishing , [2020]. ISBN: 9781838644147
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004957196306711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Web links

• Pàgina web on trobar les transparències i els materials del laboratori https://sites.google.com/upc.edu/ara

Capacidades previas