Aprendizaje No Supervisado y por Refuerzo

Usted está aquí

Créditos
4.5
Tipos
Optativa
Requisitos
Esta asignatura no tiene requisitos
Departamento
CS
Este curso introducirá a diferentes técnicas avanzadas dentro de las áreas de aprendizaje automático no supervisado y aprendizaje por refuerzo. La parte de aprendizaje no supervisado estará orientada a algoritmos para datos estructurados (secuencias, flujos, grafos) y no estructurados. La parte de aprendizaje por refuerzo

Profesores

Responsable

  • Javier Béjar Alonso ( )

Otros

  • Mario Martín Muñoz ( )

Horas semanales

Teoría
3
Problemas
0
Laboratorio
0
Aprendizaje dirigido
0.38
Aprendizaje autónomo
5.7

Competencias

Competencias Técnicas Genéricas

Genéricas

  • CG1 - Capacidad para proyectar, diseñar e implantar productos, procesos, servicios e instalaciones en todos los ámbitos de la Inteligencia Artificial.
  • CG3 - Capacidad para la modelización, cálculo, simulación, desarrollo e implantación en centros tecnológicos y de ingeniería de empresa, particularmente en tareas de investigación, desarrollo e innovación en todos los ámbitos relacionados con la Inteligencia Artificial.

Competencias Técnicas de cada especialidad

Académicas

  • CEA12 - Capacidad de comprender las técnicas avanzadas de Ingeniería del Conocimiento, Aprendizaje Automático y Sistemas de Soporte a la Decisión, y saber diseñar, implementar y aplicar estas técnicas en el desarrollo de aplicaciones, servicios o sistemas inteligentes.
  • CEA13 - Capacidad de comprender las técnicas avanzadas de Modelización, Razonamiento y Resolución de problemas, y saber diseñar, implementar y aplicar estas técnicas en el desarrollo de aplicaciones, servicios o sistemas inteligentes.

Profesionales

  • CEP1 - Capacidad de resolver las necesidades de analisis de la informacion de las diferentes organizaciones, identificando las fuentes de incertidumbre y variabilidad.

Competencias Transversales

Sostenibilidad y compromiso social

  • CT2 - Conocer y comprender la complejidad de los fenomenos economicos y sociales tipicos de la sociedad del bienestar; capacidad para relacionar el bienestar con la globalizacion y la sostenibilidad; habilidad para utilizar de forma equilibrada y compatible la tecnica, la tecnologia, la economia y la sostenibilidad.

Uso solvente de los recursos de información

  • CT4 - Gestionar la adquisicion, la estructuracion, el analisis y la visualizacion de datos e informacion en el ambito de la especialidad y valorar de forma critica los resultados de esta gestion.

Básicas

  • CB7 - Que los estudiantes sean capaces de integrar conocimientos y enfrentarse a la complejidad de formular juicios a partir de una información que, siendo incompleta o limitada, incluya reflexiones sobre las responsabilidades sociales y éticas vinculadas a la aplicación de sus conocimientos y juicios

Objetivos

  1. Conocer y utilizar tecnicas avanzadas de aprendizaje no supervisado y aprendizaje por refuerzo para aplicaciones en todos los dominios de la ingenieria y la ciencia
    Competencias relacionadas: CG1, CG3, CEA12, CEA13, CEP1, CT2, CB7, CT4,

Contenidos

  1. Minería de datos una perspectiva global
    Breve introducción a lo que es Data Mining and Knowledge Discovery, las áreas a las que se relacionan y las diferentes técnicas que intervienen
  2. Preprocesamiento y transformación no supervisada de datos
    En este tema se incluyen diferentes algoritmos para la preprocessos de datos no supervisados, como la normalización de datos, la discretización, la detección de valores extremos, la reducción de dimensionalidades y la extracción de características (PCA, ICA, SVD, linear and non lineal multidimensional scalling and non negative matrix factorizationl)
  3. Aprendizaje no supervisado
    Este tema incluirá algoritmos clásicos y actuales para el aprendizaje no supervisado a partir del aprendizaje automático y estadísticas, incluyendo algoritmos jerárquicos y pariticionals (K-means, Fuzzy C-means, Gaussian EM, particionado de gráficos, algoritmos basados en densidad, algoritmos basados en cuadrículas, ANN no supervisados, propagación de afinidad, ...)
  4. Unsupervised methodologies in Knowledge Discovery and Data Mining
    This topic will include current trends on knowledge discovery for data mining and big data, (scalability, any time clustering, one pass algorithms, approximation algorithms, distributed clustering, ..)
  5. Advanced topics in unsupervised learning
    This topic will include and introduction to different advanced topics in unsupervised learning such as consensus clustering, subspace clustering, biclustering and semisupervised clustering
  6. Unsupervised learning for sequential and structured data
    This topic will include algorithms for unsupervised learning with sequential data and structured data, such as sequences, strings, time series and data streams, graphs and social networks
  7. Basic concepts of Reinforcement Learning
    This topic describes the framework of reinforcement learning as the agent-learning of a behavior by interacting with the environment. This framework will be mathematically formalized. Finally, the concepts of reward, long-term reward, Value functions and Policy function will be introduced. Concepts will be illustrated with several examples.
  8. Basic reinforcement learning algorithms: Model based methods
    This topic introduce the model-based-algorithms of RL. We will see Dynamic Programming methods of Policy Iteration (PI) and Value Iteration (VI). Asynchronous versions of the algorithm will also be described. Finally, we will stress the importance of convergence of the algorithms and the optimality of the policy learnt by the algorithms.
  9. Basic reinforcement learning algorithms: Model free methods
    We will see algorithm able to learn without a model of the world. We will present Monte Carlo, Q-learning and Sarsa algorithms. We will extend these methods to TD(lambda) and n-estimators backups. The role of exploration in learning will be discussed.
  10. Function approximation
    This topic explains what to do when the state space is too large to be represented with a table. We will discuss the advantages and problems of the two main approaches for this problem: Parametric and No parametric methods. We will show how to apply know supervised methods as RBFs, Trees, SVMs and Deep Leaning methods to RL.
  11. Policy gradient methods
    In some cases, value function approaches are not appropriate, for instance, when the action space is continuous or when long-term reward is not the best guide for learning. This topic show approaches developed to solve this cases. We will describe the actor-critic approach and also the Vanilla policy gradient method and REINFORCE and TROP algorithms.
  12. State of the art applications of RL.
    In this topic, we will describe the latest practical application of RL: Atari, Go, robotic applications and NLP

Actividades

Actividad Acto evaluativo


Aprendizaje no supervisado

Esta actividad desarrolla el temario de la parte de aprendizaje no supervisado del curso
  • Teoría: Aprendizaje no supervisado
  • Aprendizaje autónomo: Aprendizaje no supervisado
Objetivos: 1
Contenidos:
Teoría
18h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
2.3h
Aprendizaje autónomo
34.2h

Teoría
18h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
2.3h
Aprendizaje autónomo
34.2h

Metodología docente

Presentation classes and group project classes

Método de evaluación

La evaluación se basará en pequeños cuestionarios individuales sobre cada tema del curso (20%) y a escoger entre escribir un trabajo sobre el estado del arte de un tema concret entre los propuestos o implementar un algoritmo de aprenendizaje (80%).

Web links