Temas Sobre Optimización y Aprendizaje Automático

• Profesorado
• Horas semanales
• Competencias
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Web links
• Capacidades previas

Profesorado

Responsable

• Jose Maria Barceló Ordinas ( )

Otros

• Jorge García Vidal ( )

Horas semanales

Competencias

Competencias Técnicas de cada especialidad

Computer networks and distributed systems

• CEE2.1 - Capacidad para entender los modelos, problemas y algoritmos relacionados con los sistemas distribuidos, así como poder diseñar y evaluar algoritmos y sistemas que traten la problemática de la distribución y ofrezcan servicios distribuidos
• CEE2.2 - Capacidad de entender los modelos, problemas y algoritmos relacionados con las redes de computadores, así como poder diseñar y evaluar algoritmos, protocolos y sistemas que traten la problemática de la redes de comunicación entre computadores.
• CEE2.3 - Capacidad de entender los modelos, problemas y herramientas matemáticas que permiten analizar, diseñar y evaluar redes de computadores y sistemas distribuidos.

Competencias Técnicas Genéricas

Genéricas

• CG3 - Capacidad para el modelado matemático, cálculo y diseño experimental en centros tecnológicos y de ingeniería de empresa, particularmente en tareas de investigación e innovación en todos los ámbitos de la Informática.

Competencias Transversales

Razonamiento

• CTR6 - Capacidad de razonamiento crítico, lógico y matemático. Capacidad para resolver problemas dentro de su área de estudio. Capacidad de abstracción: capacidad de crear y utilizar modelos que reflejen situaciones reales. Capacidad de diseñar y realizar experimentos sencillos, y analizar e interpretar sus resultados. Capacidad de análisis, síntesis y evaluación.

Básicas

• CB6 - Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
• CB8 - Que los estudiantes sepan comunicar sus conclusiones y los conocimientos y razones últimas que las sustentan a públicos especializados y no especializados de un modo claro y sin ambigüedades.

Objetivos

1. Capacidad para formular un problema de optimización convexa
   Competencias relacionadas: CG3, CEE2.3, CB6, CTR6,
2. Capacidad para resolver problemas de optimización no lineal.
   Competencias relacionadas: CG3, CEE2.3, CB6, CTR6,
3. Capacidad de aplicar a un problema real temas relacionados con la optimización
   Competencias relacionadas: CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6,
4. Capacidad de entender los algoritmos básicos de aprendizaje de la máquina
   Competencias relacionadas: CG3, CEE2.3, CB6, CTR6,
5. Capacidad de aplicar los algoritmos de aprendizaje de la máquina a escenarios reales.
   Competencias relacionadas: CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6,
6. Capacidad para comprender las redes neuronales y los algoritmos de aprendizaje profundo
   Competencias relacionadas: CG3, CEE2.3, CB6, CTR6,
7. Capacidad para aplicar redes neuronales y algoritmos de aprendizaje profundo a escenarios reales
   Competencias relacionadas: CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6,

Contenidos

1. Fundamentos de la optimización de la convexidad
   En este tema introduciremos los conceptos del hombre de la optimización no lineal con especial énfasis en la optimización convexa. Específicamente veremos: conjuntos convexos, funciones convexas, problemas de optimización convexa (COP) y dualidad (función dual de Lagrange, condiciones óptimas de KKT), métodos para resolver COP (Métodos de Descenso General, Métodos de Puntos Interiores)
2. Aplicaciones a los temas de aprendizaje de la máquina
   Ejemplos de cómo se aplica la optimización en el campo del aprendizaje automático en redes informáticas y redes distribuidas. En concreto, se explicarán métodos supervisados como la regresión lineal múltiple con regularización (ridge regression y lasso), los métodos de vecinos más cercanos, la regresión kernel (RKHS) y los procesos gaussianos, las máquinas de vectores de soporte, el bootstrapping, el bosque aleatorio, y métodos no supervisados como los métodos de clustering con k-means, el clustering jerárquico, la mezcla de gaussianos y el algoritmo de maximización de expectativas.
3. Redes neuronales y aprendizaje profundo
   En este capítulo se estudian los conceptos básicos relacionados con las redes neuronales y el aprendizaje profundo aplicados a las redes informáticas y a los sistemas distribuidos. En concreto, introducción a las redes neuronales, algoritmo de retropropagación, SGD, técnicas de regularización y revisión de las arquitecturas de NN más importantes, incluyendo las el multilayer perceptron (MLP), redes neuronales convolucionales (CNN), redes neuronales recurrentes (RNN) y codificadores automáticos.

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Convex optimization - Boyd, S.P.; Vandenberghe, L, Cambridge University Press, 2004. ISBN: 0521833787
  http://cataleg.upc.edu/record=b1253105~S1*cat
• Pattern recognition and machine learning - Bishop, Christopher M, Springer, 2006. ISBN: 0387310738
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003157379706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Machine learning : a bayesian and optimization perspective - Theodoridis, S, Elsevier Academic Press, 2020. ISBN: 9780128188033
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004192339706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep learning - Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron, The MIT Press, [2016]. ISBN: 9780262035613
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004107709706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Web links

• Book in PDF: "Convex Optimization" of Stephen P. Boyd and Lieven Vandenberghe, http://www.stanford.edu/~boyd/cvxbook/
• Book in PDF and supplementary material for "Deep Learning" of Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron https://www.deeplearningbook.org

Capacidades previas