Temas Sobre Optimización y Aprendizaje Automático

Créditos
6
Tipos
Obligatoria de especialidad (Redes de Computadores y Sistemas Distribuidos)
Requisitos
Esta asignatura no tiene requisitos , pero tiene capacidades previas
Departamento
AC
Mail
jose.maria.barcelo@upc.edu
El objetivo de este curso es brindar al estudiante una formación en las metodologías en el diseño avanzado de mecanismos mediante optimización convexa no lineal, aprendizaje automático y aprendizaje profundo que puedan aplicarse a redes informáticas y sistemas distribuidos. En particular, exploraremos modelos no lineales de optimización, métodos de aprendizaje máquina basados en kernels y redes neuronales.

Profesorado

Responsable

  • Jose Maria Barceló Ordinas (jose.maria.barcelo@upc.edu)

Otros

  • Jorge García Vidal (jorge@ac.upc.edu)

Horas semanales

Teoría
4
Problemas
0
Laboratorio
0
Aprendizaje dirigido
0
Aprendizaje autónomo
7.11

Competencias

Competencias Técnicas de cada especialidad

Computer networks and distributed systems

  • CEE2.1 - Capacidad para entender los modelos, problemas y algoritmos relacionados con los sistemas distribuidos, así como poder diseñar y evaluar algoritmos y sistemas que traten la problemática de la distribución y ofrezcan servicios distribuidos
  • CEE2.2 - Capacidad de entender los modelos, problemas y algoritmos relacionados con las redes de computadores, así como poder diseñar y evaluar algoritmos, protocolos y sistemas que traten la problemática de la redes de comunicación entre computadores.
  • CEE2.3 - Capacidad de entender los modelos, problemas y herramientas matemáticas que permiten analizar, diseñar y evaluar redes de computadores y sistemas distribuidos.

    • Competencias Técnicas Genéricas

    Genéricas

  • CG3 - Capacidad para el modelado matemático, cálculo y diseño experimental en centros tecnológicos y de ingeniería de empresa, particularmente en tareas de investigación e innovación en todos los ámbitos de la Informática.

    • Competencias Transversales

    Razonamiento

  • CTR6 - Capacidad de razonamiento crítico, lógico y matemático. Capacidad para resolver problemas dentro de su área de estudio. Capacidad de abstracción: capacidad de crear y utilizar modelos que reflejen situaciones reales. Capacidad de diseñar y realizar experimentos sencillos, y analizar e interpretar sus resultados. Capacidad de análisis, síntesis y evaluación.

    • Básicas

  • CB6 - Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
  • CB8 - Que los estudiantes sepan comunicar sus conclusiones y los conocimientos y razones últimas que las sustentan a públicos especializados y no especializados de un modo claro y sin ambigüedades.

    • Objetivos

    1. Capacidad para formular un problema de optimización convexa
      Competencias relacionadas: CG3, CEE2.3, CB6, CTR6,
    2. Capacidad para resolver problemas de optimización no lineal.
      Competencias relacionadas: CG3, CEE2.3, CB6, CTR6,
    3. Capacidad de aplicar a un problema real temas relacionados con la optimización
      Competencias relacionadas: CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6,
    4. Capacidad de entender los algoritmos básicos de aprendizaje de la máquina
      Competencias relacionadas: CG3, CEE2.3, CB6, CTR6,
    5. Capacidad de aplicar los algoritmos de aprendizaje de la máquina a escenarios reales.
      Competencias relacionadas: CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6,
    6. Capacidad para comprender las redes neuronales y los algoritmos de aprendizaje profundo
      Competencias relacionadas: CG3, CEE2.3, CB6, CTR6,
    7. Capacidad para aplicar redes neuronales y algoritmos de aprendizaje profundo a escenarios reales
      Competencias relacionadas: CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6,

    Contenidos

    1. Fundamentos de la optimización de la convexidad
      En este tema introduciremos los conceptos del hombre de la optimización no lineal con especial énfasis en la optimización convexa. Específicamente veremos: conjuntos convexos, funciones convexas, problemas de optimización convexa (COP) y dualidad (función dual de Lagrange, condiciones óptimas de KKT), métodos para resolver COP (Métodos de Descenso General, Métodos de Puntos Interiores)
    2. Métodos de aprendizaje máquina
      Ejemplos de cómo se aplica la optimización en el campo del aprendizaje automático en redes informáticas y redes distribuidas. En concreto, explicaremos métodos supervisados como la regresión lineal múltiple con regularización (regresión ridge y lasso), métodos de vecinos más cercanos, regresión de kernel (RKHS) y procesos gaussianos, máquinas de vectores de soporte, bootstrapping, bosque aleatorio y métodos no supervisados como métodos de agrupamiento con k-means, agrupamiento jerárquico, mezcla de gaussianas y el algoritmo de maximización de la esperanza.
    3. Redes neuronales
      En este capítulo, estudiamos los conceptos básicos relacionados con las redes neuronales y el aprendizaje profundo aplicados a las redes informáticas y los sistemas distribuidos. En concreto, se ofrece una introducción a las redes neuronales, el algoritmo de retropropagación, el SGD, las técnicas de regularización y un repaso de las arquitecturas de redes neuronales más importantes, entre las que se incluyen el perceptrón multicapa (MLP), las redes neuronales convolucionales (CNN), las redes neuronales recurrentes (RNN) y los autoencodificadores.

    Actividades

    Actividad Acto evaluativo


    Conceptos básicos de optimización convexa


    Objetivos: 1 2 3
    Contenidos:
    Teoría
    18h
    Problemas
    0h
    Laboratorio
    0h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    15h

    Métodos de aprendizaje máquina


    Objetivos: 4 3
    Contenidos:
    Teoría
    18h
    Problemas
    0h
    Laboratorio
    0h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    15h

    Redes neuronales


    Objetivos: 3 6
    Contenidos:
    Teoría
    18h
    Problemas
    0h
    Laboratorio
    0h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    15h

    Entrega del proyecto de programación usando optimización no lineal


    Objetivos: 2 3
    Semana: 9 (Fuera de horario lectivo)
    Teoría
    0h
    Problemas
    0h
    Laboratorio
    0h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    0h

    Entrega del proyecto usando técnicas de aprendizaje máquina (KRR, SVR, GP),


    Objetivos: 5 4 3
    Semana: 14 (Fuera de horario lectivo)
    Teoría
    0h
    Problemas
    0h
    Laboratorio
    0h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    0h

    Entrega del proyecto usando una red neuronal


    Objetivos: 3 6 7
    Semana: 18 (Fuera de horario lectivo)
    Teoría
    0h
    Problemas
    0h
    Laboratorio
    0h
    Aprendizaje dirigido
    0h
    Aprendizaje autónomo
    0h

    Metodología docente

    Durante las sesiones iniciales de cada tema, los principales resultados se explicarán en la pizarra. El estudiante resolverá algunos ejercicios para probar sus habilidades en el tema. Finalmente, los estudiantes desarrollarán proyectos para los temas estudiados.

    Método de evaluación

    La evaluación se basa en el desarrollo de 3 proyectos (cada proyecto vale igual) y 2 exámenes escritos. La nota final del curso (FM) será:

    FM = 0.6*(P1+P2+P3) + 0.1*Ex2 + 0.1* Ex3 + 0.1 *Ex4.

    Para cada proyecto se entrega un reporte de investigación donde se analiza el problema propuesto, se describe la metodología de resolución y se describen los resultados y conclusiones. Se evaluará la capacidad del alumno para demostrar entendimiento y comprensión de la teoría, capacidad de razonamiento y de comunicar resultados (competencias CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6).

    En los exámenes escritos (realizados en horario de clase), se les dará una lista de conceptos teóricos relacionados con los temas de la asignatura, en los que deberán demostrar comprensión y entendimiento. En el examen se les pedirá que expliquen la comprensión que tienen sobre esos conceptos (competencias CG3, CEE2.3, CB6, CTR6).

    Bibliografía

    Básico

    Web links

    Capacidades previas

    Ninguna.