Temes Sobre Optimització i Aprenentatge Automàtic

Crèdits
6
Tipus
Obligatòria d'especialitat (Xarxes de Computadors i Sistemes Distribuïts)
Requisits
Aquesta assignatura no té requisits , però té capacitats prèvies
Departament
AC
Mail
jose.maria.barcelo@upc.edu
L'objectiu d'aquest curs és proporcionar a l'alumne una formació en metodologies en el disseny avançat de mecanismes mitjançant l'optimització convexa no lineal, l'aprenentatge automàtic i l'aprenentatge profund que es poden aplicar a xarxes d'ordinadors i sistemes distribuïts. En particular, explorarem models no lineals doptimització, mètodes daprenentatge màquina basats en kernels, i IA generativa.

Professorat

Responsable

  • Jose Maria Barceló Ordinas (jose.maria.barcelo@upc.edu)

Altres

  • Jorge García Vidal (jorge@ac.upc.edu)

Hores setmanals

Teoria
4
Problemes
0
Laboratori
0
Aprenentatge dirigit
0
Aprenentatge autònom
7.11

Competències

Competències Tècniques de cada especialitat

Xarxes de computadors i sistemes distribuïts

  • CEE2.1 - Capacitat per a entendre els models, problemes i algoritmes relacionats amb els sistemes distribuïts, així com poder dissenyar i avaluar algoritmes i sistemes que tractin la problemàtica de la distribució i ofereixin serveis distribuïts.
  • CEE2.2 - Capacitat d'entendre els models, problemes i algoritmes relacionats amb les xarxes de computadors, així com poder dissenyar i avaluar algoritmes, protocols i sistemes que tractin la problemàtica de la xarxes de comunicació entre computadors.
  • CEE2.3 - Capacitat d'entendre els models, problemes i eines matemàtiques que permeten analitzar, dissenyar i avaluar xarxes de computadors i sistemes distribuïts.

    • Competències Tècniques Generals

    Genèriques

  • CG3 - Capacitat per al modelatge matemàtic, càlcul i disseny experimental en centres tecnològics i d'enginyeria d'empresa, particularment en tasques de recerca i innovació en tots els àmbits de la Informàtica.

    • Competències Transversals

    Raonament

  • CTR6 - Capacitat de raonament crític, lògic i matemàtic. Capacitat de resoldre problemes en la seva àrea d'estudi. Capacitat d'abstracció: capacitat de crear i utilitzar models que reflecteixin situacions reals. Capacitat de dissenyar i realitzar experiments senzills, i analitzar-ne i interpretar-ne els resultats. Capacitat d'anàlisi, de síntesi i d'avaluació.

    • Bàsiques

  • CB6 - Que els estudiants sàpiguen aplicar els coneixements adquirits y la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contexts més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
  • CB8 - Que els estudiants sàpiguen comunicar les seves conclusions i els coneixements i raons darreres que les sustenten- a públics especialitzats i no especialitzats d'una manera clara i sense ambigüitats.

    • Objectius

    1. Capacitat per formular un problema d'optimització convexa
      Competències relacionades: CB6, CTR6, CEE2.3, CG3,
    2. Capacitat per resoldre problemes d'optimització no lineal.
      Competències relacionades: CTR6, CEE2.3, CB6, CG3,
    3. Capacitat per aplicar a problemes reals temes relacionats amb l'optimització
      Competències relacionades: CB8, CTR6, CEE2.1, CEE2.2, CEE2.3, CG3,
    4. Capacitat per comprendre algorismes bàsics d'aprenentatge automàtic
      Competències relacionades: CTR6, CEE2.3, CG3, CB6,
    5. Capacitat per aplicar algorismes d'aprenentatge automàtic a escenaris reals.
      Competències relacionades: CB8, CTR6, CEE2.1, CEE2.2, CEE2.3, CG3,
    6. Capacitat per comprendre les xarxes neuronals i els algoritmes d'aprenentatge profund
      Competències relacionades: CB6, CTR6, CEE2.3, CG3,
    7. Capacitat per aplicar xarxes neuronals i algoritmes d'aprenentatge profund a escenaris reals
      Competències relacionades: CB8, CTR6, CEE2.1, CEE2.2, CEE2.3, CG3,

    Continguts

    1. Conceptes bàsics d'optimització convexa
      En aquest tema, introduirem els conceptes d'home d'optimització no lineal amb especial èmfasi en l'optimització convexa. Concretament veurem: conjunts convexos, funcions convexes, problemes d'optimització convexa (COP) i dualitat (funció doble Lagrange, condicions d'optimitat de KKT), mètodes per resoldre COP (General Descent Methods, Interior Point Methods)
    2. Mètodes de kernel en aprenentatge màquina
      Exemples de com s'aplica l'optimització al camp de l'aprenentatge automàtic a xarxes informàtiques i xarxes distribuïdes. En concret, s'explicarà com funciona la reproducció d'espais kernel de Hilbert (RKHS), mètodes supervisats amb kernel entre els quals s'inclouen la regressió kernel ridge (KRR), els processos gaussians, les màquines de vectors de suport (per a classificació i per a regressió), i el kernel PCA.
    3. Models d'aprenentatge profund i IA generativa
      En aquest tema s'introdueixen els conceptes bàsics relacionats amb l'aprenentatge profund i els models d'IA generativa aplicats a les xarxes informàtiques i als sistemes distribuïts. En concret, es tractaran xarxes bayesianes neuronals, models de montecarlo, inferència variacional, LLMs, transformers, models de variable latent (EM, ELBO, etc), models AI generatius com són els models autoregressius, de flux, difusius i variacionals (VAE).

    Activitats

    Activitat Acte avaluatiu


    Conceptes bàsics d'optimització convexa


    Objectius: 1 2 3
    Continguts:
    Teoria
    18h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    15h

    Mètodes de kernel en aprenentatge màquina


    Objectius: 4 3
    Continguts:
    Teoria
    18h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    15h

    Models d'aprenentatge profund i IA generativa


    Objectius: 3 6
    Continguts:
    Teoria
    18h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    15h

    Entrega del projecte de programació basat en optimització no lineal


    Objectius: 2 3
    Setmana: 9 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Entrega del projecte de calibratge de sensors mitjançant tècniques d'aprenentatge automàtic (KRR, SVR, GP),


    Objectius: 5 4 3
    Setmana: 14 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Entrega del projecte mitjançant una xarxa neuronal


    Objectius: 3 6 7
    Setmana: 18 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Metodologia docent

    Durant les sessions inicials de cada tema, s'explicaran els resultats principals a la pissarra. L'estudiant resoldrà alguns exercicis per demostrar les seves habilitats en el tema. Finalment, els estudiants faran projectes de desenvolupament d'acord al temes estudias.

    Mètode d'avaluació

    L'avaluació es basa en el desenvolupament de 3 projectes (cada projecte val igual) i 2 exàmens escrits. La nota final del curs (FM) serà:

    FM = 0.6*(P1+P2+P3) + 0.2*Ex1 + 0.2*Ex2.

    Per a cada projecte es lliura un reporti de recerca on s'analitza el problema proposat, es descriu la metodologia de resolució i es descriuen els resultats i conclusions. S'avaluarà la capacitat de l'alumne per a demostrar enteniment i comprensió de la teoria, capacitat de raonament i de comunicar resultats (competències CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6).

    En els exàmens escrits, se'ls donarà una llista de conceptes teòrics relacionats amb els temes de l'assignatura en els quals han de demostrar una comprensió i enteniment. En l'examen se'ls demanarà que expliquin la comprensió que tenen sobre aquests conceptes (competències CG3, CEE2.3, CB6, CTR6).

    Bibliografia

    Bàsic

    Web links

    Capacitats prèvies

    Recomanat haver cursat prèviament el curs "Anàlisi Estadística de Xarxes i Sistemes (SANS-MIRI)".