Anàlisi Estadística de Xarxes i Sistemes

Crèdits
6
Tipus
Obligatòria d'especialitat (Xarxes de Computadors i Sistemes Distribuïts)
Requisits
Aquesta assignatura no té requisits , però té capacitats prèvies
Departament
AC
El curs cobreix els fonaments probabilístics i les principals famílies de deep generative models: VAEs, GANs, models autogressius (Transformers), normalizing flows, flow matching (ODE/SDE) i diffusion models. S'introdueixen també mètodes de deep reinforcement learning i Bayesian inference. Orientat a estudiants amb base en discriminative machine learning.

Professorat

Responsable

  • Jorge García Vidal (jorge@ac.upc.edu)

Altres

  • Jose Maria Barceló Ordinas (jose.maria.barcelo@upc.edu)

Hores setmanals

Teoria
3.4
Problemes
0.6
Laboratori
0
Aprenentatge dirigit
0
Aprenentatge autònom
7.1

Competències

Competències Tècniques de cada especialitat

Xarxes de computadors i sistemes distribuïts

  • CEE2.2 - Capacitat d'entendre els models, problemes i algoritmes relacionats amb les xarxes de computadors, així com poder dissenyar i avaluar algoritmes, protocols i sistemes que tractin la problemàtica de la xarxes de comunicació entre computadors.

    • Competències Tècniques Generals

    Genèriques

  • CG4 - Capacitat per a la direcció general i tècnica de projectes de recerca, desenvolupament i innovació, en empreses i centres tecnològics, en l'àmbit de l'Enginyeria Informàtica.

    • Competències Transversals

    Actitud adequada davant el treball

  • CTR5 - Tenir motivació per a la realització professional i per a afrontar nous reptes, tenir una visió àmplia de les possibilitats de la carrera professional en l'àmbit de l'enginyeria en informàtica. Sentir-se motivat per la qualitat i la millora contínua, i actuar amb rigor en el desenvolupament professional. Capacitat d'adaptació als canvis organitzatius o tecnològics. Capacitat de treballar en situacions de carència d'informació i/o amb restriccions temporals i/o de recursos.

    • Bàsiques

  • CB6 - Que els estudiants sàpiguen aplicar els coneixements adquirits y la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contexts més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.

    • Objectius

    1. Habilitat de modelat quantitatiu
      Competències relacionades: CB6, CTR5, CEE2.2, CG4,

    Continguts

    1. Repàs a models de probabilitat i teoria de la informació
      Revisió dels fonaments probabilístics del curs: distribucions multivariants, multivariate Gaussian, i conceptes clau d'information theory com entropy, conditional, entropy, cross-entropy, KL divergence (direct, reverse), i connexió amb maximum likelihood estimation.
    2. Models generatius
      Introducció als deep generative models: models que aprenen a representar i mostrejar distribucions de dades complexes. Es cobreixen les principals famílies: latent variable models (VAEs), GANs, models autogressius basats en Transformers, normalizing flows, i continuous generative models basats en ODEs i SDEs, incloent flow matching i diffusion models. Es discuteixen els seus fonaments teòrics, les seves diferències en terms of training i inference, i les seves aplicacions pràctiques.
    3. Reinforcement learning
      Introducció al deep reinforcement learning: agents que aprenen a prendre decisions mitjançant interacció amb un entorn. Es cobreixen els fonaments teòrics (MDPs, Bellman equations, value functions), mètodes model-free com Q-learning i DQN, i policy gradient methods incloent actor-critic i PPO. Es discuteixen les connexions amb els generative models i les aplicacions pràctiques en entorns complexos i d'alta dimensionalitat.
    4. Mètodes bayesians
      Introducció als Bayesian methods aplicats al deep learning. Es cobreixen els fonaments de Bayesian inference, la connexió amb el variational inference vist als VAEs, i mètodes pràctics per quantificar la incertesa en xarxes neuronals com Bayesian neural networks i Monte Carlo dropout. Es discuteix com incorporar prior knowledge i obtenir distribucions posteriors sobre els paràmetres del model.

    Activitats

    Activitat Acte avaluatiu


    Models probabilistics

    Activitats a classe (dins de les 4h de teoria): resolució de problemes sobre càlcul d'entropy i KL divergence, discussió de casos pràctics sobre maximum likelihood estimation, i visualització interactiva de multivariate Gaussians. Les activitats fomenten la participació activa i reforcen la intuïció probabilística necessària per als blocs següents.
    Objectius: 1
    Continguts:
    Teoria
    4h
    Problemes
    2h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Deep generative models

    Activitats a classe (dins de les 30h de teoria): resolució de problemes teòrics sobre els fonaments de cada família de models (ELBO, minimax, change of variables, score matching), discussió comparativa de les diferències en training i inference entre models, i anàlisi de resultats experimentals de papers rellevants. Les activitats combinen rigor matemàtic amb intuïció sobre el comportament pràctic dels models.
    Objectius: 1
    Continguts:
    Teoria
    29.9h
    Problemes
    4.1h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Reinforcement Learning

    Activitats a classe (dins de les 8h de teoria): resolució de problemes sobre MDPs i Bellman equations, discussió de casos pràctics sobre l'exploració i explotació en entorns complexos, i anàlisi comparativa dels mètodes model-free (Q-learning, DQN) i policy gradient methods. Les activitats reforcen la comprensió dels fonaments teòrics i la connexió amb els deep generative models.

    Teoria
    8h
    Problemes
    2h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Treball 1



    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    25.9h

    Treball 2



    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    30h

    Bayesian methods

    Activitats a classe (dins de les 4h de teoria): resolució de problemes sobre Bayesian inference i càlcul de distribucions posteriors, discussió de la connexió entre variational inference i l'ELBO dels VAEs, i anàlisi comparativa de mètodes pràctics d'uncertainty quantification com Bayesian neural networks i Monte Carlo dropout.
    Objectius: 1
    Continguts:
    Teoria
    4h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Avaluació de conceptes bàsics



    Setmana: 1
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Avaluació final



    Setmana: 1
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Avaluació de conceptes



    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Avaluació de conceptes bàsics



    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Metodologia docent

    Alguns materials serán online. La resta en classes presencials a la pisarra. Classes de discussió de problemes i exemples,

    Mètode d'avaluació

    L'avaluació es basa en el desenvolupament de 2 projectes (cada projecte té el mateix pes) i 4 exàmens curts. La nota final del curs (FM) serà:
    FM = 0.6*(P1+P2)/2 + 0.1Ex1 + 0.1Ex2 + 0.1Ex3 + 0.1Ex4.
    Per a cada projecte, es lliura un informe de recerca on s'analitza el problema proposat, es descriu la metodologia de resolució i es presenten els resultats i conclusions. Els estudiants seran avaluats per la seva capacitat de demostrar comprensió de la teoria, de raonar i de comunicar resultats .
    Als exàmens escrits (exàmens curts a classe), es proporcionarà una llista de conceptes teòrics relacionats amb els temes de l'assignatura sobre els quals hauran de demostrar comprensió. A l'examen se'ls demanarà que expliquin la seva comprensió d'aquests conceptes.
    Pes de les competències genèriques en l'avaluació de la part específica del curs:

    25.0% ¿ Capacitat d'aplicar els coneixements adquirits i de resoldre problemes en entorns nous o desconeguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
    25.0% ¿ Capacitat de comunicar les seves conclusions, i els coneixements i raonaments que les sustenten, tant a públic especialitzat com no especialitzat, de manera clara i inequívoca.
    50.0% ¿ Capacitat de raonament crític, lògic i matemàtic. Capacitat de resoldre problemes en la seva àrea d'estudi. Capacitat d'abstracció: creació i ús de models que reflecteixin situacions reals. Capacitat de dissenyar i implementar experiments senzills, i d'analitzar i interpretar els seus resultats. Capacitat d'anàlisi, síntesi i avaluació.

    Bibliografia

    Bàsic

    Capacitats prèvies

    Teoria de probabilitat bàsica, algebra lineal, càlcul, ML i xarxes neuronals