Temes Sobre Optimització i Aprenentatge Automàtic

Crèdits
6
Tipus
Obligatòria d'especialitat (Xarxes de Computadors i Sistemes Distribuïts)
Requisits
Aquesta assignatura no té requisits , però té capacitats prèvies
Departament
AC
Mail
jose.maria.barcelo@upc.edu
L'objectiu d'aquest curs és proporcionar a l'alumne una formació en metodologies en el disseny avançat de mecanismes mitjançant l'optimització convexa no lineal, l'aprenentatge automàtic i l'aprenentatge profund que es poden aplicar a xarxes d'ordinadors i sistemes distribuïts. En particular, explorarem models no lineals doptimització, mètodes daprenentatge màquina basats en kernels, i xarxes neuronals. Se recomienda realizar este curso antes del curso SANS-MIRI (semestre de primavera), que aborda temas más avanzados relacionados con los modelos generativos. Es recomana cursar aquest curs abans del curs SANS-MIRI (trimestre de primavera), que tracta temes més avançats relacionats amb els models generatius.

Professorat

Responsable

  • Jose Maria Barceló Ordinas (jose.maria.barcelo@upc.edu)

Altres

  • Jorge García Vidal (jorge@ac.upc.edu)

Hores setmanals

Teoria
4
Problemes
0
Laboratori
0
Aprenentatge dirigit
0
Aprenentatge autònom
7.11

Competències

Competències Tècniques de cada especialitat

Xarxes de computadors i sistemes distribuïts

  • CEE2.1 - Capacitat per a entendre els models, problemes i algoritmes relacionats amb els sistemes distribuïts, així com poder dissenyar i avaluar algoritmes i sistemes que tractin la problemàtica de la distribució i ofereixin serveis distribuïts.
  • CEE2.2 - Capacitat d'entendre els models, problemes i algoritmes relacionats amb les xarxes de computadors, així com poder dissenyar i avaluar algoritmes, protocols i sistemes que tractin la problemàtica de la xarxes de comunicació entre computadors.
  • CEE2.3 - Capacitat d'entendre els models, problemes i eines matemàtiques que permeten analitzar, dissenyar i avaluar xarxes de computadors i sistemes distribuïts.

    • Competències Tècniques Generals

    Genèriques

  • CG3 - Capacitat per al modelatge matemàtic, càlcul i disseny experimental en centres tecnològics i d'enginyeria d'empresa, particularment en tasques de recerca i innovació en tots els àmbits de la Informàtica.

    • Competències Transversals

    Raonament

  • CTR6 - Capacitat de raonament crític, lògic i matemàtic. Capacitat de resoldre problemes en la seva àrea d'estudi. Capacitat d'abstracció: capacitat de crear i utilitzar models que reflecteixin situacions reals. Capacitat de dissenyar i realitzar experiments senzills, i analitzar-ne i interpretar-ne els resultats. Capacitat d'anàlisi, de síntesi i d'avaluació.

    • Bàsiques

  • CB6 - Que els estudiants sàpiguen aplicar els coneixements adquirits y la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contexts més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
  • CB8 - Que els estudiants sàpiguen comunicar les seves conclusions i els coneixements i raons darreres que les sustenten- a públics especialitzats i no especialitzats d'una manera clara i sense ambigüitats.

    • Objectius

    1. Capacitat per formular un problema d'optimització convexa
      Competències relacionades: CB6, CTR6, CEE2.3, CG3,
    2. Capacitat per resoldre problemes d'optimització no lineal.
      Competències relacionades: CTR6, CEE2.3, CB6, CG3,
    3. Capacitat per aplicar a problemes reals temes relacionats amb l'optimització
      Competències relacionades: CB8, CTR6, CEE2.1, CEE2.2, CEE2.3, CG3,
    4. Capacitat per comprendre algorismes bàsics d'aprenentatge automàtic
      Competències relacionades: CTR6, CEE2.3, CG3, CB6,
    5. Capacitat per aplicar algorismes d'aprenentatge automàtic a escenaris reals.
      Competències relacionades: CB8, CTR6, CEE2.1, CEE2.2, CEE2.3, CG3,
    6. Capacitat per comprendre les xarxes neuronals i els algoritmes d'aprenentatge profund
      Competències relacionades: CB6, CTR6, CEE2.3, CG3,
    7. Capacitat per aplicar xarxes neuronals i algoritmes d'aprenentatge profund a escenaris reals
      Competències relacionades: CB8, CTR6, CEE2.1, CEE2.2, CEE2.3, CG3,

    Continguts

    1. Conceptes bàsics d'optimització convexa
      En aquest tema, introduirem els conceptes d'home d'optimització no lineal amb especial èmfasi en l'optimització convexa. Concretament veurem: conjunts convexos, funcions convexes, problemes d'optimització convexa (COP) i dualitat (funció doble Lagrange, condicions d'optimitat de KKT), mètodes per resoldre COP (General Descent Methods, Interior Point Methods)
    2. Mètodes de aprenentatge màquina
      Exemples de com s'aplica l'optimització en el camp de l'aprenentatge automàtic en xarxes informàtiques i xarxes distribuïdes. Concretament, explicarem mètodes supervisats com la regressió lineal múltiple amb regularització (regressió ridge i Lasso), mètodes de veïns més propers, regressió de nucli (RKHS) i processos gaussian, màquines de vectors de suport, bootstrapping, bosc aleatori, i mètodes no supervisats com els mètodes de agrupació amb k-means, agrupació jeràrquica, mescla de gaussianes i l'algorisme d'expectativa-maximització.
    3. Xarxes neuronals
      En aquest capítol, estudiem els conceptes bàsics relacionats amb les xarxes neuronals i l'aprenentatge profund aplicats a les xarxes informàtiques i als sistemes distribuïts. Concretament, la introducció a les xarxes neuronals, l'algorisme de propagació inversa, l'SGD, les tècniques de regularització i una revisió de les arquitectures de xarxes neuronals més importants, incloent-hi el perceptron multiestrat (MLP), les xarxes neuronals convolucionals (CNN), les xarxes neuronals recurrents (RNN) i els autoencodificadors.

    Activitats

    Activitat Acte avaluatiu


    Conceptes bàsics d'optimització convexa


    Objectius: 1 2 3
    Continguts:
    Teoria
    18h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    15h

    Mètodes de aprenentatge màquina


    Objectius: 4 3
    Continguts:
    Teoria
    18h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    15h

    Xarxes neuronals


    Objectius: 3 6
    Continguts:
    Teoria
    18h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    15h

    Entrega del projecte de programació basat en optimització no lineal


    Objectius: 2 3
    Setmana: 9 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Entrega del projecte mitjançant tècniques d'aprenentatge automàtic (KRR, SVR, GP),


    Objectius: 5 4 3
    Setmana: 14 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Entrega del projecte mitjançant una xarxa neuronal


    Objectius: 3 6 7
    Setmana: 18 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Metodologia docent

    Durant les sessions inicials de cada tema, s'explicaran els resultats principals a la pissarra. L'estudiant resoldrà alguns exercicis per demostrar les seves habilitats en el tema. Finalment, els estudiants faran projectes de desenvolupament d'acord al temes estudias.

    Mètode d'avaluació

    L'avaluació es basa en el desenvolupament de 3 projectes (cada projecte val igual) i 2 exàmens escrits. La nota final del curs (FM) serà:

    FM = 0.6*(P1+P2+P3) + 0.1*Ex2 + 0.1* Ex3 + 0.1 *Ex4.

    Per a cada projecte es lliura un reporti de recerca on s'analitza el problema proposat, es descriu la metodologia de resolució i es descriuen els resultats i conclusions. S'avaluarà la capacitat de l'alumne per a demostrar enteniment i comprensió de la teoria, capacitat de raonament i de comunicar resultats (competències CG3, CEE2.2, CEE2.3, CEE2.1, CB8, CTR6).

    En els exàmens escrits (realitzats en horari de clase), se'ls donarà una llista de conceptes teòrics relacionats amb els temes de l'assignatura en els quals han de demostrar una comprensió i enteniment. En l'examen se'ls demanarà que expliquin la comprensió que tenen sobre aquests conceptes (competències CG3, CEE2.3, CB6, CTR6).

    Bibliografia

    Bàsic

    Web links

    Capacitats prèvies

    Cap.