Temes Sobre Optimització i Aprenentatge Automàtic

• Professorat
• Hores setmanals
• Competències
• Objectius
• Continguts
• Activitats
• Metodologia docent
• Mètode d'avaluació
• Bibliografia
• Web links
• Capacitats prèvies

Professorat

Responsable

• Jose Maria Barceló Ordinas ( )

Altres

• Jorge García Vidal ( )

Hores setmanals

Competències

Competències Tècniques de cada especialitat

Xarxes de computadors i sistemes distribuïts

• CEE2.1 - Capacitat per a entendre els models, problemes i algoritmes relacionats amb els sistemes distribuïts, així com poder dissenyar i avaluar algoritmes i sistemes que tractin la problemàtica de la distribució i ofereixin serveis distribuïts.
• CEE2.2 - Capacitat d'entendre els models, problemes i algoritmes relacionats amb les xarxes de computadors, així com poder dissenyar i avaluar algoritmes, protocols i sistemes que tractin la problemàtica de la xarxes de comunicació entre computadors.
• CEE2.3 - Capacitat d'entendre els models, problemes i eines matemàtiques que permeten analitzar, dissenyar i avaluar xarxes de computadors i sistemes distribuïts.

Competències Transversals

Raonament

• CTR6 - Capacitat de raonament crític, lògic i matemàtic. Capacitat de resoldre problemes en la seva àrea d'estudi. Capacitat d'abstracció: capacitat de crear i utilitzar models que reflecteixin situacions reals. Capacitat de dissenyar i realitzar experiments senzills, i analitzar-ne i interpretar-ne els resultats. Capacitat d'anàlisi, de síntesi i d'avaluació.

Objectius

1. Capacitat per formular un problema d'optimització convexa
   Competències relacionades: CEE2.3, CTR6,
2. Capacitat per resoldre problemes d'optimització no lineal.
   Competències relacionades: CEE2.3, CTR6,
3. Capacitat per aplicar a problemes reals temes relacionats amb l'optimització
   Competències relacionades: CEE2.2, CEE2.3, CEE2.1, CTR6,
4. Capacitat per comprendre algorismes bàsics d'aprenentatge automàtic
   Competències relacionades: CEE2.3, CTR6,
5. Capacitat per aplicar algorismes d'aprenentatge automàtic a escenaris reals.
   Competències relacionades: CEE2.2, CEE2.3, CEE2.1, CTR6,
6. Capacitat per comprendre les xarxes neuronals i els algoritmes d'aprenentatge profund
   Competències relacionades: CEE2.3, CTR6,
7. Capacitat per aplicar xarxes neuronals i algoritmes d'aprenentatge profund a escenaris reals
   Competències relacionades: CEE2.2, CEE2.3, CEE2.1, CTR6,

Continguts

1. Conceptes bàsics d'optimització convexa
   En aquest tema, introduirem els conceptes d'home d'optimització no lineal amb especial èmfasi en l'optimització convexa. Concretament veurem: conjunts convexos, funcions convexes, problemes d'optimització convexa (COP) i dualitat (funció doble Lagrange, condicions d'optimitat de KKT), mètodes per resoldre COP (General Descent Methods, Interior Point Methods)
2. Aplicacions a temes d'aprenentatge automàtic
   Exemples de com s'aplica l'optimització en el camp de l'aprenentatge automàtic en xarxes informàtiques i xarxes distribuïdes. En concret, s'explicaran mètodes supervisats com la regressió lineal múltiple amb regularització (ridge regression i lasso), els mètodes de veïns més propers, la regressió nucli (RKHS) i els processos gaussians, les màquines de vectors de suport, el bootstrapping, el bosc aleatori, i mètodes no supervisats com els mètodes de clustering amb k-means, el clustering jeràrquic, la barreja de gaussians i l'algoritme de maximització d'expectatives.
3. Xarxes neuronals i aprenentatge profund
   En aquest capítol s'estudien els conceptes bàsics relacionats amb les xarxes neuronals i l'aprenentatge profund aplicats a les xarxes informàtiques i als sistemes distribuïts. En concret, introducció a les xarxes neuronals, algoritme de retropropagación, SGA, tècniques de regularització i revisió de les arquitectures de NN més importants, incloent-hi el perceptró multicapa (MLP), les xarxes neuronals convolucionals (CNN), les xarxes neuronals recurrents (RNN) i els codificadors automàtics.

Activitats

Activitat Acte avaluatiu

Metodologia docent

Mètode d'avaluació

Bibliografia

Bàsica:

• Convex optimization - Boyd, S.P.; Vandenberghe, L, Cambridge University Press, 2004. ISBN: 0521833787
  http://cataleg.upc.edu/record=b1253105~S1*cat
• Pattern recognition and machine learning - Bishop, Christopher M, Springer, 2006. ISBN: 0387310738
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003157379706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Machine learning : a bayesian and optimization perspective - Theodoridis, S, Elsevier Academic Press, 2020. ISBN: 9780128188033
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004192339706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep learning - Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron, The MIT Press, [2016]. ISBN: 9780262035613
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004107709706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Web links

• Book in PDF: "Convex Optimization" of Stephen P. Boyd and Lieven Vandenberghe, http://www.stanford.edu/~boyd/cvxbook/
• Book in PDF and supplementary material for "Deep Learning" of Goodfellow, Ian; Bengio, Yoshua; Courville, Aaron https://www.deeplearningbook.org

Capacitats prèvies