Aprenentatge Profund

Esteu aquí

Inici » Estudis » Màsters » Màster en Intel·ligència Artificial » Pla d'estudis » Assignatures » Aprenentatge Profund
Crèdits
4.5
Tipus
Optativa
Requisits
Aquesta assignatura no té requisits, però té capacitats prèvies
Departament
BSC;CS
Web
https://upc-mai-dl.github.io
Aquesta assignatura pretén familiaritzar l'alumne amb els aspectes pràctics de les tècniques de Deep Learning (DL). En les classes de teoria es refrescaran els conceptes bàsics de DL (CNNs, LSTMs, etc.), assumint cert coneixement previ. També s'introduiran les arquitectures més populars, així com configuracions de xarxes que s'han demostrat útils per problemes concrets. En la part pràctica, l'alumne haurà de realitzar experiments usant llibreries de DL, i experimentant amb els diversos components que es s'han proposat al camp. Les pràctiques es realitzaran en recursos computacionals del Barcelona Supercomputing Center (BSC), que disposa de tecnologia d'última generació.

Professorat

Responsable

  • Dario García Gasulla ( )

Altres

  • Javier Béjar Alonso ( )
  • Marc Casas Guix ( )

Hores setmanals

Teoria
1
Problemes
0
Laboratori
2
Aprenentatge dirigit
0.38
Aprenentatge autònom
6

Competències

Competències Tècniques de cada especialitat

Professionals

  • CEP3 - Capacitat d'aplicació de les tècniques d'Intel·ligència Artificial en entorns tecnològics i industrials per a la millora de la qualitat i la productivitat.
  • CEP4 - Capacitat per dissenyar, redactar i presentar informes sobre projectes informaticos en l'area especifica d'Intel·ligència Artificial.

Competències Transversals

Raonament

  • CT6 - Capacitat d'avaluar i analitzar de manera raonada i crítica sobre situacions, projectes, propostes, informes i estudis de caracter cientific-tecnic. Capacitat d'argumentar les raons que expliquen o justifiquen aquestes situacions, propostes, etc.

Analisis i sintesis

  • CT7 - Capacitat d'anàlisi i resolució de problemes tècnics complexos.

Objectius

  1. Entendre les varies técniques que es poden integrar en un sistema deep learning, i saber experimentar amb elles de manera coherent en un entorn de producció realista mitjançan't l'ús de llibreries de tercers.
    Competències relacionades: CT7, CEP3,
  2. Ser capaç de entendre articles científics del àrea del deep learning, d'extreure'n les conclusions més rellevants, i de derivar-ne possibles aplicacions o limitacions.
    Competències relacionades: CT6, CEP4,

Continguts

  1. Convolutional Neural Networks
    We will review the main aspects of CNNs. How they work, why, and how can they be improved.
  2. Recurrent Neural Networks
    We will review the main aspects of RNNs. How they work, why, and how can they be improved.
  3. Transfer Learning
    We will review several ways in which neural network embeddings can be reused, the pros and cons.
  4. HPC&DL
    We will review basic concepts of High Performance Computing in the context of Deep Learning.
  5. Transformer Networks
    Introduction to Transformer Networks

Activitats

Activitat Acte avaluatiu


Experimentació pràctica.

Experimentació usant llibreries de deep learning, i reportar les conclusions més rellevants.
Objectius: 1
Setmana: 13
Tipus: entrega
Teoria
0h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
2.6h
Aprenentatge autònom
15h

Comprensió teórica

Llegir un article rellevant del camp del deep learning, descriure i presentar les principals contribucions, aixì com possibles linies de treball futur o limitacions del mateix.
Objectius: 2
Setmana: 13
Tipus: entrega
Teoria
0h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
2h
Aprenentatge autònom
9h

Revisió del Multilayer Perceptron i de les Convolutiona Neural Networks



Teoria
3h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
3h

Laboratori en Multilayer Perceptron i Convolutional Neural Networks



Teoria
0h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
9h

Revisió de les Xarxes Neuronals Recurrents



Teoria
3h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
3h

Laboratori en Xarxes Neuronals Recurrents



Teoria
0h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
9h

Revisió dels Neural Embedding Spaces



Teoria
3h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
3h

Laboratori en Neural Embedding Spaces



Teoria
0h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
9h

Revisió de HPC per Deep Learning



Teoria
3h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
3h

Laboratori en HPC per Deep Learning



Teoria
0h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
9h

Metodologia docent

Aquesta assignatura te una component teòrica i una pràctica.
La component teòrica consta de classes presencials on el professor repassarà conceptes de Deep Learning, presentarà aplicacions, i altres tendències recents del camp. Al final de curs, els alumnes hauran de llegir i analitzar articles de Deep Learning per demostrar els coneixements apresos.
La component pràctica costa de practiques individuals, on els alumnes hauran d'experimentar amb les diverses tècniques de Deep Learning. Basant-se en experiments simples, i usant llibreries populars de Deep Learning (e.g., Keras, TensorFlow, Theano, Caffe), els alumnes provaran els efectes de les varies tècniques disponibles.

Mètode d'avaluació

Aquesta assignatura serà avaluada tenint en compte la part teòrica (25%) i pràctica (75%).
Per la part teòrica, els alumnes hauran de llegir un article de Deep Learning (proposat o validat per el professor) i fer-ne una presentació detallant les principals contribucions a la classe. També hauran de fer un anàlisis critic del article, detallant aspectes que es podrien fer diferent, treball futur que se'n podria derivar, o limitacions de la pròpia metodologia.
Per la part pràctica, els alumnes hauran de fer un resum dels experiments realitzats en les pràctiques, detallant els resultats obtinguts en cada experiment, i interpretant aquests resultats.

Bibliografia

Bàsica:

Capacitats prèvies

Es requereixen conceptes bàsics de xarxes neuronals (SGD, back-propagation, loss functions) i de machine learning (classificació, regressió, metodologies d'avaluació).
Els alumnes han de ser capaços de programar de manera autónoma (Python), de treballar en un servidor de manera remota a traves d'una terminal (ssh, bash), i d'interactuar amb llibreries de tercers.