Aprenentatge Profund

Esteu aquí

Crèdits
4.5
Tipus
Optativa
Requisits
Aquesta assignatura no té requisits, però té capacitats prèvies
Departament
BSC;CS
Aquesta assignatura pretén familiaritzar l'estudiant amb els aspectes teòrics i pràctics de les tècniques d'aprenentatge profund (DL). Les classes magistrals refrescaran els conceptes bàsics de DL (CNN, etc.), assumint alguns coneixements previs. S'introduiran algunes de les arquitectures més populars, així com configuracions de xarxes neuronals que han demostrat ser útils per a problemes específics. A la part pràctica, l'estudiant haurà de dur a terme experiments utilitzant biblioteques de DL i experimentar amb els diversos components que s'han proposat en el camp.

Professorat

Responsable

  • Enrique Romero Merino ( )
  • Luis Antonio Belanche Muñoz ( )

Altres

  • Caroline König ( )

Hores setmanals

Teoria
2
Problemes
0
Laboratori
0.3
Aprenentatge dirigit
0.3
Aprenentatge autònom
4.93

Competències

Competències Tècniques de cada especialitat

Professionals

  • CEP3 - Capacitat d'aplicació de les tècniques d'Intel·ligència Artificial en entorns tecnològics i industrials per a la millora de la qualitat i la productivitat.
  • CEP4 - Capacitat per dissenyar, redactar i presentar informes sobre projectes informaticos en l'area especifica d'Intel·ligència Artificial.

Competències Transversals

Raonament

  • CT6 - Capacitat d'avaluar i analitzar de manera raonada i crítica sobre situacions, projectes, propostes, informes i estudis de caracter cientific-tecnic. Capacitat d'argumentar les raons que expliquen o justifiquen aquestes situacions, propostes, etc.

Analisis i sintesis

  • CT7 - Capacitat d'anàlisi i resolució de problemes tècnics complexos.

Objectius

  1. Entendre les varies técniques que es poden integrar en un sistema deep learning, i saber experimentar amb elles de manera coherent en un entorn de producció realista mitjançan't l'ús de llibreries de tercers.
    Competències relacionades: CEP3, CT7,
  2. Ser capaç de entendre articles científics del àrea del deep learning, d'extreure'n les conclusions més rellevants, i de derivar-ne possibles aplicacions o limitacions.
    Competències relacionades: CEP4, CT6,

Continguts

  1. Introduction and refresher
    Fundamental necessary concepts of ML will be reviewed, with special focus on those most influential to deep learning.
  2. Convolutional Neural Networks
    We will review the main aspects of Convolutional Neural Networks. How they work, why, and how can they be improved.
  3. Embeddings and autoencoders
    Autoencoders, Variational autoencoders, their modifications and uses. Embeddings. Transfer learning.
  4. Few-shot and zero-shot learning
    Zero-shot learning (ZSL), One-Shot Learning (OSL), and Few-Shot Learning (FSL) as approaches to handling limited training data in machine learning
  5. Diffusion Networks
    We will review the main aspects of Diffusion Networks. How they work, why, and how can they be used and trained.
  6. Transformer Networks
    We will review the main aspects of Transformer Networks. How they work, why, and how can they be used and trained.
  7. Graph Neural Networks
    We will review the main aspects of Graph Neural Networks. How they work, why, and how can they be used and trained.
  8. Interpretability and related issues. Negative deep learning
    We discuss interpretability aspects of DL and related issues. How negative deep learning can affect performance.

Activitats

Activitat Acte avaluatiu


Experimentació pràctica.

Experimentació usant llibreries de deep learning, i reportar les conclusions més rellevants.
Objectius: 1
Setmana: 13 (Fora d'horari lectiu)
Teoria
0h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
34h

Examen

Examen
Objectius: 1
Setmana: 13 (Fora d'horari lectiu)
Teoria
2h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
10h

Introducció i recordatori


Objectius: 1 2
Teoria
4h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
4h

Convolutional Neural Networks


Objectius: 1 2
Teoria
6h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
6h

Lab on Convolutional Neural Networks


Objectius: 1 2
Teoria
0h
Problemes
0h
Laboratori
2h
Aprenentatge dirigit
0h
Aprenentatge autònom
2h

Embeddings and autoencoders


Objectius: 1 2
Teoria
4h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
4h

Few-shot and zero-shot learning


Objectius: 1 2
Teoria
4h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
4h

Diffusion Networks


Objectius: 1 2
Teoria
2h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
2h

Transformer Networks


Objectius: 1 2
Teoria
4h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
4h

Lab on embeddings, autoencoders, few-shot and zero-shot learning


Objectius: 1 2
Teoria
0h
Problemes
0h
Laboratori
2h
Aprenentatge dirigit
0h
Aprenentatge autònom
0h

Graph Neural Networks


Objectius: 1 2
Teoria
2h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
2h

Interpretability and related issues. Negative deep learning


Objectius: 1 2
Teoria
2h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
2h

Metodologia docent

Aquesta assignatura té un component teòric i un de pràctic.

El component teòric consisteix en classes presencials on el professor revisarà conceptes d'aprenentatge profund, presentarà aplicacions i altres tendències recents en el camp.

El component pràctic està compost per dues pràctiques en grup, on els estudiants hauran d'experimentar amb les diverses tècniques d'aprenentatge profund. Basant-se en experiments senzills i utilitzant biblioteques populars d'aprenentatge profund (per exemple, Keras, TensorFlow, Pytorch, ...), els estudiants provaran els efectes de les diverses tècniques disponibles.

Al final del curs, hi haurà un examen.

Mètode d'avaluació

Aquesta assignatura s'avaluarà tenint en compte els aspectes teòrics i pràctics:

P1: nota de la pràctica 1
P2: nota de la pràctica 2
E: nota de l'examen

La nota final es calcularà com: 0,4 * P1 + 0,4 * P2 + 0,2 * E

Bibliografia

Bàsica:

Capacitats prèvies

Es requereixen conceptes bàsics de xarxes neuronals (SGD, retro-propagació, funcions de pèrdua) i aprenentatge automàtic (classificació, regressió, metodologies d'avaluació).

Els estudiants han de ser capaços de programar de forma autònoma (Python), treballar en un servidor remot a través d'un terminal (ssh, bash) i interactuar amb biblioteques de tercers.