Aprenentatge Profund

Crèdits
4.5
Tipus
Optativa
Requisits
Aquesta assignatura no té requisits , però té capacitats prèvies
Departament
BSC;CS
Aquesta assignatura pretén familiaritzar l'estudiant amb els aspectes teòrics i pràctics de les tècniques d'aprenentatge profund (DL). Les classes magistrals refrescaran els conceptes bàsics de DL (CNN, etc.), assumint alguns coneixements previs. S'introduiran algunes de les arquitectures més populars, així com configuracions de xarxes neuronals que han demostrat ser útils per a problemes específics. A la part pràctica, l'estudiant haurà de dur a terme experiments utilitzant biblioteques de DL i experimentar amb els diversos components que s'han proposat en el camp.

Professorat

Responsable

Altres

Hores setmanals

Teoria
2
Problemes
0
Laboratori
0.3
Aprenentatge dirigit
0.3
Aprenentatge autònom
4.93

Competències

Competències Tècniques de cada especialitat

Professionals

  • CEP3 - Capacitat d'aplicació de les tècniques d'Intel·ligència Artificial en entorns tecnològics i industrials per a la millora de la qualitat i la productivitat.
  • CEP4 - Capacitat per dissenyar, redactar i presentar informes sobre projectes informaticos en l'area especifica d'Intel·ligència Artificial.

    • Competències Transversals

    Raonament

  • CT6 - Capacitat d'avaluar i analitzar de manera raonada i crítica sobre situacions, projectes, propostes, informes i estudis de caracter cientific-tecnic. Capacitat d'argumentar les raons que expliquen o justifiquen aquestes situacions, propostes, etc.

    • Analisis i sintesis

  • CT7 - Capacitat d'anàlisi i resolució de problemes tècnics complexos.

    • Objectius

    1. Entendre les varies técniques que es poden integrar en un sistema deep learning, i saber experimentar amb elles de manera coherent en un entorn de producció realista mitjançan't l'ús de llibreries de tercers.
      Competències relacionades: CT7, CEP3,
    2. Ser capaç de entendre articles científics del àrea del deep learning, d'extreure'n les conclusions més rellevants, i de derivar-ne possibles aplicacions o limitacions.
      Competències relacionades: CT6, CEP4,

    Continguts

    1. Introduction and refresher
      Fundamental necessary concepts of ML will be reviewed, with special focus on those most influential to deep learning.
    2. Convolutional Neural Networks
      We will review the main aspects of Convolutional Neural Networks. How they work, why, and how can they be improved.
    3. Embeddings and autoencoders
      Autoencoders, Variational autoencoders, their modifications and uses. Embeddings. Transfer learning.
    4. Few-shot and zero-shot learning
      Zero-shot learning (ZSL), One-Shot Learning (OSL), and Few-Shot Learning (FSL) as approaches to handling limited training data in machine learning
    5. Diffusion Networks
      We will review the main aspects of Diffusion Networks. How they work, why, and how can they be used and trained.
    6. Transformer Networks
      We will review the main aspects of Transformer Networks. How they work, why, and how can they be used and trained.
    7. Graph Neural Networks
      We will review the main aspects of Graph Neural Networks. How they work, why, and how can they be used and trained.
    8. Interpretability and related issues. Negative deep learning
      We discuss interpretability aspects of DL and related issues. How negative deep learning can affect performance.

    Activitats

    Activitat Acte avaluatiu


    Experimentació pràctica.

    Experimentació usant llibreries de deep learning, i reportar les conclusions més rellevants.
    Objectius: 1
    Setmana: 13 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Examen

    Examen
    Objectius: 1
    Setmana: 13 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Introducció i recordatori


    Objectius: 1 2
    Teoria
    4h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Convolutional Neural Networks


    Objectius: 1 2
    Teoria
    6h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    6h

    Lab on Convolutional Neural Networks


    Objectius: 1 2
    Teoria
    0h
    Problemes
    0h
    Laboratori
    2h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    2h

    Embeddings and autoencoders


    Objectius: 1 2
    Teoria
    4h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Few-shot and zero-shot learning


    Objectius: 1 2
    Teoria
    4h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Diffusion Networks


    Objectius: 1 2
    Teoria
    2h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    2h

    Transformer Networks


    Objectius: 1 2
    Teoria
    4h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    4h

    Lab on embeddings, autoencoders, few-shot and zero-shot learning


    Objectius: 1 2
    Teoria
    0h
    Problemes
    0h
    Laboratori
    2h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Graph Neural Networks


    Objectius: 1 2
    Teoria
    2h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    2h

    Interpretability and related issues. Negative deep learning


    Objectius: 1 2
    Teoria
    2h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    2h

    Metodologia docent

    Aquesta assignatura té un component teòric i un de pràctic.

    El component teòric consisteix en classes presencials on el professor revisarà conceptes d'aprenentatge profund, presentarà aplicacions i altres tendències recents en el camp.

    El component pràctic està compost per dues pràctiques en grup, on els estudiants hauran d'experimentar amb les diverses tècniques d'aprenentatge profund. Basant-se en experiments senzills i utilitzant biblioteques populars d'aprenentatge profund (per exemple, Keras, TensorFlow, Pytorch, ...), els estudiants provaran els efectes de les diverses tècniques disponibles.

    Al final del curs, hi haurà un examen.

    Mètode d'avaluació

    Aquesta assignatura s'avaluarà tenint en compte els aspectes teòrics i pràctics:

    P1: nota de la pràctica 1
    P2: nota de la pràctica 2
    E: nota de l'examen

    La nota final es calcularà com: 0,4 * P1 + 0,4 * P2 + 0,2 * E

    Bibliografia

    Bàsic

    Capacitats prèvies

    Es requereixen conceptes bàsics de xarxes neuronals (SGD, retro-propagació, funcions de pèrdua) i aprenentatge automàtic (classificació, regressió, metodologies d'avaluació).

    Els estudiants han de ser capaços de programar de forma autònoma (Python), treballar en un servidor remot a través d'un terminal (ssh, bash) i interactuar amb biblioteques de tercers.