Crèdits
6
Tipus
Optativa
Requisits
Aquesta assignatura no té requisits
, però té capacitats prèvies
Departament
CS
L'assignatura revisa alguns fonaments i després aprofundeix en diverses tècniques modernes d'aprenentatge no lineal que van des de les xarxes neuronals modernes fins a mètodes avançats d'aprenentatge basats en nuclis i els darrers desenvolupaments en mètodes de conjunt. També pretén proporcionar una visió força unificada de l'àrea i de les possibles perspectives de futur.
Professorat
Responsable
- Luis Antonio Belanche Muñoz ( belanche@cs.upc.edu )
Altres
- Jamie Arjona Martínez ( jamie.arjona@upc.edu )
Hores setmanals
Teoria
3.2
Problemes
0
Laboratori
1
Aprenentatge dirigit
0
Aprenentatge autònom
7.38
Competències
Ús solvent dels recursos d'informació
Tercera llengua
Bàsiques
Genèriques
Específiques
Objectius
-
Mètodes avançats d'aprenentatge automàtic
Competències relacionades: CB10, CB6, CT4, CT5, CE10, CE8, CE9, -
Estadística bayesiana
Competències relacionades: CB7, CT4, CT5, CE10, CE5, CE8, -
Optimització de xarxes neuronals i màquines de vectors suport
Competències relacionades: CB10, CB6, CB7, CT4, CT5, CE10, CE11, CE3, CE5, CE8, CE9, CG2, -
Models lineals i models lineals generalitzats de regressió no paramètrics
Competències relacionades: CB10, CT5, CE10, CE5, -
Neteja de dades
Competències relacionades: CB6, CT4, CE11, CE3, CE8, CE9, CG2,
Continguts
-
Introducció a l'aprenentatge automàtic bayesià
Introduction to Bayesian thinking for machine learning. Learning by solving a regularized problem. Illustrative example. -
Aprenentatge en espais funcionals
Reproducing kernel Hilbert spaces. The representer theorem. Example 1: Kernel ridge regression. Example 2: The Perceptron and the kernel Perceptron. -
Funcions de kernel fomamentals en R^d
Description and demonstration of fundamental kernel functions in R^d. Polynomial and Gaussian kernels. General properties of kernel functions. -
La màquina de suport vectorial per a la classificació, regressió i detecció de novetats
The support vector machine (SVM) is the flagship in kernel methods. Its versions for classification, regression and novelty detection are fully explained and demonstrated. -
Funcions de kernel per a diferents tipus de dades
Some kernel functions for different data types are presented and demonstrated, such as text, trees, graphs, categorical variables, and many others. -
Altres algorismes d'aprenentatge basats en kernels
Additional kernel-based learning methods are explained, such as kernel PCA and kernel FDA. These are illustrated in several application examples. -
Introduction to deep neural networks. Autoencoders and Variational Autoencoders.
Introduction to deep neural networks: reminder of fundamental neural network theory and optimization, qualitative description, loss functions, activation functions, regularization and best practices.
Autoencoders and Variational Autoencoders. -
Special networks: (New) Hopfield neural networks and KANs
Special networks: (New) Hopfield neural networks and KANs. -
Ensemble methods: baggers, boosters and stackers
This activity cover the basic and modern developments in ensemble methods, including baggers, boosters and stackers. -
Tècniques avançades basades en xarxes profundes i mètodes kernel
Other methods are briefly introduced, such as the RVM and GPs. Nyström acceleration and Random Fourier features. Deep kernel learning and maybe others.
Activitats
Activitat Acte avaluatiu
Classes teòriques
Objectius: 1 2 4 3
Continguts:
- 1 . Introducció a l'aprenentatge automàtic bayesià
- 2 . Aprenentatge en espais funcionals
- 3 . Funcions de kernel fomamentals en R^d
- 4 . La màquina de suport vectorial per a la classificació, regressió i detecció de novetats
- 5 . Funcions de kernel per a diferents tipus de dades
- 6 . Altres algorismes d'aprenentatge basats en kernels
- 7 . Introduction to deep neural networks. Autoencoders and Variational Autoencoders.
- 8 . Special networks: (New) Hopfield neural networks and KANs
- 10 . Tècniques avançades basades en xarxes profundes i mètodes kernel
Teoria
40h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
25h
Classes de laboratori
Objectius: 1 3 5
Continguts:
- 1 . Introducció a l'aprenentatge automàtic bayesià
- 3 . Funcions de kernel fomamentals en R^d
- 4 . La màquina de suport vectorial per a la classificació, regressió i detecció de novetats
- 5 . Funcions de kernel per a diferents tipus de dades
- 6 . Altres algorismes d'aprenentatge basats en kernels
- 7 . Introduction to deep neural networks. Autoencoders and Variational Autoencoders.
- 8 . Special networks: (New) Hopfield neural networks and KANs
Teoria
0h
Problemes
0h
Laboratori
16h
Aprenentatge dirigit
0h
Aprenentatge autònom
16h
Pràctica de l'assignatura
Objectius: 1 2 4 3 5
Continguts:
- 1 . Introducció a l'aprenentatge automàtic bayesià
- 2 . Aprenentatge en espais funcionals
- 3 . Funcions de kernel fomamentals en R^d
- 4 . La màquina de suport vectorial per a la classificació, regressió i detecció de novetats
- 5 . Funcions de kernel per a diferents tipus de dades
- 6 . Altres algorismes d'aprenentatge basats en kernels
- 7 . Introduction to deep neural networks. Autoencoders and Variational Autoencoders.
- 8 . Special networks: (New) Hopfield neural networks and KANs
Teoria
0h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
32h
Metodologia docent
El curs aprofundeix en els paradigmes d'aprenentatge automàtic més importants amb una base sòlida en probabilitat, estadística i matemàtiques. La teoria s'introdueix a classes magistrals on el professor exposa els conceptes. Aquests conceptes es posen en pràctica a les classes de laboratori, on l'alumne aprèn a desenvolupar solucions d'aprenentatge automàtic a problemes reals de certa complexitat. Els estudiants han de treballar i lliurar un projecte al final del curs.Mètode d'avaluació
L'assignatura es qualifica de la següent manera:F = Nota de l'examen final
P1, P2, P3 = Nota dels treballs pràctics (1, 2 i 3)
Nota final = 25% F + 25% P1 + 25% P2 + 25% P3
Bibliografia
Bàsic
-
Pattern recognition and machine learning
- Bishop, Christopher M,
Springer,
cop. 2006.
ISBN: 0387310738
https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003157379706711&context=L&vid=34CSUC_UPC:VU1&lang=ca -
Kernel methods for pattern analysis
- Shawe-Taylor, John; Cristianini, Nello,
Cambridge University Press,
2004.
ISBN: 0521813972
https://discovery.upc.edu/discovery/fulldisplay?docid=alma991002747459706711&context=L&vid=34CSUC_UPC:VU1&lang=ca -
Neural networks and deep learning : a textbook
- Aggarwal, Charu C,
Springer,
2023.
ISBN: 9783031296420
https://ebookcentral-proquest-com.recursos.biblioteca.upc.edu/lib/upcatalunya-ebooks/detail.action?pq-origsite=primo&docID=30620507 -
Deep learning : foundations and concepts
- Bishop, Christopher M; Bishop, Hugh,
Springer,
[2024].
ISBN: 9783031454677
https://ebookcentral-proquest-com.recursos.biblioteca.upc.edu/lib/upcatalunya-ebooks/detail.action?pq-origsite=primo&docID=30853138 -
Ensemble Methods: Foundations and Algorithms
- Zhou. Zhi-Hua,
CRC Press,
2025.
ISBN: 9781003587774
https://www-taylorfrancis-com.recursos.biblioteca.upc.edu/books/mono/10.1201/9781003587774/ensemble-methods-zhi-hua-zhou