Aprenentatge Automàtic Basat en Kernel i Modelat Multivariant

• Hores setmanals
• Competències
• Objectius
• Continguts
• Activitats
• Metodologia docent
• Mètode d'avaluació
• Bibliografia
• Web links

Hores setmanals

Competències

Competències Tècniques Generals

Genèriques

• CG3 - Capacitat per al modelatge matemàtic, càlcul i disseny experimental en centres tecnològics i d'enginyeria d'empresa, particularment en tasques de recerca i innovació en tots els àmbits de la Informàtica.

Competències Transversals

ús solvent dels recursos d'informació

• CTR4 - Gestionar l'adquisició, l'estructuració, l'anàlisi i la visualització de dades i d'informació de l'àmbit de l'enginyeria informàtica, i valorar de forma crítica els resultats d'aquesta gestió.

Raonament

• CTR6 - Capacitat de raonament crític, lògic i matemàtic. Capacitat de resoldre problemes en la seva àrea d'estudi. Capacitat d'abstracció: capacitat de crear i utilitzar models que reflecteixin situacions reals. Capacitat de dissenyar i realitzar experiments senzills, i analitzar-ne i interpretar-ne els resultats. Capacitat d'anàlisi, de síntesi i d'avaluació.

Competències Tècniques de cada especialitat

Específiques comunes

• CEC1 - Capacitat per aplicar el mètode científic en l'estudi i anàlisi de fenòmens i sistemes en qualsevol àmbit de la Informàtica, així com en la concepció, disseny i implantació de solucions informàtiques innovadores i originals.
• CEC3 - Capacitat per aplicar solucions innovadores i realitzar avanços en el coneixement que explotin els nous paradigmes de la Informàtica, particularment en entorns distribuïts.

Objectius

1. Understand the foundations of Kernel-Based Learning Methods
   Competències relacionades: CG3, CEC1, CEC3, CTR6,
2. Get acquainted with specific kernel-based methods, such as the Support Vector Machine
   Competències relacionades: CG3, CTR4,
3. Know methods for kernelizing existing statistical or machine learning algorithms
   Competències relacionades: CTR6,
4. Know the theoretical foundations of kernel functions and kernel methods
   Competències relacionades: CG3,
5. Know the structure of the main unsupervised learning problems.
   Competències relacionades: CG3, CEC1, CTR4, CTR6,
6. Learn different methods for dimensionality reduction when the standard assumptions in classical Multivariate Analysis are not fulfilled
   Competències relacionades: CG3, CEC1, CEC3, CTR4, CTR6,
7. Learn how to combine dimensionality reduction techniques with prediction algorithms
   Competències relacionades: CG3, CEC1, CEC3, CTR4, CTR6,

Continguts

1. Introduction to Kernel-Based Learning
   This topic introduces the student the foundations of Kernel-Based Learning focusing on Kernel Linear Regression
2. The Support Vector Machine (SVM)
   This topic develops Support Vector Machine (SVM) for classification, regression and novelty detection
3. Kernels: properties & design
   This topic defines kernel functions, their properties and construction. Introduces specific kernels for different data types, such as real vectors, categorical information, feature subsets, strings, probability distributions and graphs.
4. Kernelizing ML algorithms
   This topic reviews different techniques for kernelizing existent algorithms
5. Theoretical underpinnings
   This topic reviews the basic theoretical underpinnings of kernel-based methods, focusing on statistical learning theory
6. Introduction to unsupervised learning
   Unsupervised versus supervised learning. Main problems in unsupervised learning (density estimation, dimensionality reduction, latent variables, clustering).
7. Nonlinear dimensionality reduction
   a. Principal curves.
   b. Local Multidimensional Scaling.
   c. ISOMAP.
   d. t-Stochastic Neighbor Embedding.
   e. Applications: (i) Visualization of high- or infinite-dimensional data. (ii) Exploratory analysis of functional data in Demography.
8. Dimensionality reduction with sparsity
   a. Matrix decompositions, approximations, and completion.
   b. Sparse Principal Components and Canonical Correlation.
   c. Applications: (i) Recommender systems. (ii) Estimating causal effects.
9. Prediction after dimensionality reduction.
   a. Reduced rank regression and canonical correlation.
   b. Principal Component regression.
   c. Distance based regression.

Activitats

Activitat Acte avaluatiu

Metodologia docent

Mètode d'avaluació

Bibliografia

Bàsica:

• Kernel methods for pattern analysis - Shawe-Taylor, J.; Cristianini, N, Cambridge University Press, 2004. ISBN: 0521813972
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991002747459706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Learning with Kernels: support vector machines, regularization, optimization, and beyond - Schölkopf, B.; Smola, A.J, The MIT Press, 2002. ISBN: 0262194759
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991002368479706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep learning: methods and applications (pp.197-387) - Deng, L.; Yu, D., Now Publishers Inc., 2014. ISBN: 9781601988140
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004151719706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Deep learning (Vol. 1) - Goodfellow, I.; Bengio, Y.; Courville, A, The MIT Press, 2016. ISBN: 9780262035613
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004107709706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• The Elements of statistical learning: data mining, inference, and prediction - Hastie, T.; Tibshirani, R.; Friedman, J, Springer, cop. 2009. ISBN: 9780387952840
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003549679706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Statistical learning with sparsity: the lasso and generalizations - Hastie, Trevor; Tibshirani, Robert; Wainwright, Martin, CRC Press, 2015. ISBN: 9781498712170
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004212899706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Learning from data: concepts, theory, and methods - Cherkassky, V.S.; Mulier, F, John Wiley , 2007. ISBN: 0471681822
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003624509706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Web links

• Official website of the R programming language http://cran.r-project.org/
• Repository of educational videos (in English) on the topics of the course. http://videolectures.net/Top/Computer_Science/Machine_Learning/