Aprendizaje Automático Basado en Kernel y Modelado Multivariante

Créditos
6
Tipos
Optativa
Requisitos
Esta asignatura no tiene requisitos , pero tiene capacidades previas
Departamento
EIO;CS
Kernel based Machine Learning and Multivariate Modeling

Horas semanales

Teoría
3
Problemas
0
Laboratorio
0
Aprendizaje dirigido
0.2
Aprendizaje autónomo
6

Objetivos

  1. Understand the foundations of Kernel-Based Learning Methods
    Competencias relacionadas: CG3, CEC1, CEC3, CTR6,
  2. Get acquainted with specific kernel-based methods, such as the Support Vector Machine
    Competencias relacionadas: CG3, CTR4,
  3. Know methods for kernelizing existing statistical or machine learning algorithms
    Competencias relacionadas: CTR6,
  4. Know the theoretical foundations of kernel functions and kernel methods
    Competencias relacionadas: CG3,
  5. Know the structure of the main unsupervised learning problems.
    Competencias relacionadas: CG3, CEC1, CTR4, CTR6,
  6. Learn different methods for dimensionality reduction when the standard assumptions in classical Multivariate Analysis are not fulfilled
    Competencias relacionadas: CG3, CEC1, CEC3, CTR4, CTR6,
  7. Learn how to combine dimensionality reduction techniques with prediction algorithms
    Competencias relacionadas: CG3, CEC1, CEC3, CTR4, CTR6,

Contenidos

  1. Introduction to Kernel-Based Learning
    This topic introduces the student the foundations of Kernel-Based Learning focusing on Kernel Linear Regression
  2. The Support Vector Machine (SVM)
    This topic develops Support Vector Machine (SVM) for classification, regression and novelty detection
  3. Kernels: properties & design
    This topic defines kernel functions, their properties and construction. Introduces specific kernels for different data types, such as real vectors, categorical information, feature subsets, strings, probability distributions and graphs.
  4. Kernelizing ML algorithms
    This topic reviews different techniques for kernelizing existent algorithms
  5. Theoretical underpinnings
    This topic reviews the basic theoretical underpinnings of kernel-based methods, focusing on statistical learning theory
  6. Introduction to unsupervised learning
    Unsupervised versus supervised learning. Main problems in unsupervised learning (density estimation, dimensionality reduction, latent variables, clustering).
  7. Nonlinear dimensionality reduction
    a. Principal curves.
    b. Local Multidimensional Scaling.
    c. ISOMAP.
    d. t-Stochastic Neighbor Embedding.
    e. Applications: (i) Visualization of high- or infinite-dimensional data. (ii) Exploratory analysis of functional data in Demography.
  8. Dimensionality reduction with sparsity
    a. Matrix decompositions, approximations, and completion.
    b. Sparse Principal Components and Canonical Correlation.
    c. Applications: (i) Recommender systems. (ii) Estimating causal effects.
  9. Prediction after dimensionality reduction.
    a. Reduced rank regression and canonical correlation.
    b. Principal Component regression.
    c. Distance based regression.

Actividades

Actividad Acto evaluativo


Introduction to Kernel-Based Learning


Objetivos: 1
Contenidos:
Teoría
4h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

The SVM for classification, regression and novelty detection


Objetivos: 2
Contenidos:
Teoría
3h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Kernels: properties & design


Objetivos: 1 3
Contenidos:
Teoría
4h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Practice class (I): the SVM


Objetivos: 1 2
Contenidos:
Teoría
3h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Kernelizing ML algorithms


Objetivos: 3 4
Contenidos:
Teoría
4h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Practice class (II): kernel design & other KBL methods


Objetivos: 3 4
Contenidos:
Teoría
3h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Theoretical underpinnings


Objetivos: 1 4
Contenidos:
Teoría
4h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Introduction to unsupervised learning



Teoría
3h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Nonlinear dimensionality reduction 1



Teoría
4h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Nonlinear dimensionality reduction 2



Teoría
3h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Dimensionality reduction with sparsity 1



Teoría
4h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Dimensionality reduction with sparsity 2



Teoría
3h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Prediction after dimensionality reduction 1



Teoría
4h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
6h

Prediction after dimensionality reduction 2



Teoría
2h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0.2h
Aprendizaje autónomo
6h

Evaluation quiz


Objetivos: 1 2 3 4 5 6 7
Semana: 15 (Fuera de horario lectivo)
Teoría
0h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
0h

Metodología docente

El aprendizaje se realiza a través de una combinación de explicación teórica y su aplicación a ejercicios y casos reales. Las explicaciones desarrollarán los conocimientos científicos necesarios y su aplicación a la resolución de problemas. Estos problemas constituyen las prácticas de la asignatura, que serán desarrollados por los propios estudiantes como parte de su aprendizaje. El software utilizado será principalmente R.

Método de evaluación

La evaluación de la asignatura se realizará a partir de las notas obtenidas en las prácticas realizadas durante el curso, más la nota obtenida en la prueba escrita de evaluación global.

Cada práctica comportará la redacción del correspondiente informe escrito, el cual será evaluado por los profesores. Con el conjunto de prácticas realizadas se obtendrá una nota promedio P.

La prueba escrita se realizará al final del cuatrimestre y evaluará la asimilación de los conceptos básicos del conjunto de la asignatura, dando lugar a una nota T.

La nota final se obtendrá por ponderación:

60% x P + 40% x T

Bibliografía

Básico

Complementario

Web links