• Horas semanales
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Capacidades previas

Profesorado

Responsable

• Lluís Màrquez Villodre ( )

Horas semanales

Objetivos

1. Comprender los componentes básicos de los modelos masivos de lenguaje (LLM) modernos, incluyendo: modelos i algoritmos de aprendizaje, procesamiento de datos, y evaluación.
   Competencias relacionadas: CG3, CT4, CE14, CE18, CE20,
2. Ser consciente de las principales fortalezas y debilidades de los LLM, siendo así crítico sobre lo que se puede esperar de ellos y cómo sacar lo mejor de ellos en cualquier situación.
   Competencias relacionadas: CG2, CG3, CT4, CT5, CE18,
3. Conocer los principales desafíos, problemas abiertos y direcciones de investigación en torno a los LLM
   Competencias relacionadas: CG2, CG8, CG9,
4. Adquirir criterios para conocer qué tipo de modelos/estrategias se pueden utilizar para abordar problemas de Procesamiento del Lenguaje Natural, pudiendo adaptar y utilizar un LLM para su solución.
   Competencias relacionadas: CE27, CT4, CE15, CE16,
5. Desarrollar el pensamiento crítico sobre los LLM, conociendo los riesgos asociados a ellos y tomar conciencia sobre la necesidad de utilizarlos de manera justa y segura.
   Competencias relacionadas: CG8, CE16, CE20,

Contenidos

1. Introducción
   En la introducción cubriremos los siguientes puntos:
   1/ ¿Por qué es importante y necesario este curso? 2/ Muy breve historia del Procesamiento del Lenguaje Natural. 3/ Breve historia de los modelos masivos de lenguaje. 4/ ¿Dónde estamos y hacia dónde vamos?
2. Transformers dentro del Procesamiento del Lenguage Natural
   En esta parte, presentaremos el modelo Transformers (self-attention) en el contexto del Procesamiento del Lenguaje Natural y cómo este transformó las aplicaciones de secuencia a secuencia (seq-to-seq):
   
   1/ Representación de palabras: semántica distribucional y word embeddings; 2/ La arquitectura Transformers (self-attention); 3/ Caso de uso: enfoque seq-to-seq con Transformers aplicado a la Traducción Automática.
3. Modelos Masivos de lenguaje autoregresivos
   Ésta es la parte central del curso y cubre las etapas principales del aprendizaje de los LLM. Más concretamente, abordaremos:
   1/ Tokenización; 2/ Preentrenamiento; 3/ Habilidades emergentes de los LLM: aprendizaje zero-shot y few-shot; 4/ Postentrenamiento para la creación de agentes conversacionales (aprendizaje supervisado ¿supervised fine-tuning¿ y aprendizaje por refuerzo); 5/ Ingeniería de prompts.
4. Limitaciones i riesgos de los LLM
   Discutiremos brevemente los siguientes temas relacionados con los riesgos asociados a los LLM: 1/ Alucinaciones; 2/ Sesgo y justicia (fairness); 3/ Seguridad de los LLM; 4/ Huella de los LLM (footprint); 5/ Colapso del modelo; 6/ Los LLM y la Inteligencia Artificial General (AGI)
5. Temas avanzados de LLM
   En esta última parte del curso, discutiremos algunos temas avanzados sobre los LLM, incluyendo la Generación Aumentada por Recuperación (RAG) y el entrenamiento de LLM para el razonamiento. Si el tiempo lo permite, dedicaremos la última sesión a tratar también otros temas de vanguardia basados en las preferencias del estudiantado.

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Large Language Models: A Deep Dive - Kamath, Uday; Keenan, Kevin; Somers, Garrett; Sorenson, Sarah, Springer Cham, 2024. ISBN: 978-3-031-65646-0
  https://link.springer.com/book/10.1007/978-3-031-65647-7

Capacidades previas