• Horas semanales
• Competencias
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Capacidades previas

Profesorado

Responsable

• Lluís Màrquez Villodre ( )

Horas semanales

Competencias

Competencias Transversales

Transversales

• CT4 - Trabajo en equipo. Ser capaz de trabajar como miembro de un equipo interdisciplinar, ya sea como un miembro más o realizando tareas de dirección, con la finalidad de contribuir a desarrollar proyectos con pragmatismo y sentido de la responsabilidad, asumiendo compromisos teniendo en cuenta los recursos disponibles.
• CT5 - Uso solvente de los recursos de información. Gestionar la adquisición, la estructuración, el análisis y la visualización de datos e información en el ámbito de especialidad y valorar de forma crítica los resultados de dicha gestión.

Competencias Técnicas

Específicas

• CE14 - Dominar los fundamentos, paradigmas y técnicas propias de los sistemas inteligentes y analizar, diseñar y construir sistemas, servicios y aplicaciones informáticas que utilicen dichas técnicas en cualquier ámbito de aplicación, incluido la robótica.
• CE15 - Adquirir, formalizar y representar el conocimiento humano en una forma computable para la resolución de problemas mediante un sistema informático en cualquier ámbito de aplicación, particularmente los relacionados con aspectos de computación,percepción y actuación en ambientes o entornos inteligentes.
• CE16 - Diseñar y evaluar interfaces persona-máquina que garanticen la accesibilidad y usabilidad de los sistemas, servicios y aplicaciones informáticas.
• CE18 - Adquirir y desarrollar técnicas de aprendizaje computacional y diseñar e implementar aplicaciones y sistemas que las utilicen, incluyendo las dedicadas a extracción automática de información y conocimiento a partir de grandes volúmenes de datos.
• CE20 - Elegir y emplear técnicas de modelización estadística y análisis de datos, evaluando la calidad de los modelos, validándolos e interpretándolos.
• CE27 - Diseñar y aplicar técnicas de procesado de la voz, de reconocimiento del lenguaje hablado y comprensión del lenguaje humano, con aplicación en la inteligencia artificial social.

Competencias Técnicas Genéricas

Genéricas

• CG2 - Utilizar los conocimientos fundamentales y metodologías de trabajo sólidas adquiridos durante los estudios para adaptarse a los nuevos escenarios tecnológicos del futuro.
• CG3 - Definir, evaluar y seleccionar plataformas hardware y software para el desarrollo y la ejecución de sistemas, servicios y aplicaciones informáticas en el ámbito de la inteligencia artificial.
• CG8 - Observar un ejercicio ético de la profesión en todas sus facetas, aplicando criterios éticos en el diseño de sistemas,algoritmos, experimentos, utilización de datos, de acuerdo con los sistemas éticos recomendados por los organismos nacionales e internacionales, con especial énfasis en seguridad, robustez, privacidad, transparencia, trazabilidad, prevención de sesgos (de raza, género, religión, territorio, etc.) y respeto a los derechos humanos.
• CG9 - Afrontar nuevos retos con una visión amplia de las posibilidades de la carrera profesional en el ámbito de la Inteligencia Artificial. Desarrollar la actividad aplicando criterios de calidad y mejora continua, y actuar con rigor en el desarrollo profesional. Adaptarse a los cambios organizativos o tecnológicos. Trabajar en situaciones de carencia de información y/o con restricciones temporales y/o de recursos.

Objetivos

1. Comprender los componentes básicos de los modelos masivos de lenguaje (LLM) modernos, incluyendo: modelos i algoritmos de aprendizaje, procesamiento de datos, y evaluación.
   Competencias relacionadas: CG3, CT4, CE14, CE18, CE20,
2. Ser consciente de las principales fortalezas y debilidades de los LLM, siendo así crítico sobre lo que se puede esperar de ellos y cómo sacar lo mejor de ellos en cualquier situación.
   Competencias relacionadas: CG2, CG3, CT4, CT5, CE18,
3. Conocer los principales desafíos, problemas abiertos y direcciones de investigación en torno a los LLM
   Competencias relacionadas: CG2, CG8, CG9,
4. Adquirir criterios para conocer qué tipo de modelos/estrategias se pueden utilizar para abordar problemas de Procesamiento del Lenguaje Natural, pudiendo adaptar y utilizar un LLM para su solución.
   Competencias relacionadas: CE27, CT4, CE15, CE16,
5. Desarrollar el pensamiento crítico sobre los LLM, conociendo los riesgos asociados a ellos y tomar conciencia sobre la necesidad de utilizarlos de manera justa y segura.
   Competencias relacionadas: CG8, CE16, CE20,

Contenidos

1. Introducción
   En la introducción cubriremos los siguientes puntos:
   1/ ¿Por qué es importante y necesario este curso? 2/ Muy breve historia del Procesamiento del Lenguaje Natural. 3/ Breve historia de los modelos masivos de lenguaje. 4/ ¿Dónde estamos y hacia dónde vamos?
2. Transformers dentro del Procesamiento del Lenguage Natural
   En esta parte, presentaremos el modelo Transformers (self-attention) en el contexto del Procesamiento del Lenguaje Natural y cómo este transformó las aplicaciones de secuencia a secuencia (seq-to-seq):
   
   1/ Representación de palabras: semántica distribucional y word embeddings; 2/ La arquitectura Transformers (self-attention); 3/ Caso de uso: enfoque seq-to-seq con Transformers aplicado a la Traducción Automática.
3. Modelos Masivos de lenguaje autoregresivos
   Ésta es la parte central del curso y cubre las etapas principales del aprendizaje de los LLM. Más concretamente, abordaremos:
   1/ Tokenización; 2/ Preentrenamiento; 3/ Habilidades emergentes de los LLM: aprendizaje zero-shot y few-shot; 4/ Postentrenamiento para la creación de agentes conversacionales (aprendizaje supervisado ¿supervised fine-tuning¿ y aprendizaje por refuerzo); 5/ Ingeniería de prompts.
4. Limitaciones i riesgos de los LLM
   Discutiremos brevemente los siguientes temas relacionados con los riesgos asociados a los LLM: 1/ Alucinaciones; 2/ Sesgo y justicia (fairness); 3/ Seguridad de los LLM; 4/ Huella de los LLM (footprint); 5/ Colapso del modelo; 6/ Los LLM y la Inteligencia Artificial General (AGI)
5. Temas avanzados de LLM
   En esta última parte del curso, discutiremos algunos temas avanzados sobre los LLM, incluyendo la Generación Aumentada por Recuperación (RAG) y el entrenamiento de LLM para el razonamiento. Si el tiempo lo permite, dedicaremos la última sesión a tratar también otros temas de vanguardia basados en las preferencias del estudiantado.

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Large Language Models: A Deep Dive - Kamath, Uday; Keenan, Kevin; Somers, Garrett; Sorenson, Sarah, Springer Cham, 2024. ISBN: 978-3-031-65646-0
  https://link.springer.com/book/10.1007/978-3-031-65647-7

Capacidades previas