Models Grans de Llenguatge

• Hores setmanals
• Competències
• Objectius
• Continguts
• Activitats
• Metodologia docent
• Mètode d'avaluació
• Bibliografia
• Capacitats prèvies

Professorat

Responsable

• Lluís Màrquez Villodre ( )

Hores setmanals

Competències

Competències Transversals

Transversals

• CT4 - Treball en equip. Ser capaç de treballar com a membre d'un equip interdisciplinari, ja sigui com un membre més o realitzant tasques de direcció, amb la finalitat de contribuir a desenvolupar projectes amb pragmatisme i sentit de la responsabilitat, assumint compromisos tenint en compte els recursos disponibles.
• CT5 - Ús solvent dels recursos d'informació. Gestionar l'adquisició, l'estructuració, l'anàlisi i la visualització de dades i informació en l'àmbit de l'especialitat i valorar de forma crítica els resultats d'aquesta gestió.

Competències Tècniques

Específiques

• CE14 - Dominar els fonaments, paradigmes i tècniques pròpies dels sistemes intel·ligents i analitzar, dissenyar i construir sistemes, serveis i aplicacions informàtiques que utilitzin aquestes tècniques en qualsevol àmbit d'aplicació, inclòs la robòtica.
• CE15 - Adquirir, formalitzar i representar el coneixement humà en una forma computable per a la resolució de problemes mitjançant un sistema informàtic en qualsevol àmbit d'aplicació, particularment els relacionats amb aspectes de computació, percepció i actuació en ambients o entorns intel·ligents.
• CE16 - Dissenyar i avaluar interfícies persona-màquina que garanteixin l'accessibilitat i usabilitat dels sistemes, serveis i aplicacions informàtiques.
• CE18 - Adquirir i desenvolupar tècniques d'aprenentatge computacional i dissenyar i implementar aplicacions i sistemes que les utilitzin, incloent les dedicades a extracció automàtica d'informació i coneixement a partir de grans volums de dades.
• CE20 - Triar i emprar Tècniques de Modelització estadística i anàlisi de dades, avaluant la calidad dels models, validant-i interpretant.
• CE27 - Dissenyar i aplicar tècniques de processament de la veu, de reconeixement del llenguatge parlat i comprensió del llenguatge humà, amb aplicació en la intel·ligència artificial social.

Competències Tècniques Generals

Genèriques

• CG2 - Utilitzar els coneixements fonamentals i metodologies de treball sòlides adquirits durant els estudis per adaptar-se als nous escenaris tecnològics de el futur.
• CG3 - Definir, avaluar i seleccionar plataformes maquinari i programari per al desenvolupament i l'execució de sistemes, serveis i aplicacions informàtiques en l'àmbit de la intel·ligència artificial.
• CG8 - Observar un exercici ètic de la professió en totes les seves facetes, aplicant criteris ètics en el disseny de sistemes, algoritmes, experiments, utilització de dades, d'acord amb els sistemes ètics recomanats pels organismes nacionals i internacionals, amb especial èmfasi en seguretat, robustesa , privacitat, transparència, traçabilitat, prevenció de biaixos (de raça, gènere, religió, territori, etc.) i respecte als drets humans.
• CG9 - Afrontar nous reptes amb una visió àmplia de les possibilitats de la carrera professional en l'àmbit de la Intel·ligència Artificial. Desenvolupar l'activitat aplicant criteris de qualitat i millora contínua, i actuar amb rigor en el desenvolupament professional. Adaptar-se als canvis organitzatius o tecnològics. Treballar en situacions de carència d'informació i/o amb restriccions temporals i/o de recursos.

Objectius

1. Comprensió dels components bàsics dels models massius de llenguatge moderns (LLM), incloent-hi: models i algoritmes d'aprenentatge, processament de dades, i avaluació.
   Competències relacionades: CT4, CE14, CE18, CE20, CG3,
2. Ser conscient dels principals punts forts i febles dels LLM, sent crític sobre el que es pot esperar d'ells i com treure'n el màxim profit en qualsevol situació.
   Competències relacionades: CT5, CE18, CG2, CG3, CT4,
3. Conèixer els principals reptes actuals, problemes oberts i direccions de recerca al voltant dels LLM
   Competències relacionades: CG2, CG8, CG9,
4. Adquirir criteris per saber quin tipus de models/estratègies es poden utilitzar per abordar problemes de processament del llenguatge natural, i ser capaç d'adaptar i utilitzar un LLM per resoldre'ls.
   Competències relacionades: CT4, CE15, CE16, CE27,
5. Desenvolupar un pensament crític sobre els LLM, coneixent els riscos que hi estan associats i prenent consciència de la necessitat d'utilitzar-los de manera justa i segura.
   Competències relacionades: CE20, CG8, CE16,

Continguts

1. Introducció
   A la introducció cobrirem els punts següents:
   1/ Per què és important i necessari aquest curs?
   2/ Molt breu història del Processament del Llenguatge Natural.
   3/ Breu història dels models massius de llenguatge.
   4/ On som i cap a on anem?
2. Transformers dins el Processament del Llenguage Natural
   En aquesta part, presentarem el model Transformers (self-attention) en el context del Processament del Llenguatge Natural i com aquest va transformar les aplicacions de seqüència a seqüència (seq-to-seq):
   
   1/ Representació de paraules: semàntica distribucional i word embeddings; 2/ L'arquitectura Transformers (self-attention); 3/ Cas d'ús: enfocament seq-to-seq amb Transformers aplicat a la Traducció Automàtica.
3. Models Massius de Llenguatge autoregressius
   Aquesta és la part central del curs i cobreix les etapes principals de l'aprenentatge dels LLM. Més concretament, abordarem:
   1/ Tokenització; 2/ Preentrenament; 3/ Habilitats emergents dels LLM: aprenentatge zero-shot i few-shot; 4/ Postentrenament per a la creació d'agents conversacionals (aprenentatge supervisat --supervised fine tuning-- i aprenentatge per reforç); 5/ Enginyeria de prompts.
4. Limitacions i riscs dels LLM
   Discutirem breument els següents temes relacionats amb els riscs associats als LLM: 1/ Al·lucinacions; 2/ Biaix i justícia (fairness); 3/ Seguretat dels LLM; 4/ Petjada dels LLM (footprint); 5/ Col·lapse del model; 6/ Els LLM i la Intel·ligència Artificial General (AGI)
5. Temes avançats de LLM
   En aquesta última part del curs, discutirem alguns temes avançats sobre els LLM, incloent-hi la Generació Augmentada per Recuperació (RAG) i l'entrenament de LLM per al raonament. Si el temps ho permet, dedicarem l'última sessió a tractar també altres temes d'actualitat basats en les preferències de l'estudiantat.

Activitats

Activitat Acte avaluatiu

Metodologia docent

Mètode d'avaluació

Bibliografia

Bàsica:

• Large Language Models: A Deep Dive - Kamath, Uday; Keenan, Kevin; Somers, Garrett; Sorenson, Sarah, Springer Cham, 2024. ISBN: 978-3-031-65646-0
  https://link.springer.com/book/10.1007/978-3-031-65647-7

Capacitats prèvies