Computació d'Altes Prestacions per a la Intel·ligència Artificial

Esteu aquí

Inici » Estudis » Màsters » Màster en Enginyeria Informàtica » Pla d'estudis » Assignatures » Computació d'Altes Prestacions per a la Intel·ligència Artificial
Crèdits
3
Tipus
Optativa
Requisits
Aquesta assignatura no té requisits, però té capacitats prèvies
Departament
AC
Web
https://torres.ai/HPC4AI-MEI
Mail
High Performance Computing for Artificial Intelligence (HPC4AI) is a master-level, practical-oriented course focused on understanding how modern AI training workloads actually run on real supercomputing infrastructures.

Rather than treating deep learning frameworks and tools as black boxes, the course adopts a system-oriented perspective. It guides students through the complete execution workflow of AI training, from hardware architecture and system software to job scheduling, parallel execution, performance measurement, and scalability analysis. The emphasis is on execution behavior: how computation, memory, communication, and coordination interact, and how these interactions determine performance, efficiency, and cost.

A central premise of the course is that the nature of engineering work in AI is changing. Modern AI tools can generate training scripts, pipelines, and even distributed execution logic with minimal effort. As a result, writing code is no longer the primary challenge. The real difficulty, and the real value, lies in understanding whether that code scales, where bottlenecks appear, when efficiency is lost, and what trade-offs are being made when more resources are used.

For this reason, the course explicitly allows and acknowledges the use of modern AI tools (such as code assistants, agentic systems, or automated code generators). However, the course is not about code authorship or syntax. It is about developing the ability to reason about performance, scalability, efficiency, and cost when training deep learning models on real HPC systems. Students are expected to understand what is being executed, how it behaves at scale, and why performance changes as observed.

Hands-on experimentation is a core component of the course. Through a sequence of laboratory activities, students train deep learning models using single and multiple GPUs, explore parallel and distributed training strategies, and analyze scalability and performance behavior under realistic conditions. All laboratory work and assessments are evaluated based on the quality of experimental setup, the relevance of performance measurements, the interpretation of results, and the soundness of scalability and cost¿benefit reasoning.

The course material is self-contained and based on the official course textbook, which serves as the main reference for both theoretical concepts and practical activities. No prior experience with supercomputers is required, and deep learning concepts are introduced progressively as needed.

Ultimately, HPC4AI is not a course about recipes or fixed solutions. It is a course about developing engineering judgment. As code generation becomes cheaper and more accessible, the ability to measure, reason, and decide becomes essential. This course is designed to develop precisely that ability.

Details specific to the 2026 edition of the course can be found on the course web page:
https://torres.ai/HPC4AI-MEI

Professorat

Responsable

  • Jordi Torres Viñals ( )

Hores setmanals

Teoria
2
Problemes
0
Laboratori
2
Aprenentatge dirigit
0
Aprenentatge autònom
7.1

Competències

Competències Tècniques de cada especialitat

Direcció i gestió

  • CDG1 - Capacitat per a la integració de tecnologies, aplicacions, serveis i sistemes propis de l'Enginyeria Informàtica, amb caràcter generalista, i en contextos més amplis i multidisciplinaris.

Específiques

  • CTE6 - Capacitat per a dissenyar i avaluar sistemes operatius i servidors, i aplicacions i sistemes basats en computació distribuïda.
  • CTE9 - Capatitat per a aplicar mètodes matemàtics, estadístics i d'intel·ligència artificial per a modelar, dissenyar i desenvolupar aplicacions, serveis, sistemes intel·ligents i sistemes basats en el coneixement.

Competències Tècniques Generals

Genèriques

  • CG1 - Capacitat per a projectar, calcular, i dissenyar productes, processos i instal·lacions en tots els àmbits de l'Enginyeria Informàtica
  • CG4 - Capacitat pel modelat matemàtic, càlcul i simulació en centres tecnològics i d'enginyeria d'empresa, particularment en tasques de recerca, desenvolupament i innovació en tots els àmbits relacionats amb l'Enginyeria en Informàtica.
  • CG6 - Capacitat per a la direcció general, direcció tècnica i direcció de projectes de recerca, desenvolupament i innovació en empreses i centres tecnològics, en l'àmbit de l'Enginyeria en Informàtica.
  • CG7 - Capacitat per a la posada en marxa, direcció i gestió de processos de fabricació d'equips informàtics, amb garantia de la seguretat per a les persones i béns, la qualitat final dels productes i la seva homologació
  • CG8 - Capacitat per a l'aplicació dels coneixements adquirits i de resoldre problemes en entorns nous o poc coneguts dins de contexts més amplis i multidisciplinaris, essent capaços d'integrar aquests coneixements.

Competències Transversals

Actitud adequada davant el treball

  • CTR5 - Tenir motivació per a la realització professional i per a afrontar nous reptes, tenir una visió àmplia de les possibilitats de la carrera professional en l'àmbit de l'enginyeria en informàtica. Sentir-se motivat per la qualitat i la millora contínua, i actuar amb rigor en el desenvolupament professional. Capacitat d'adaptació als canvis organitzatius o tecnològics. Capacitat de treballar en situacions de carència d'informació i/o amb restriccions temporals i/o de recursos.

Bàsiques

  • CB6 - Que els estudiants sàpiguen aplicar els coneixements adquirits y la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contexts més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
  • CB8 - Que els estudiants sàpiguen comunicar les seves conclusions i els coneixements i raons darreres que les sustenten- a públics especialitzats i no especialitzats d'una manera clara i sense ambigüitats.
  • CB9 - Que els estudiants posseeixin les habilitats d'aprenentatge que els permetin continuar estudiant d'una manera que haurà de ser en gran mesura autodirigida o autònoma.

Objectius

  1. OE1: Foundations of HPC platforms for AI: comprendre l'arquitectura, els components principals i l'entorn software d'una plataforma de supercomputació moderna orientada a càrregues de treball d'intel·ligència artificial.
    Competències relacionades: CTE6, CG1, CG6, CG7, CG8,
  2. OE2: Practical use of a supercomputer for AI workloads: adquirir autonomia bàsica en l'ús d'un supercomputador real, incloent accés, gestió de recursos i execució de treballs per a aplicacions d'intel·ligència artificial.
    Competències relacionades: CTE6, CG1, CB6, CG8,
  3. OE3: Fundamentals of Deep Learning for HPC users: entendre els principis fonamentals del Deep Learning necessaris per entrenar models en entorns de supercomputació, sense requerir coneixements previs avançats.
    Competències relacionades: CTE9, CG4, CG8,
  4. OE4: Parallel training of Deep Learning models: comprendre i aplicar tècniques d¿entrenament paral·lel de models de Deep Learning utilitzant múltiples GPUs en un o diversos nodes (servidors) de computació
    Competències relacionades: CTE6, CTE9, CG1, CB6, CB9,
  5. OE5: Performance analysis and optimization of AI training: analitzar el rendiment de l¿entrenament de models d'intel·ligència artificial mitjançant mètriques com throughput, speedup i eficiència, i aplicar tècniques bàsiques d¿optimització.
    Competències relacionades: CTE6, CTE9, CG1, CG4,
  6. OE6: Experimental evaluation and communication of results: avaluar experimentalment resultats obtinguts en un entorn de supercomputació i comunicar conclusions tècniques de manera clara, estructurada i argumentada.
    Competències relacionades: CDG1, CTR5, CB8, CB9,

Continguts

  1. C1: HPC platforms and software ecosystem for AI
    Arquitectura d'un supercomputador modern, components hardware, sistema operatiu, entorn de programari i stack bàsic de software per a càrregues de treball d'intel·ligència artificial.
  2. C2: Accessing and using a supercomputer for AI workloads
    Accés a un supercomputador, gestió de comptes d'usuari, sistemes de cues, SLURM i execució de treballs per a aplicacions de Deep Learning.
  3. C3: Deep Learning fundamentals for HPC environments
    Conceptes bàsics de Deep Learning necessaris per entrenar models en entorns HPC: xarxes neuronals, entrenament, datasets i fluxos de treball (no podem suposar coneixements prèvis).
  4. C4: Parallel training of Deep Learning models
    Entrenament paral·lel de models de Deep Learning utilitzant múltiples GPUs, incloent estratègies de paral·lelisme i frameworks de programació.
  5. C5: Performance metrics and optimization of AI training
    Anàlisi del rendiment de l'entrenament de models d'IA mitjançant mètriques com throughput, speedup i eficiència, i tècniques bàsiques d'optimització.
  6. C6: Experimental evaluation and presentation of results
    Avaluació experimental de resultats obtinguts en un entorn HPC i comunicació clara de conclusions mitjançant informes i presentacions tècniques.

Activitats

Activitat Acte avaluatiu


A1: Course introduction


Objectius: 1
Continguts:
Teoria
1h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
1h

A2: HPC platforms and software stack for AI


Objectius: 1
Continguts:
Teoria
2.5h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
2h

A3: Using a supercomputer for AI workloads


Objectius: 2
Continguts:
Teoria
2h
Problemes
0h
Laboratori
1.5h
Aprenentatge dirigit
0h
Aprenentatge autònom
3h

A4: Deep Learning fundamentals for HPC environments


Objectius: 3
Continguts:
Teoria
3h
Problemes
0h
Laboratori
1h
Aprenentatge dirigit
0h
Aprenentatge autònom
4.5h

A5: Parallel training of Deep Learning models


Objectius: 4
Continguts:
Teoria
2.5h
Problemes
0h
Laboratori
2h
Aprenentatge dirigit
0h
Aprenentatge autònom
5h

A6: Performance analysis and optimization of AI training


Objectius: 4 5
Continguts:
Teoria
1.5h
Problemes
0h
Laboratori
2h
Aprenentatge dirigit
0h
Aprenentatge autònom
5h

A7: Distributed training and scalability


Objectius: 4 5
Continguts:
Teoria
1h
Problemes
0h
Laboratori
3h
Aprenentatge dirigit
0h
Aprenentatge autònom
6h

A8: Hands-on laboratory work


Objectius: 2 4 5
Continguts:
Teoria
0h
Problemes
0h
Laboratori
4h
Aprenentatge dirigit
0h
Aprenentatge autònom
10h

A9: Practical project development


Objectius: 6
Continguts:
Teoria
0h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
9h

A10: Technical presentations and peer evaluation


Objectius: 6
Continguts:
Teoria
0h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
2h

A11: Attendance and participation


Objectius: 6
Continguts:
Teoria
0h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
0.4h

Metodologia docent

The course follows an active learning and continuous assessment approach, combining theoretical lectures, hands-on laboratory work, autonomous learning, and student presentations.

Theoretical sessions are delivered through participatory lectures, where the instructor introduces the fundamental concepts related to high-performance computing platforms, deep learning fundamentals, parallel training strategies, and performance analysis for artificial intelligence workloads. Students are expected to actively participate in discussions during these sessions.

Hands-on activities constitute a central component of the course and are based on a learn-by-doing methodology. These activities focus on practical experimentation using a real supercomputing environment (MareNostrum 5). Part of the hands-on work is carried out during regular class sessions, while the remaining work is completed outside the classroom as autonomous learning. All hands-on activities require the submission of corresponding reports and, in some cases, technical presentations through the institutional learning platform (Racó).

Autonomous learning is mainly based on the detailed study of the course textbook, which constitutes the main reference material for the subject. Students are also required to prepare presentations and technical material related to their practical work.

Student presentations play an important role in the course. Individual students or groups are randomly selected to present their work and results in class. Peer evaluation is incorporated as part of the learning process, encouraging critical analysis and constructive feedback.

Regular attendance and active participation are expected. Students are responsible for all material covered in class, including announcements, assignments, and project guidelines, regardless of attendance. It is the student¿s responsibility to obtain any missed material.

Mètode d'avaluació

The evaluation of this course is based on a continuous assessment system, strongly focused on practical work and active participation.

The final grade is composed of the following elements:

- Attendance and participation: 20%
Regular attendance and active participation in lectures, discussions, and hands-on sessions.
Attendance is mandatory. To qualify for continuous assessment, students must attend at least 80% of the class sessions.

- Hands-on activities (laboratory work): 60%
Evaluation of the practical laboratory activities carried out throughout the course (LAB 0 to LAB 4).
The instructor will assess the submitted work using a rubric that considers correctness, completeness, experimental results, and technical understanding.
Some students or groups will be randomly selected during the course to present and explain their laboratory work (LAB 0 to LAB 2). This mechanism is intended to ensure that all students prepare and understand their work thoroughly.

- Technical presentations and peer evaluation: 20%
During the final session of the course, all students will present either LAB 3 or LAB 4 (assigned randomly).
Presentations will be evaluated by the instructor and through peer evaluation, which will contribute to the final presentation grade.

Attendance on the presentation day is mandatory. Students who do not attend this session will not receive the presentation grade.

Requirements for continuous assessment: To qualify for continuous assessment, students must meet all the following requirements:
- Attendance: at least 80% of the class sessions.
- Hands-on activities: completion of at least 50% of the laboratory work.

Final exam option
- Students who do not meet the requirements for continuous assessment will have the option to take a final exam.
- This exam will evaluate the entire course content, including theoretical concepts, practical knowledge, and autonomous learning material based on the course book and laboratory activities.
- The final exam will be announced during the course. No documentation (printed or digital) will be allowed during the exam.

Bibliografia

Bàsica:

  • Supercomputing for Artificial Intelligence: Foundations, Architectures, and Scaling Deep Learning - Torres, Jordi, WATCH THIS SPACE Book Series - Barcelona. Amazon KDP, 2025. ISBN: 979-831932835-9
  • Slides of the course - Torres, J,

Web links

Capacitats prèvies

Python is the programming language of choice for the labs' sessions of this course. It is assumed that the student has a basic knowledge of Python prior to starting classes. Also, some experience with Linux basics will be necessary.