Arquitectura de Supercomputadores

Usted está aquí

Inicio » Estudios » Másteres » Máster en Innovación e Investigación en Informática » Plan de estudios » Asignaturas » Arquitectura de Supercomputadores
Créditos
6
Tipos
Complementaria de especialidad (Computación de Altas Prestaciones)
Requisitos
Esta asignatura no tiene requisitos, pero tiene capacidades previas
Departamento
AC
Web
https://torres.ai/SA-MIRI/
This course introduces the fundamentals of high-performance and parallel computing. It is targeted at scientists and engineers seeking to develop the skills necessary for working with supercomputers, the leading edge in high-performance computing technology.

In the first part of the course, we will cover the basic building blocks of supercomputers and their system software stack. Then, we will introduce their traditional parallel and distributed programming models, which allow one to exploit parallelism, a central element for scaling the applications in these types of high-performance infrastructures.

In the second part of the course, we will motivate the current supercomputing systems developed to support artificial intelligence algorithms required in today's world. This year's syllabus will pay special attention to Deep Learning (DL) algorithms and their scalability using a GPU platform.

This course uses the “learn by doing” approach, based on a set of exercises, made up of programming problems and reading papers, that the students must carry out throughout the course. The course will be marked by a continuous assessment, which ensures constant, steady work.

All in all, this course seeks to enable students to acquire practical skills that can help them as much as possible to adapt and anticipate the new technologies that will undoubtedly emerge in the coming years. For the practical part of the exercises, the student will use supercomputing facilities from the Barcelona Supercomputing Center (BSC-CNS).

UPDATED VERSION: https://torres.ai/sa-miri/

Profesorado

Responsable

  • Jordi Torres Viñals ( )

Horas semanales

Teoría
2
Problemas
0
Laboratorio
2
Aprendizaje dirigido
0.15
Aprendizaje autónomo
7.7

Competencias

Competencias Técnicas de cada especialidad

High performance computing

  • CEE4.1 - Capacidad de analizar, evaluar y diseñar computadores y proponer nuevas técnicas de mejora en su arquitectura.
  • CEE4.2 - Capacidad de analizar, evaluar, diseñar y optimizar software considerando la arquitectura y de proponer nuevas técnicas de optimización.
  • CEE4.3 - Capacidad de analizar, evaluar, diseñar y administrar software de sistema en entornos de supercomputación.

Competencias Técnicas Genéricas

Genéricas

  • CG1 - Capacidad para aplicar el método científico en el estudio y análisis de fenómenos y sistemas en cualquier ámbito de la Informática, así como en la concepción, diseño e implantación de soluciones informáticas innovadoras y originales.

Competencias Transversales

Trabajo en equipo

  • CTR3 - Ser capaz de trabajar como miembro de un equipo, ya sea como un miembro más, o realizando tareas de dirección con la finalidad de contribuir a desarrollar proyectos con pragmatismo y sentido de la responsabilidad, asumiendo compromisos teniendo en cuenta los recursos disponibles.

Básicas

  • CB6 - Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio.
  • CB8 - Que los estudiantes sepan comunicar sus conclusiones y los conocimientos y razones últimas que las sustentan a públicos especializados y no especializados de un modo claro y sin ambigüedades.
  • CB9 - Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo.

Objetivos

  1. Capacitar a los estudiantes para que sigan por sí mismos el desarrollo continuo de los sistemas de supercomputación que permiten el avance de algoritmos analíticos avanzados o la inteligencia artificial.
    Competencias relacionadas: CG1, CEE4.1, CEE4.2, CEE4.3, CB6, CB8, CB9, CTR3,

Contenidos

  1. 00. Bienvenida: Contenido del curso y motivación
  2. 01. Conceptos básicos de supercomputación
  3. 02. General purpose supercomputers
  4. 03. Parallel programming models
  5. 04. Parallel performance metrics
  6. 05. Parallel Performance models
  7. 06. Heterogeneous supercomputers
  8. 07. Parallel programming languages for heterogeneous platforms
  9. 08. Emerging Trends and Challenges in Supercomputing
  10. 09. Artificial Intelligence is a computing problem
  11. 10. Deep Learning essential concepts
  12. 11. Using Supercomputers for DL training
  13. 12. Accelerate the learning with parallel training using a multi-GPU parallel server
  14. 13. Accelerate the learning with parallel training using a multi-GPU parallel server
  15. 14. How to speed up the training of Transformers-based models

Actividades

Actividad Acto evaluativo


00. Welcome


Objetivos: 1
Teoría
0.5h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
2h

01. Supercomputing basics



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0.1h
Aprendizaje autónomo
4h

Exercise 01: Read and present a paper about exascale computers challenges



Teoría
0h
Problemas
0h
Laboratorio
1h
Aprendizaje dirigido
0h
Aprendizaje autónomo
2h

02. General purpose supercomputers



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
4h

Exercise 02: Getting started with Supercomputing



Teoría
0h
Problemas
0h
Laboratorio
1h
Aprendizaje dirigido
0.2h
Aprendizaje autónomo
2h

03. Parallel programming models



Teoría
2h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
2h

Exercise 03: Getting Started with Parallel Programming Models



Teoría
0h
Problemas
0h
Laboratorio
2h
Aprendizaje dirigido
0.1h
Aprendizaje autónomo
2h

04. Parallel performance metrics



Teoría
2h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
4h

Exercise 04: Getting Started with Parallel Performance Metrics



Teoría
0h
Problemas
0h
Laboratorio
1h
Aprendizaje dirigido
0.1h
Aprendizaje autónomo
4h

05. Parallel performance models



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
4h

Exercise 05: Getting started with parallel performance metrics and models



Teoría
0h
Problemas
0h
Laboratorio
1h
Aprendizaje dirigido
0.1h
Aprendizaje autónomo
3h

06. Heterogeneous supercomputers



Teoría
6h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
3h

Exercise 06: Comparing supercomputers performance



Teoría
0h
Problemas
0h
Laboratorio
1h
Aprendizaje dirigido
0.1h
Aprendizaje autónomo
3h

07. Parallel programming languages for heterogeneous platforms



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
2h

Exercise 07: Getting started with CUDA



Teoría
0h
Problemas
0h
Laboratorio
3h
Aprendizaje dirigido
0.1h
Aprendizaje autónomo
5h

08. Emerging Trends and Challenges in Supercomputing



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
1h

Exercise 08: Read and present a paper about emerging trends in supercomputing



Teoría
0h
Problemas
0h
Laboratorio
1h
Aprendizaje dirigido
0.1h
Aprendizaje autónomo
3h

Midterm



Teoría
2h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
10h

09. Artificial Intelligence is a Supercomputing problem



Teoría
2h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
3h

Exercise 09: First contact with Deep Learning



Teoría
0h
Problemas
0h
Laboratorio
2h
Aprendizaje dirigido
0.1h
Aprendizaje autónomo
4h

10. Deep Learning essential concepts



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
1h

Exercise 10: The new edition of the TOP500



Teoría
0h
Problemas
0h
Laboratorio
1h
Aprendizaje dirigido
0.2h
Aprendizaje autónomo
4h

11. Using Supercomputers for DL training



Teoría
2h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
2h

Exercise 11: Using a supercomputer for Deep Learning training



Teoría
0h
Problemas
0h
Laboratorio
3h
Aprendizaje dirigido
0.2h
Aprendizaje autónomo
4h

12. Accelerate the learning with parallel training using a multi-GPU parallel server



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
1h

Exercise 12: Accelerate the learning with parallel training using a multi-GPU parallel server



Teoría
0h
Problemas
0h
Laboratorio
3h
Aprendizaje dirigido
0.2h
Aprendizaje autónomo
4h

13. Accelerate the learning with distributed training using multiple parallel servers



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
1h

Exercise 13: Accelerate the learning with distributed training using multiple parallel server



Teoría
0h
Problemas
0h
Laboratorio
3h
Aprendizaje dirigido
0.2h
Aprendizaje autónomo
8h

14. How to speed up the training of Transformers-based models



Teoría
1h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
1h

Exercise 14: How to speed up the training of Transformers-based models



Teoría
0h
Problemas
0h
Laboratorio
3h
Aprendizaje dirigido
0.2h
Aprendizaje autónomo
4h

Final remarks



Teoría
0.5h
Problemas
0h
Laboratorio
0h
Aprendizaje dirigido
0h
Aprendizaje autónomo
2h

Metodología docente

Class attendance and participation: Regular attendance is expected, and is required to be able to discuss concepts that will be covered during class.

Lab activities: Some exercises will be conducted as hands-on sessions during the course using supercomputing facilities. The student's own laptop will be required to access these resources during the theory class. Each hands-on session will involve writing a lab report with all the results. There are no days for theory classes and days for laboratory classes. Theoretical and practical activities will be interspersed during the same session to facilitate the learning process.

Reading/presentation assignments: Some exercise assignments will consist of reading documentation/papers that expand the concepts introduced during lectures. Some exercises will involve student presentations (randomly chosen).

Assessment: There will be one midterm exam in the middle of the course. The student is allowed to use any type of documentation (also digital via the student's laptop).

Método de evaluación

The evaluation of this course can be obtained by continuous assessment. This assessment will take into account the following:

20% Attendance + participation
15% Midterm exam
65% Exercises (+ exercise presentations) and Lab exercises (+ Lab reports)
Details of the weight of each component of the course in the grade are described in the tentative scheduling section.

Course Exam: For those students who have not benefited from the continuous assessment, a course exam will be announced during the course. This exam includes evaluating the knowledge of the entire course (practical part, theoretical part, and self-learning part). During this exam, the student is not allowed to use any documentation (neither on paper nor digital).

Bibliografía

Básica:

Web links

Capacidades previas

Programming in C and Linux basics will be expected in the course. In addition, prior exposure to parallel programming constructions, Python language, experience with linear algebra/matrices, or machine learning knowledge will be helpful.