Realitat Virtual i Augmentada

Crèdits
6
Tipus
Obligatòria d'especialitat (Gràfics i Realitat Virtual)
Requisits
Aquesta assignatura no té requisits , però té capacitats prèvies
Departament
CS
Aquest curs presenta els algoritmes i tècniques necessàries per desenvolupar i desplegar aplicacions de realitat virtual i realitat augmentada. El curs cobrirà VR i maquinari AR, visió estereoscòpica, VR AR i el desenvolupament de programari, interfícies d'usuari 3D i presència.

Professorat

Responsable

  • Nuria Pelechano Gomez (npelechano@cs.upc.edu)

Altres

  • Carlos Andujar Gran (andujar@cs.upc.edu)
  • Marta Fairen Gonzalez (mfairen@cs.upc.edu)

Hores setmanals

Teoria
3
Problemes
0
Laboratori
1
Aprenentatge dirigit
0.15
Aprenentatge autònom
7.4

Competències

Competències Tècniques de cada especialitat

Gràfics i realitat virtual

  • CEE1.2 - Capacitat de comprendre i saber aplicar les tecnologies actuals i les que en el futur es facin servir per a l'avaluació, implementació i explotació d'entorns de realitat virtual i/o augmentada, i d'interfícies d'usuari 3D basades en dispositius d'interacció natural.

    • Competències Tècniques Generals

    Genèriques

  • CG1 - Capacitat per aplicar el mètode científic en l'estudi i anàlisi de fenòmens i sistemes en qualsevol àmbit de la Informàtica, així com en la concepció, disseny i implantació de solucions informàtiques innovadores i originals.

    • Competències Transversals

    Raonament

  • CTR6 - Capacitat de raonament crític, lògic i matemàtic. Capacitat de resoldre problemes en la seva àrea d'estudi. Capacitat d'abstracció: capacitat de crear i utilitzar models que reflecteixin situacions reals. Capacitat de dissenyar i realitzar experiments senzills, i analitzar-ne i interpretar-ne els resultats. Capacitat d'anàlisi, de síntesi i d'avaluació.

    • Objectius

    1. Understand the elements, architecture, input and output devices of virtual and augmented reality systems.
      Competències relacionades: CEE1.2,
    2. Be able to develop and evaluate 3D interactive applications involving stereoscopic output, virtual reality hardware and 3D user interfaces.
      Competències relacionades: CEE1.2, CTR6, CG1,

    Continguts

    1. Sistemes de RV
      RV com a disciplina. Elements bàsics d'un sistema de realitat virtual. Arquitectura dels sistemes de realitat virtual.
    2. VR hardware
      VR input hardware: tracking systems, motion capture systems, data gloves. VR output hardware: visual displays.
    3. Stereoscopic Vision
      Fundamentals of the human visual system. Depth cues. Stereopsis. Retinal disparity and parallax. Synthesis of stereo pairs. Pipeline for stereo images.
    4. Haptic rendering
      Haptic sense. Haptic devices. Algorithms for haptic rendering
    5. VR software development
      Challenges in VR software development. Windowing, viewing, input/output and networking issues. Master/slave and Client/server architectures. Cluster rendering. VR Juggler and XVR. Game Engines and available sdk to develop VR applications for different hardware (HTC VIVE, Oculus, Google VR).
    6. AR software development
      AR software. Camera parameters and camera calibration. Marker-based augmented reality. Pattern recognition. AR Toolkit
    7. 3D user interfaces
      Why 3D user interfaces. Major user tasks in VE. Interaction techniques for selection, manipulation and navigation. 3DUI evaluation.
    8. Presence
      Presence: concept, definition, measurement and applications.

    Activitats

    Activitat Acte avaluatiu


    VR project

    Development of a programing project using a game engine and google VR software to run it on a smarphone inside a head set.
    Objectius: 2
    Continguts:
    Teoria
    2h
    Problemes
    0h
    Laboratori
    4h
    Aprenentatge dirigit
    4h
    Aprenentatge autònom
    8h

    Projecte Estereoscopia

    Development of a project with sterescopy
    Objectius: 1 2
    Continguts:
    Teoria
    2h
    Problemes
    0h
    Laboratori
    4h
    Aprenentatge dirigit
    4h
    Aprenentatge autònom
    8h

    AR Project

    Development of a project for Augmented Reality applications using ARToolkit or Unity.
    Objectius: 1
    Continguts:
    Teoria
    2h
    Problemes
    0h
    Laboratori
    4h
    Aprenentatge dirigit
    4h
    Aprenentatge autònom
    8h

    Examen parcial

    Midterm exam
    Objectius: 1
    Continguts:
    Teoria
    2h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    19h

    Examen final

    Final exam
    Objectius: 1 2
    Continguts:
    Teoria
    2h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    25h

    Classes teoria


    Objectius: 1 2
    Continguts:
    Teoria
    26h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    8h
    Aprenentatge autònom
    0h

    Presentació estudiants

    Student presentation

    Teoria
    4h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Metodologia docent

    The course is based on weekly theory classes explaining the course concepts, techniques and algorithms.

    The students will have to complete weekly assignments. The assigments require the student to read and analyse a few papers about the course topics and to answer questions or solve problems on the subject.

    The students will have to complete a programming project involving the development of a moderate-complexity VR or AR application.

    The course assumes advanced knowledge of the C++ language and OpenGL and GLSL APIs.

    Mètode d'avaluació

    The course assessment is based on three types of activities:

    - 3 Programming project ( P1, P2, P3)
    - Final exam ( F )
    - Presentation ( Pr )

    Grade = 0.15*P1+ 0.15*P2 + 0.15*P3 + 0.10*Pr + 0.45*F

    Bibliografia

    Bàsic

    Web links

    Capacitats prèvies

    The course assumes advanced C++ and or C# programming skills, as well as computer graphics knowledge (OpenGL and GLSL knowledge required).
    Also convenient to be familiar with Unity.