Bases de Dades Avançades

Crèdits
6
Tipus
Obligatòria
Requisits
Aquesta assignatura no té requisits , però té capacitats prèvies
Departament
ESSI
Web
https://learnsql3.fib.upc.edu/moodle/course/view.php?id=170
Aquesta assignatura forma els estudiants en les competències necessàries per a dissenyar i configurar sistemes de gestió de dades analítiques necessàries per poder executar els algorismes de Intel·ligència Artificial (IA). Es tractaran conceptes avançats en gestió de dades de gran volum, de gran variabilitat de models, qualitat i semàntica de dades. Com a punt de partida es presentarà el cicle de vida general de les dades per a sistemes basats en l'IA usant els conceptes de DevOps i DataOps. Tot seguit s'aprofundirà en tres temes especifiques que corresponen als reptes principals de la gestió de dades per l'IA: 1) Gestió i processament de dades de gran volum, 2) Gestió de dades semàntiques, i 3) Integració de dades amb la gestió de la qualitat de dades i arquitectures de sistemes de dades per l'IA.

L'estudiant coneixerà els conceptes relacionats amb el emmagatzematge de dades orientat a l'anàlisi, així com els processos de tractament massiu de dades. Així mateix, podrà identificar i avaluar els seus reptes i dificultats. Com a resultat, l'estudiant serà capaç d'avaluar les diferents alternatives possibles d'emmagatzematge, modelització i processament de dades en el context de la vostra organització i triar-ne les més apropiades.

Professorat

Responsable

  • Petar Jovanovic (petar.jovanovic@upc.edu)

Altres

  • Anna Queralt Calafat (anna.queralt@upc.edu)
  • Gerard Pons Recasens (gerard.pons.recasens@upc.edu)
  • Marc Maynou Yelamos (marc.maynou@upc.edu)

Hores setmanals

Teoria
2
Problemes
0
Laboratori
2
Aprenentatge dirigit
0
Aprenentatge autònom
6

Competències

Competències Transversals

Transversals

  • CT4 [Avaluable] - Treball en equip. Ser capaç de treballar com a membre d'un equip interdisciplinari, ja sigui com un membre més o realitzant tasques de direcció, amb la finalitat de contribuir a desenvolupar projectes amb pragmatisme i sentit de la responsabilitat, assumint compromisos tenint en compte els recursos disponibles.
  • CT6 [Avaluable] - Aprenentatge autònom. Detectar deficiències en el propi coneixement i superar-les mitjançant la reflexió crítica i l'elecció de la millor actuació per ampliar aquest coneixement.
  • CT8 - Perspectiva de gènere. Conèixer i comprendre, des de l'àmbit de la titulació mateixa, les desigualtats per raó de sexe i gènere en la societat, i integrar les diverses necessitats i preferències per raó de sexe i gènere en el disseny de solucions i la resolució de problemes.

    • Bàsiques

  • CB1 - Que els estudiants hagin demostrat posseir i comprendre coneixements en una àrea d'estudi que parteix de la base de l'educació secundària general, i se sol trobar a un nivell que, si bé es recolza en llibres de text avançats, inclou també alguns aspectes que impliquen coneixements procedents de l'avantguarda del seu camp d'estudi.
  • CB2 - Que els estudiants sàpiguen aplicar els seus coneixements al seu treball o vocació d'una manera professional i posseeixin les competències que solen demostrar-se mitjançant l'elaboració i defensa d'arguments i la resolució de problemes dins la seva àrea d'estudi.

    • Competències Tècniques

    Específiques

  • CE04 - Dissenyar i utilitzar de forma eficient els tipus i estructures de dades més adequats a la resolució d'un problema.
  • CE08 - Detectar les característiques, funcionalitats i components dels gestors de dades, que permeten el seu adequat ús en fluixos d'informació, i el disseny, anàlisi i implementació d'aplicacions basades en elles.
  • CE09 - Concebre, dissenyar i integrar sistemes d'anàlisi intel·ligent de dades amb aplicació en entorns de producció i de serveis.
  • CE10 - Analitzar, dissenyar, construir i mantenir aplicacions de forma robusta, segura i eficient, triant el paradigma i els llenguatges de programació més adequats.
  • CE15 - Adquirir, formalitzar i representar el coneixement humà en una forma computable per a la resolució de problemes mitjançant un sistema informàtic en qualsevol àmbit d'aplicació, particularment els relacionats amb aspectes de computació, percepció i actuació en ambients o entorns intel·ligents.

    • Competències Tècniques Generals

    Genèriques

  • CG2 - Utilitzar els coneixements fonamentals i metodologies de treball sòlides adquirits durant els estudis per adaptar-se als nous escenaris tecnològics de el futur.
  • CG3 - Definir, avaluar i seleccionar plataformes maquinari i programari per al desenvolupament i l'execució de sistemes, serveis i aplicacions informàtiques en l'àmbit de la intel·ligència artificial.
  • CG5 - Treballar en equips i projectes multidisciplinaris relacionats amb la intel·ligència artificial i la robòtica, interactuant fluidament amb enginyers/es i professionals d'altres disciplines.
  • CG9 - Afrontar nous reptes amb una visió àmplia de les possibilitats de la carrera professional en l'àmbit de la Intel·ligència Artificial. Desenvolupar l'activitat aplicant criteris de qualitat i millora contínua, i actuar amb rigor en el desenvolupament professional. Adaptar-se als canvis organitzatius o tecnològics. Treballar en situacions de carència d'informació i/o amb restriccions temporals i/o de recursos.

    • Objectius

    1. Ser capaç d'explicar i utilitzar els principals mecanismes de processament paral·lel de consultes en entorns distribuïts, i detectar colls d'ampolla.
      Competències relacionades: CG3, CG9, CT4, CT6, CB1, CB2, CE08,
    2. Aprendre, comprendre i aplicar els fonaments dels sistemes de gestió de dades distribuïdes com les bases de dades distribuïdes i els sistemes de fitxers distribuïts.
      Competències relacionades: CG2, CG5, CT4, CT6, CB2, CE04, CE08, CE15,
    3. Ser capaç de justificar i utilitzar entorns de processament distribuït de dades d'estil funcional.
      Competències relacionades: CG3, CG5, CT4, CT6, CB1, CB2, CE08, CE09, CE10,
    4. Aprendre, comprendre i aplicar els fonaments dels gràfs de coneixement.
      Competències relacionades: CG2, CG5, CT6, CT8, CB1, CE04, CE08,
    5. Ser capaç d'especificar, dissenyar, implementar i avaluar sistemes de gestió de dades orientades a la IA, incloses les bases de dades semàntiques per a la representació del coneixement.
      Competències relacionades: CG2, CG5, CT4, CT6, CB1, CE04, CE08, CE15,
    6. Ser capaç d'aplicar gràfs de coneixement per resoldre problemes realistes com ara la integració de dades, l'anàlisi de dades basada en gràfs, etc.
      Competències relacionades: CG2, CG5, CG9, CT4, CT6, CT8, CB2, CE04, CE08, CE15,
    7. Ser capaç d'avaluar i seleccionar sistemes de gestió de dades en funció d'un determinat criteri de qualitat.
      Competències relacionades: CG2, CG3, CT4, CB2, CE04, CE08, CE10,
    8. Ser capaç de resoldre problemes de descoberta i integració de dades basant-se en les estratègies, estàndards i tecnologies disponibles.
      Competències relacionades: CG3, CG9, CT4, CT6, CT8, CB1, CB2, CE08, CE09, CE10,
    9. Ser capaç de realitzar el processament de consultes de dades de gràfs.
      Competències relacionades: CG3, CG9, CT4, CT6, CB1, CB2, CE04, CE09,

    Continguts

    1. Introducció als sistemes de dades per a la Intel·ligència Artificial.
      El cicle de vida complet de la IA amb DevOps i DataOps. Adquisició, neteja i preparació de dades. Selecció i gestió de models. Depuració i servei de models.
    2. Gestió i tractament de dades a gran escala.
      Bases de dades distribuïdes. Visió general de la gestió i tractament de dades distribuïdes. Sistema de fitxers distribuïts. Marcs de processament de dades distribuïts (MapReduce/Spark). Models de processament de flux de dades. Programes de flux de dades declaratius.
    3. Gestió de dades semàntiques
      Fonaments de la gestió de dades de grafs. Representacions de grafs de coneixement amb RDF, RDFS, OWL i la seva relació amb lògiques de primer ordre. Consultes basades en patrons i el llenguatge SPARQL. Llenguatges per a la descripció i validació de grafs de coneixement.
    4. Integració de dades
      Descobriment de dades. Avaluació de la qualitat de les dades. Integració d'esquemes i dades.
    5. Arquitectures de dades per a sistemes basats en l'IA i la seva governança
      Arquitectures funcionals centralitzades i distribuïdes de sistemes de gestió de dades per a IA. Governança de dades.

    Activitats

    Activitat Acte avaluatiu


    Introducció als sistemes de dades per a la IA

    Introducció de l'assignatura, motivació i visió general del cicle de vida de les dades per a la IA.
    Objectius: 5
    Continguts:
    Teoria
    2h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    2h

    Estudi de la gestió i tractament de dades a gran escala


    Objectius: 1 3 2 5 7
    Continguts:
    Teoria
    8h
    Problemes
    0h
    Laboratori
    10h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    20h

    Estudi de la gestió de dades semàntiques


    Objectius: 6 9 4 5
    Continguts:
    Teoria
    8h
    Problemes
    0h
    Laboratori
    10h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    16h

    Estudi de la integració de dades


    Objectius: 3 6 5 8
    Continguts:
    Teoria
    4h
    Problemes
    0h
    Laboratori
    6h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Estudi d'arquitectures per a sistemes d'IA centrats en dades


    Objectius: 2 5 7
    Continguts:
    Teoria
    4h
    Problemes
    0h
    Laboratori
    4h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Examen parcial


    Objectius: 1 3 2 5
    Setmana: 9
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Examen final


    Objectius: 6 9 4 7 8
    Setmana: 15 (Fora d'horari lectiu)
    Teoria
    0h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    0h

    Metodologia docent

    El curs té classes de teoria i de laboratori.

    Magistrals: El professor exposa el tema. Els estudiants segueixen la lliçó, prenen apunts i preparen material addicional fora de classe. També se'ls pot demanar que portin a terme activitats avaluatòries dins d'aquestes sessions.

    Laboratori: Principalment, les sessions de laboratori estaran dedicades a la pràctica (amb o sense ordinador) dels conceptes introduïts a les sessions magistrals. Eines rellevants pels conceptes introduïts són presentades i emprades en petits projectes en aquestes sessions. Es faran també mini projectes, en què els estudiants treballaran en equips. Per cada mini projecte hi haurà un lliurament fora de l'horari de classe, però els estudiants també seran avaluats individualment a l'aula sobre els coneixements adquirits durant cadascun dels projectes.

    El curs té una component d'aprenentatge autònom, donat que els estudiants hauran de treballar amb diferents eines de gestió i processament de dades. A part del material de suport, els estudiants han de ser capaços de resoldre dubtes o problemes d'ús d'aquestes eines.

    Mètode d'avaluació

    La qualificació de les competències tècniques es basa en:

    - NPR: Nota de projecte, com a promig ponderat dels mini projectes del curs

    - NEP: Nota de l'examen parcial.

    - NEF: Nota de l'examen final.

    Qualificació final = NPR*0.40+NEP*0.25+NEF*0.35


    Revavaluació: Només es poden presentar a revavaluació els estudiants que s'han presentat a l'examen final i l'han suspès (no els que tenen un NP). La nota de examen de reavaluació substituirà NEF i NEP i per tant incloure continguts de tota l'assignatura. En tot cas, la nota final serà el màxim entre la nota ordinària i la nota de reavaluació. La nota màxima de qualsevol examen de reavaluació serà de 7.

    Bibliografia

    Bàsic

    Complementari

    Web links

    Capacitats prèvies

    Coneixaments fonamentals de modelització de dades relacionals.
    Ser capaç de crear, consultar i manipular bases de dades amb SQL.
    Fonaments de representació del coneixement i lògica de primer ordre.
    Programació avançada en Python.