Data Warehousing

Esteu aquí

Inici » Estudis » Màsters » Màster en Ciència de Dades » Pla d'estudis » Assignatures » Data Warehousing
Crèdits
6
Tipus
Obligatòria
Requisits
Aquesta assignatura no té requisits, però té capacitats prèvies
Departament
ESSI
Web
https://learnsql.fib.upc.es/moodle
L'assignatura introdueix els conceptes de bases de dades orientades a la intel·ligència empresarial. En concret, això inclou bases de dades multidimensionals i magatzems de dades (DW), així com els processos ETL (Extract, Transform, Load) i conceptes bàsics de quadres de comandaments. Seran introduïdes les tècniques necessàries per a dissenyar, implementar, explotar, i mantenir els magatzems de dades parant especial atenció a dades espai-temporals.

Se donarà una atenció especial als problemes que planteja la integració de dades heterogenies i la qualitat de les dades. Els estudiants aprendran com definir, mesurar i mantenir la qualitat de les dades en el context de l'emmagatzematge de dades. S'expliquen les nocions clàssiques de magatzem de dades i OLAP: ETL, arquitectura, disseny lògic i conceptual, processament de consultes i optimització. Al final de curs, l'estudiant sabrà dissenyar, construir i consultar un magatzem de dades de manera eficient, per tal de crear gràfiques descriptives.

Professorat

Responsable

  • Petar Jovanovic ( )

Altres

  • Xavier Oriol Hilari ( )

Hores setmanals

Teoria
1.9
Problemes
0
Laboratori
1.9
Aprenentatge dirigit
0
Aprenentatge autònom
6.85

Competències

Competències Transversals

Treball en equip

  • CT3 - Ser capaç de treballar com a membre d'un equip interdisciplinari, ja sigui com un membre més o duent a terme tasques de direcció, amb la finalitat de contribuir a desenvolupar projectes amb pragmatisme i sentit de la responsabilitat, tot assumint compromisos considerant els recursos disponibles.

Tercera llengua

  • CT5 - Conèixer una tercera llengua, preferentment l'anglès, amb un nivell adequat oral i escrit i en consonància amb les necessitats que tindran els titulats i titulades.

Emprenedoria i innovació

  • CT1 - Conèixer i comprendre l'organització d'una empresa i les ciències que regeixen la seva activitat; tenir capacitat per entendre les normes laborals i les relacions entre la planificació, les estratègies industrials i comercials, la qualitat i el benefici. Conèixer i entendre els mecanismes en què es basa la recerca científica, així com els mecanismes i instruments de transferència de resultats entre els diferents agents socioeconòmics implicats en els processos d'I+D+i.

Bàsiques

  • CB6 - Que els estudiants sàpiguen aplicar els coneixements adquirits y la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contexts més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
  • CB7 - Que els estudiants siguin capaços d'integrar coneixements i enfrontar-se a la complexitat de formular judicis a partir d'una informació que, essent incomplerta o limitada, inclogui reflexions sobre les responsabilitats socials i ètiques vinculades a l'aplicació dels seus coneixements i judicis.
  • CB8 - Que els estudiants sàpiguen comunicar les seves conclusions i els coneixements i raons darreres que les sustenten- a públics especialitzats i no especialitzats d'una manera clara i sense ambigüitats.
  • CB9 - Que els estudiants posseeixin les habilitats d'aprenentatge que els permetin continuar estudiant d'una manera que haurà de ser en gran mesura autodirigida o autònoma..
  • CB10 - Posseir i comprendre coneixements que aportin una base o oportunitat de ser originals en el desenvolupament i/o aplicació d'idees, sovint en un context de recerca.

Competències Tècniques Generals

Genèriques

  • CG1 - Identificar i aplicar els mètodes i processos de gestió de dades més adequats per gestionar el cicle de vida de les dades, incloent-hi dades estructurades i no estructurades

Competències Tècniques

Específiques

  • CE2 - Aplicar els fonaments de la gestió i processament de dades en un problema de ciència de dades
  • CE3 - Aplicar mètodes d'integració de dades per donar solució a problemes de ciència de dades en entorns heterogenis
  • CE5 - Modelar, dissenyar i implementar sistemes complexos de dades, incloent-hi la visualització de dades
  • CE7 - Identificar les limitacions imposades per la qualitat de dades en un problema de ciència de dades i aplicar tècniques per a disminuir el seu impacte

Objectius

  1. Ser capaç de modelar magatzems de dades multidimensionals i analitzar les seves dades de forma visual
    Competències relacionades: CB10, CB6, CB7, CB8, CB9, CT1, CT3, CT5, CE3, CE5,
  2. Ser capaç d'aplicar tècnicas específiques de diseny físic per a sistemes decisionals
    Competències relacionades: CB6, CB7, CB8, CB9, CT3, CT5, CE2, CE5, CG1,
  3. Ser capaç de disenyar i implementar processos de migració de dades (ETL)
    Competències relacionades: CB10, CB6, CB7, CB8, CB9, CT3, CT5, CE2, CE3, CE5, CE7, CG1,

Continguts

  1. Introducció
    Comparació entre sistemes operacionals i decisionals; Metadades.
  2. Arquitectures d'emmagatzemament de dades
    Corporate Information Factory; DW 2.0
  3. Modelització multidimensional, eines OLAP
    Estructura; Restriccions d'Integritat; Operacions; Conceptes avançats
  4. Disseny físic de bases de dades per a consultes analítiques
    Star-join i join indexes; Bitmaps; Vistes materialitzades; Dades espai-temporals
  5. Extracció, Tranformació i Càrrega
    Qualitat de les dades; Integració de dades i esquemes; Gestió de ETL
  6. Visualització i anàlisi descriptiu de la informació
    Indicadors de Rendiment Empresarial; Quadres de Comandament

Activitats

Activitat Acte avaluatiu


Classes de teoria

En aquestes activitats, el professor introduirà els conceptes teòrics bàsics d'aquesta assignatura. A més de les exposicions, es faran servir tècniques d'aprenentatge cooperatiu. Això requerirà la participació activa dels estudiants i, conseqüentment, seran avaluats.
Objectius: 1 3 2
Continguts:
Teoria
25h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
25h

Classes de laboratori

A l'estudiant se li demanarà que practiqui els diferents conceptes introduïts en les classes teòriques. Això inclou resoldre problemes a l'ordinador o en paper.
Objectius: 1 3 2
Continguts:
Teoria
0h
Problemes
0h
Laboratori
27h
Aprenentatge dirigit
0h
Aprenentatge autònom
54h

Examen

Examen escrit dels conceptes teòrics introduïts durant el curs.
Objectius: 1 3 2
Continguts:
Teoria
2h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
17h

Metodologia docent

L'assignatura es compon de teoria, i sessions de laboratori.


Teoria: El professor exposa el tema. Els estudiants segueixen la lliçó, prenen apunts i preparen material addicional fora de classe. També se'ls pot demanar que portin a terme activitats avaluatòries dins d'aquestes sessions.

Laboratori: S'utilitzaran algunes eines representatives per a l'aplicació de conceptes teòrics (per exemple, PotgreSQL, Oracle, Talend, Tableau). El curs inclou pràctiques contínues a través d'un projecte de curs, dividit en tres blocs lògics: modelatge de magatzem de dades, integració i migració de dades (ETL), i visualització descriptiva, en què els estudiants treballaran en equips. Hi haurà tres entregables del projecte fora de l'horari de classe, però els estudiants també seran avaluats individualment a l'aula sobre els coneixements adquirits durant cada bloc de el projecte.

Mètode d'avaluació

Final grade = max(20%EP+40%EF ; 60% EF) + 40% P

EP = partial (mid term) exam mark
EF = final exam mark
P = Weighted average of the marks of the project deliverables

Bibliografia

Bàsica:

Complementaria:

Web links

Capacitats prèvies

Coneixement bàsic de bases de dades relacionals i SQL.

Especificamente, s'assumirà coneixements de:
- Diagrames de classes UML
- Algebra relacional
- Consultes SQL
- Vistes relacionals
- Operacions d'arbres-B (insercions i splits)
- Conceptes bàsic d'optimització física de consultes