Temes Avançats d'Enginyeria de Dades II

• Professorat
• Hores setmanals
• Competències
• Objectius
• Continguts
• Activitats
• Metodologia docent
• Mètode d'avaluació
• Bibliografia
• Capacitats prèvies

Professorat

Responsable

• Jordi Forne Muñoz ( )
• Silverio Juan Martínez Fernández ( )
• Xavier Franch Gutiérrez ( )

Altres

• Esteve Pallares Segarra ( )
• Javier Parra Arnau ( )

Hores setmanals

Competències

Competències Tècniques

Competències tècniques

• CE1 - Utilitzar amb destresa els conceptes i mètodes matemàtics subjacents els problemes de la ciència i l'enginyeria de les dades.
• CE2 - Ser capaç de programar solucions a problemes d'enginyeria: Dissenyar solucions algorítmiques eficients a un problema computacional donat, implementar-les en forma de programari robust, estructurat i mantenible, i comprovar la validesa de la solució.
• CE3 - Analitzar fenòmens complexos mitjançant la probabilitat i l'estadística, i plantejar models d'aquests tipus en situacions concretes. Formular i resoldre problemes d'optimització matemàtica.
• CE7 - Demostrar coneixement i capacitat d'aplicació de les eines necessàries per a l'emmagatzematge, el processament i l'accés a les dades.
• CE8 - Capacitat de triar i emprar tècniques de modelització estadística i anàlisi de dades, avaluant la qualitat dels models, validant-los i interpretant-los.

Competències Transversals

Transversals

• CT4 [Avaluable] - Treball en equip. Ser capaç de treballar com a membre d'un equip interdisciplinari, ja sigui com un membre més o realitzant tasques de direcció, amb la finalitat de contribuir a desenvolupar projectes amb pragmatisme i sentit de la responsabilitat, assumint compromisos tenint en compte els recursos disponibles.

Bàsiques

• CB2 - Que els estudiants sàpiguen aplicar els seus coneixements al seu treball o vocació d'una manera professional i posseeixin les competències que solen demostrar-se mitjançant l'elaboració i defensa d'arguments i la resolució de problemes dins la seva àrea d'estudi.
• CB3 - Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes rellevants d'índole social, científica o ètica.
• CB5 - Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia

Competències Tècniques Generals

Genèriques

• CG1 - Concebre sistemes computacionals que integren dades de procedències i formes molt diverses, construeixen amb ells models matemàtics, raonen sobre aquests models i actuen en conseqüència, aprenent de l'experiència.
• CG2 - Elegir i aplicar els mètodes i tècniques més adequats a un problema definit per dades que representin un repte pel seu volum, velocitat, varietat o heterogeneïtat, inclosos mètodes informàtics, matemàtics, estadístics i de processament del senyal.
• CG4 - Identificar oportunitats per a aplicacions innovadores orientades a dades en entorns tecnològics en contínua evolució.

Objectius

1. Interpretar els concepts bàsics de l'Enginyeria del Software, especialment en relació a l'ús i explotació de dades
   Competències relacionades: CG1, CB2,
2. Aplicar i analitzar conceptes i mètodes referents a l'ús de dades provinents del procés de desenvolupament en la gestió de la qualitat del sistema software
   Competències relacionades: CE1, CE2, CE3, CE7, CT4, CG1, CG4, CB2, CB5,
3. Aplicar i analitzar bones pràctiques d'enginyeria de programari referents a projectes de ciències de dades i aprenentatge automàtic
   Competències relacionades: CE1, CE2, CT4, CG1, CG4, CB2, CB5,
4. Descriure conceptes i mètodes referents a l'ús de dades obtingudes durant l'utilització de sistema (p.ex., un sistema basat en intel·ligència artificial), per a planificació de noves versions evolutives o per a l'adaptació autònoma dels sistemes en temps d'execució en resposta a canvis.
   Competències relacionades: CE1, CE2, CE7, CE8, CG1, CG2, CB2, CB5,
5. Conèixer els riscos de privadesa associats a la navegació i a la publicació de dades. Aprofundir en les diferents mètriques de privadesa i la seva aplicació en diferentes escenaris.
   Competències relacionades: CE1, CE3, CE8, CT4, CG2, CB3, CB5,
6. Conèixer els principals algorismes d'anonimització de bases de dades estadístiques.
   Competències relacionades: CE1, CE2, CE3, CE8, CT4, CG1, CG2, CG4, CB2, CB3, CB5,
7. Avaluar el compromís entre privadesa i usabilitat de les dades.
   Competències relacionades: CE1, CE3, CE8, CT4, CG1, CG4, CB2, CB3, CB5,
8. Conèixer els riscos de privadesa en les comunicacions i els sistemes de comunicació anònimes.
   Competències relacionades: CE1, CE3, CE8, CG1, CG4, CB2, CB5,

Continguts

1. Introducció a l'Enginyeria del Software
   Primer, es presenta el concepte tradicional d'enginyeria del software. Fases. Aproximacions: dirigida per pla, àgil; híbrid. Entorn de desenvolupament: eines.
   
   Després, s'analitza l'impacte de la disponibilitat de dades sobre aquest concepte tradicional. Es mostra el cicle de vida del software resultant de considerar-les.
2. Gestió de la qualitat del software i del seu procés de producció
   Un problema clàssic en el desenvolupament de software és assegurar uns nivells bàsics de qualitat, tant en referència al sistema mateix (mantenibilitat, fiabilitat, ...) com al procés de producció (productivitat de l'equip, gestió de recursos, ...). L'anàlisi de dades provinents dels repositories de software usats en el procés de producció (p.e., repositoris de codi, eines de gestió de problemes) permet descobrir de forma més ràpida i fiable aquests problemes i aplicar-ne estratègies de mitigació
3. Bones pràctiques d'enginyeria de programari referents a projectes de ciències de dades i aprenentatge automàtic
   La complexitat i diversitat dels projectes de ciència de dades i els sistemes basats en aprenentatge automàtic requereixen tècniques d'enginyeria per garantir que es construeixin d'una manera sòlida i preparada per al futur. En aquest capítol abordem bones pràctiques d'enginyeria de programari per a projectes de ciència de dades, i programari amb components d'aprenentatge automàtic.
4. Planificació de versions software i sistemes auto-adaptatius
   Un problema clau en el desenvolupament del software és l'evolució del sistema en resposta a noves necessitats. L'anàlisi de les dades obtingudes durant la utilització del sistema per part dels seus usuaris, incloent-ne comentaris explícits dels usuaris, possibilita el descobriment de les seves necessitats reals, que de vegades ni ells mateixos coneixen completament. En aquest tema es descriu la problemàtica i es revisen algunes tècniques bàsiques. Cada vegada ens trobem més sistemes software que necessiten ser conscients del seu context per donar un servei correcte. Aquesta restricció exigeix que monitoritzin dades del context continuament, descobreixin canvis significatius i reaccionin en temps d'execució (eventualment, quasi en temps real). En aquest tema es descriu la problemàtica i es revisen algunes tècniques bàsiques
5. Introducció a la privadesa i seguretat de les dades
   Motivació. Definició de conceptes bàsics. Atacants i parts de confiança. Mètriques de privadesa.
6. Algorismes d'anonimització de dades
   Control de revelació estadística. Mesura del risc de revelació. Algorismes de microagregació de dades. Mesura del compromís privadesa-utilitat. Casos d'estudi.
7. Privadesa a sistemes d'informació personalitzats
   Perfils d'usuari: mesura del risc de privacitat. Tecnologies de privadesa.
8. Seguretat i privadesa a les comunicacions
   Algorismes criptogràfics. Autenticació i gestió de claus. Sistemes de comunicació anònims.

Activitats

Activitat Acte avaluatiu

Metodologia docent

Mètode d'avaluació

Bibliografia

Bàsica:

• Building intelligent systems : a guide to machine learning engineering - Hulten, Geoff, Apress, 2018. ISBN: 9781484234327
  
• Statistical disclosure control for microdata: methods and applications in R - Templ, M, Springer International Publishing AG, 2017. ISBN: 9783319502724
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991001685219706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Machine Learning in Production - Christian Kästner, , 2021.
  
• Software measurement: establish, extract, evaluate, execute - Ebert, C.; Dumke, R, Springer , 2007. ISBN: 9783540716488
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003402849706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Data privacy: foundations, new developments and the big data challenge - Torra i Reventós, V, Springer International Publishing , 2017. ISBN: 9783319573564
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004122599706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Advanced research in data privacy - Navarro-Arribas, G.; Torra i Reventós, V. (eds.), Springer International Publishing , 2015. ISBN: 9783319098852
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991001452879706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Capacitats prèvies