Temes Avançats d'Enginyeria de Dades II

• Professorat
• Hores setmanals
• Competències
• Objectius
• Continguts
• Activitats
• Metodologia docent
• Mètode d'avaluació
• Bibliografia
• Capacitats prèvies

Professorat

Responsable

• Silverio Juan Martínez Fernández ( )

Altres

• Esteve Pallares Segarra ( )
• Javier Parra Arnau ( )
• Jordi Forne Muñoz ( )
• Santiago Del Rey Juarez ( )

Hores setmanals

Competències

Competències Tècniques

Competències tècniques

• CE1 - Utilitzar amb destresa els conceptes i mètodes matemàtics subjacents els problemes de la ciència i l'enginyeria de les dades.
• CE2 - Ser capaç de programar solucions a problemes d'enginyeria: Dissenyar solucions algorítmiques eficients a un problema computacional donat, implementar-les en forma de programari robust, estructurat i mantenible, i comprovar la validesa de la solució.
• CE3 - Analitzar fenòmens complexos mitjançant la probabilitat i l'estadística, i plantejar models d'aquests tipus en situacions concretes. Formular i resoldre problemes d'optimització matemàtica.
• CE7 - Demostrar coneixement i capacitat d'aplicació de les eines necessàries per a l'emmagatzematge, el processament i l'accés a les dades.
• CE8 - Capacitat de triar i emprar tècniques de modelització estadística i anàlisi de dades, avaluant la qualitat dels models, validant-los i interpretant-los.

Competències Transversals

Transversals

• CT4 [Avaluable] - Treball en equip. Ser capaç de treballar com a membre d'un equip interdisciplinari, ja sigui com un membre més o realitzant tasques de direcció, amb la finalitat de contribuir a desenvolupar projectes amb pragmatisme i sentit de la responsabilitat, assumint compromisos tenint en compte els recursos disponibles.

Bàsiques

• CB2 - Que els estudiants sàpiguen aplicar els seus coneixements al seu treball o vocació d'una manera professional i posseeixin les competències que solen demostrar-se mitjançant l'elaboració i defensa d'arguments i la resolució de problemes dins la seva àrea d'estudi.
• CB3 - Que els estudiants tinguin la capacitat de reunir i interpretar dades rellevants (normalment dins la seva àrea d'estudi) per emetre judicis que incloguin una reflexió sobre temes rellevants d'índole social, científica o ètica.
• CB5 - Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia

Competències Tècniques Generals

Genèriques

• CG1 - Concebre sistemes computacionals que integren dades de procedències i formes molt diverses, construeixen amb ells models matemàtics, raonen sobre aquests models i actuen en conseqüència, aprenent de l'experiència.
• CG2 - Elegir i aplicar els mètodes i tècniques més adequats a un problema definit per dades que representin un repte pel seu volum, velocitat, varietat o heterogeneïtat, inclosos mètodes informàtics, matemàtics, estadístics i de processament del senyal.
• CG4 - Identificar oportunitats per a aplicacions innovadores orientades a dades en entorns tecnològics en contínua evolució.

Objectius

1. Interpretar els conceptes bàsics de l'Enginyeria de Software per a sistemes ML, especialment en relació amb l'ús i aprofitament de les pràctiques MLOps.
   Competències relacionades: CG1, CB2,
2. Aplicar i analitzar bones pràctiques d'enginyeria de programari referents a projectes de ciències de dades i aprenentatge automàtic
   Competències relacionades: CE1, CE2, CT4, CG1, CG4, CB2, CB5,
3. Aplicar i analitzar les pràctiques MLOps per a construir models ML, fomentant la reproductibilitat i la garantia de qualitat.
   Competències relacionades: CE1, CE2, CE3, CE7, CT4, CG1, CG4, CB2, CB5,
4. Aplicar i analitzar pràctiques de MLOps per a desplegar models ML, fomentant el desenvolupament de API.
   Competències relacionades: CE1, CE2, CE7, CE8, CG1, CG2, CB2, CB5,
5. Conèixer els riscos de privadesa associats a la navegació i a la publicació de dades. Aprofundir en les diferents mètriques de privadesa i la seva aplicació en diferentes escenaris.
   Competències relacionades: CE1, CE3, CE8, CT4, CG2, CB3, CB5,
6. Conèixer els principals algorismes d'anonimització de bases de dades estadístiques.
   Competències relacionades: CE1, CE2, CE3, CE8, CT4, CG1, CG2, CG4, CB2, CB3, CB5,
7. Avaluar el compromís entre privadesa i usabilitat de les dades.
   Competències relacionades: CE1, CE3, CE8, CT4, CG1, CG4, CB2, CB3, CB5,
8. Conèixer els riscos de privadesa en les comunicacions i els sistemes de comunicació anònimes.
   Competències relacionades: CE1, CE3, CE8, CG1, CG4, CB2, CB5,

Continguts

1. Introducció a l'Enginyeria del Software
   Primer, es presenta el concepte tradicional d'enginyeria del software. Després, s'analitza l'impacte de la disponibilitat de dades sobre aquest concepte tradicional. Es mostra el cicle de vida del software resultant de considerar-les. Motivació de la necessitat d'enginyeria del software per a sistemes ML. Introducció a MLOps i conceptes clau. Enginyeria de requisits per a ML.
2. Bones pràctiques d'enginyeria de programari referents a projectes de ciències de dades i aprenentatge automàtic
   La complexitat i diversitat dels projectes de ciència de dades i els sistemes basats en aprenentatge automàtic requereixen tècniques d'enginyeria per garantir que es construeixin d'una manera sòlida i preparada per al futur. En aquest capítol abordem bones pràctiques d'enginyeria de programari per a projectes de ciència de dades, i programari amb components d'aprenentatge automàtic.
3. Pràctiques MLOps per construir models de ML i gestionar la qualitat del software i del seu procés de producció
   La complexitat i diversitat dels projectes de ciència de dades i els sistemes de ML requereixen tècniques d'enginyeria que garanteixin que es construeixen de manera robusta i preparada per al futur. En aquest capítol abordem les millors pràctiques d'enginyeria del software per al software de projectes de ciència de dades, inclosos els components de ML: sistemes de control de versions; reproductibilitat i seguiment de canalitzacions de ML; mesurament de software per a ML; garantia de qualitat per a ML.
4. Pràctiques de MLOps per a desplegar models de ML
   La complexitat i diversitat dels sistemes de ML exigeixen tècniques d'enginyeria que garanteixin que es despleguen de manera robusta i llista per a la producció. En aquest capítol abordem les millors pràctiques d'enginyeria del software per a components de ML: arquitectura del software per a ML; desplegament de models de ML; API per a ML.
5. Introducció a la privadesa i seguretat de les dades
   Motivació. Definició de conceptes bàsics. Atacants i parts de confiança. Mètriques de privadesa.
6. Algorismes d'anonimització de dades
   Control de revelació estadística. Mesura del risc de revelació. Algorismes de microagregació de dades. Mesura del compromís privadesa-utilitat. Casos d'estudi.
7. Privadesa a sistemes d'informació personalitzats
   Perfils d'usuari: mesura del risc de privacitat. Tecnologies de privadesa.
8. Seguretat i privadesa a les comunicacions
   Algorismes criptogràfics. Autenticació i gestió de claus. Sistemes de comunicació anònims.

Activitats

Activitat Acte avaluatiu

Metodologia docent

Mètode d'avaluació

Bibliografia

Bàsica:

• Building intelligent systems : a guide to machine learning engineering - Hulten, Geoff, Apress, 2018. ISBN: 9781484234327
  
• Statistical disclosure control for microdata: methods and applications in R - Templ, M, Springer International Publishing AG, 2017. ISBN: 9783319502724
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991001685219706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Machine Learning in Production - Kästner, Christian, , 2021.
  https://ckaestne.medium.com/machine-learning-in-production-book-overview-63be62393581
• Teaching MLOps in Higher Education through Project-Based Learning - Lanubile, Filippo; Martínez-Fernández, Silverio; Quaranta, Luigi, SEET@ICSE , 2023.
  https://arxiv.org/pdf/2302.01048.pdf
• Data privacy: foundations, new developments and the big data challenge - Torra i Reventós, V, Springer International Publishing , 2017. ISBN: 9783319573564
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004122599706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Advanced research in data privacy - Navarro-Arribas, G.; Torra i Reventós, V. (eds.), Springer International Publishing , 2015. ISBN: 9783319098852
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991001452879706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Capacitats prèvies