Temas Avanzados de Ingeniería de Datos II

• Profesorado
• Horas semanales
• Competencias
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Capacidades previas

Profesorado

Responsable

• Silverio Juan Martínez Fernández ( )

Otros

• Esteve Pallares Segarra ( )
• Javier Parra Arnau ( )
• Jordi Forne Muñoz ( )
• Santiago Del Rey Juarez ( )

Horas semanales

Competencias

Competencias Técnicas

Competencias técnicas

• CE1 - Utilizar con destreza los conceptos y métodos matemáticos que subyacen los problemas de la ciencia y la ingeniería de los datos.
• CE2 - Ser capaz de programar soluciones a problemas de ingeniería: Diseñar soluciones algorítmicas eficientes a un problema computacional dado, implementarlas en forma de Programa robusto, estructurado y mantenible, y comprobar la validez de la solución.
• CE3 - Analizar fenómenos complejos mediante la probabilidad y estadística, y plantear modelos de estos tipos en situaciones concretas. Formular y resolver problemas de optimización matemática.
• CE7 - Demostrar conocimiento y capacidad de aplicación de las herramientas necesarias para el almacenaje, el procesamiento y el acceso a los datos.
• CE8 - Capacidad de elegir y emplear técnicas de modelización estadística y análisis de datos, evaluando la calidad de los modelos, validándolos e interpretándolos.

Competencias Transversales

Transversales

• CT4 [Avaluable] - Trabajo en equipo. Ser capaz de trabajar como miembro de un equipo interdisciplinar, ya sea como un miembro más o realizando tareas de dirección, con la finalidad de contribuir a desarrollar proyectos con pragmatismo y sentido de la responsabilidad, asumiendo compromisos teniendo en cuenta los recursos disponibles.

Básicas

• CB2 - Que los estudiantes sepan aplicar sus conocimientos a su trabajo o vocación de una forma profesional y posean las competencias que suelen demostrarse por medio de la elaboración y defensa de argumentos y la resolución de problemas dentro de su área de estudio.
• CB3 - Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas relevantes de índole social, científica o ética.
• CB5 - Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para emprender estudios posteriores con un alto grado de autonomía

Competencias Técnicas Genéricas

Genéricas

• CG1 - Concebir sistemas computacionales que integren datos de procedencias y formas muy diversas, creen con ellos modelos matemáticos, razonen sobre dichos modelos y actúen en consecuencia, aprendiendo de la experiencia.
• CG2 - Elegir y aplicar los métodos y técnicas más adecuados a un problema definido por datos que representen un reto por su volumen, velocidad, variedad o heterogeneidad, incluidos métodos informáticos, matemáticos, estadísticos y de procesado de la señal.
• CG4 - Identificar oportunidades para aplicaciones innovadoras orientadas a datos en entornos tecnológicos en continua evolución.

Objetivos

1. Interpretar los conceptos básicos de la Ingeniería del Software para sistemas ML (machine learning), especialmente en relación al uso y explotación de prácticas MLOps.
   Competencias relacionadas: CG1, CB2,
2. Aplicar y analizar buenas prácticas de ingeniería del software referentes a proyectos de ciencias de datos y aprendizaje automático
   Competencias relacionadas: CE1, CE2, CT4, CG1, CG4, CB2, CB5,
3. Aplicar y analizar las prácticas de MLOps para construir modelos de ML, fomentando la reproducibilidad y la garantía de calidad.
   Competencias relacionadas: CE1, CE2, CE3, CE7, CT4, CG1, CG4, CB2, CB5,
4. Aplicar y analizar las prácticas de MLOps para implementar modelos de ML, fomentando el desarrollo de APIs.
   Competencias relacionadas: CE1, CE2, CE7, CE8, CG1, CG2, CB2, CB5,
5. Conocer los riesgos de privacidad asociados a la navegación y en la publicación de datos. Profundizar en las diferentes métricas de privacidad y su aplicación en diferentes escenarios.
   Competencias relacionadas: CE1, CE3, CE8, CT4, CG2, CB3, CB5,
6. Conocer los principales algoritmos de anonimización de bases de datos estadísticos.
   Competencias relacionadas: CE1, CE2, CE3, CE8, CT4, CG1, CG2, CG4, CB2, CB3, CB5,
7. Evaluar el compromiso entre privacidad y usabilidad de los datos.
   Competencias relacionadas: CE1, CE3, CE8, CT4, CG1, CG4, CB2, CB3, CB5,
8. Conocer los riesgos de privacidad en las comunicaciones y los sistemas de comunicación anónimas.
   Competencias relacionadas: CE1, CE3, CE8, CG1, CG4, CB2, CB5,

Contenidos

1. Introducción a la Ingeniería del Software
   Primero, se presenta el concepto tradicional de ingeniería del software. Después, se analiza el impacto de la disponibilidad de datos sobre este concepto tradicional. Se muestra el ciclo de vida de software resultante al considerar datos. Motivación de la necesidad de ingeniería de software para sistemas ML. Introducción a MLOps y conceptos clave. Ingeniería de requisitos para ML.
2. Buenas prácticas de ingeniería del software referentes a proyectos de ciencias de datos y aprendizaje automático
   La complejidad y diversidad de los proyectos de ciencia de datos y los sistemas basados en aprendizaje automático requieren técnicas de ingeniería para garantizar que se construyan de una manera sólida y preparada para el futuro. En este capítulo abordamos buenas prácticas de ingeniería de software para proyectos de ciencia de datos, y software con componentes de aprendizaje automático.
3. Prácticas de MLOps para construir modelos de ML y gestionar la calidad del software y de su proceso de desarrollo
   La complejidad y diversidad de los proyectos de ciencia de datos y los sistemas de ML exigen técnicas de ingeniería para garantizar que se construyan de manera sólida y preparada para el futuro. En este capítulo, abordamos las mejores prácticas de ingeniería de software para software de proyectos de ciencia de datos, incluidos los componentes de ML: sistemas de control de versiones; seguimiento y reproducibilidad de la canalización de ML; medición de software para ML; garantía de calidad para ML.
4. Prácticas de MLOps para implementar modelos de ML
   La complejidad y diversidad de los sistemas de ML requieren técnicas de ingeniería para garantizar que se implementen de manera sólida y lista para la producción. En este capítulo, abordamos las mejores prácticas de ingeniería de software para componentes de ML: arquitectura de software para ML; implementar modelos de ML; API para ML.
5. Introducción a la privacidad y seguridad de los datos
   Motivación. Definición de conceptos básicos. Atacantes y partes de confianza. Métricas de privacidad.
6. Algoritmos de anonimización de datos
   Control de revelación estadística. Medida del riesgo de revelación. Algoritmos de microagregació de datos. Medida del compromiso privacidad-utilidad. Casos de estudio.
7. Privacidad en sistemas de información personalizados
   Perfiles de usuario: medida del riesgo de privacidad. Tecnologías de privacidad.
8. Seguridad y privacidad en las comunicaciones
   Algoritmos criptográficos. Autenticación y gestión de claves. Sistemas de comunicación anónimos.

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Building intelligent systems : a guide to machine learning engineering - Hulten, Geoff, Apress, 2018. ISBN: 9781484234327
  
• Statistical disclosure control for microdata: methods and applications in R - Templ, M, Springer International Publishing AG, 2017. ISBN: 9783319502724
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991001685219706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• Machine Learning in Production - Kästner, Christian, , 2021.
  https://ckaestne.medium.com/machine-learning-in-production-book-overview-63be62393581
• Teaching MLOps in Higher Education through Project-Based Learning - Lanubile, Filippo; Martínez-Fernández, Silverio; Quaranta, Luigi, SEET@ICSE , 2023.
  https://arxiv.org/pdf/2302.01048.pdf
• Data privacy: foundations, new developments and the big data challenge - Torra i Reventós, V, Springer International Publishing , 2017. ISBN: 9783319573564
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004122599706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Advanced research in data privacy - Navarro-Arribas, G.; Torra i Reventós, V. (eds.), Springer International Publishing , 2015. ISBN: 9783319098852
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991001452879706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Capacidades previas