Sistemas Inteligentes Distribuidos

• Profesorado
• Horas semanales
• Competencias
• Objetivos
• Contenidos
• Actividades
• Metodología docente
• Método de evaluación
• Bibliografía
• Capacidades previas

Profesorado

Responsable

• Sergio Álvarez Napagao ( )

Otros

• Javier Vazquez Salceda ( )
• Ramon Sangüesa Sole ( )
• Ulises Cortés García ( )

Horas semanales

Competencias

Competencias Transversales

Trabajo en equipo

• G5 [Avaluable] - Ser capaz de trabajar como miembro de un equipo, ya sea como un miembro más, o realizando tareas de dirección con la finalidad de contribuir a desarrollar proyectos con pragmatismo y sentido de la responsabilidad, asumiendo compromisos teniendo en cuenta los recursos disponibles.
  • G5.3 - Identificar los papeles, habilitados y carencias de los diferentes miembros del grupo. Proponer mejoras en la estructura del grupo. Interactuar con eficacia y de forma profesional. Negociar y gestionar conflictos en el grupo. Reconocer y dar soporte o asumir el papel de líder en el grupo de trabajo. Evaluar y presentar los resultados del trabajo de grupo. Representar al grupo en negociaciones con terceros. Capacidad de colaborar en un entorno multidisciplinar. Conocer y saber aplicar las técnicas para promover la creatividad.

Competencias Técnicas de cada especialidad

Especialidad de computación

• CCO2 - Desarrollar de forma efectiva y eficiente los algoritmos y el software apropiados para resolver problemas complejos de computación.
  • CCO2.1 - Demostrar conocimiento de los fundamentos, los paradigmas y las técnicas propias de los sistemas inteligentes y analizar, diseñar y construir sistemas, servicios y aplicaciones informáticas que utilicen estas técnicas en cualquier ámbito de aplicación.
  • CCO2.2 - Capacidad para adquirir, obtener, formalizar y representar el conocimiento humano de una forma computable para la resolución de problemas mediante un sistema informático en cualquier ámbito de aplicación, particularmente los relacionados con aspectos de computación, percepción y actuación en ambientes o entornos inteligentes.

Objetivos

1. Conocer los conceptos básicos de la Inteligencia Artificial Distribuida
   Competencias relacionadas: G9.1, CCO2.1, CCO2.2,
2. Conocer el paradigma de agente inteligente como pieza clave en la construcción de sistemas multiagente
   Competencias relacionadas: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
3. Conocer los modelos lógicos y computacionales que permiten la construcción de agentes orientados a objetivos
   Competencias relacionadas: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
4. Conocer los modelos lógicos y computacionales que permiten la construcción de agentes dirigidos por utilidad
   Competencias relacionadas: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
5. Conocer las diferentes metodologías, algoritmos y tecnologías para conseguir entrenar agentes mediante aprendizaje por refuerzo
   Competencias relacionadas: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
6. Aprender los conceptos básicos de la teoría de juegos y su relación con los sistemas multiagentes
   Competencias relacionadas: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
7. Aprender diferentes metodologías y algoritmos de cooperación para agentes en un sistema multiagente
   Competencias relacionadas: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
8. Conocer diversas metodologías y algoritmos para la competición entre agentes en un sistema multiagente
   Competencias relacionadas: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
9. Entender los aspectos más relevantes del campo del Diseño de Mecanismos
   Competencias relacionadas: G9.1, CCO2.1,
10. Conocer y entender las implicaciones sociales y éticas de la Inteligencia Artificial aplicada a sistemas capaces de tomar decisiones de forma autónoma
    Competencias relacionadas: G9.1, CCO2.1,

Contenidos

1. Introducción: sistemas distribuidos inteligentes
   Perspectivas sobre la Inteligencia Artificial.
   Introducción a los sistemas computacionales distribuidos.
   Paradigma de arquitectura cognitiva y visión histórica.
   Introducción a los sistemas multiagentes.
2. Agentes inteligentes
   Definición de agente inteligente.
   Racionalidad.
   Racionalidad limitada.
   Definición de entorno.
   Propiedades de un entorno.
   Arquitecturas de agente inteligente: reactivo, deliberativo guiado por objetivos, deliberativo guiado por utilidad, adaptativo.
3. Agentes guiados por objetivos
   Qué es un agente lógico-simbólico.
   Lógica modal.
   Lógica de mundos posibles.
   Lógica modal alética, doxástica, epistémica.
   Razonamiento práctico guiado por objetivos: el agente como sistema intencional.
   Implementación de un agente guiado por objetivos: bucle de control de agente.
   Gestión del compromiso respecto a un objetivo (commitments).
   Lógica BDI (Belief-Desire-Intention).
4. Ontologías
   Representar al mundo: ontología y epistemología.
   El triángulo semiótico.
   Elementos de una ontología.
   Lenguajes de representación: OWL y RDF.
   Grafos de conocimiento.
   Razonamiento ontológico.
   Lógica descriptiva: ABox, TBox.
5. Agentes guiados por utilidad
   Objetivos vs utilidad.
   Definición de utilidad.
   Hipótesis de recompensa y señal de recompensa.
   Definición de problema de decisión secuencial.
   Procesos de decisión de Markov (MDPs).
   Trayectorías y políticas: factor de descuento.
   Algoritmos de resolución de MDPs: evaluación de política e iteración de valor.
   Breve introducción a procesos de decisión de Markov parcialmente observables (POMDPs).
6. Aprendizaje por refuerzo
   Multi-armed bandidos: exploración vs explotación.
   Cómo aprender a decidir: aprendizaje por refuerzo, categorización y taxonomía.
   Modelo-based Monte Carlo.
   Algoritmos de aprendizaje por diferencias temporales: SARSA y Q-Learning.
   Algoritmos de gradiente de política: REINFORCE.
7. Sistemas multiagente: Teoría de Juegos
   Por qué formalizar sistemas multiagente: la paradoja de Braess.
   Definición de entornos multiagente y sistema multiagente.
   Breve introducción de modelos computacionales para sistemas multiagente: MDPs, DCOPs, planificación, sistemas distribuidos, sistemas sociotécnicos, teoría de juegos.
   Introducción a la Teoría de Juegos en forma normal: el dilema del prisionero.
   Conceptos de solución: estrategia dominante, estrategias minimax y maximin, equilibrio de Nash.
   Cálculo de la recompensa esperada.
   Eficiencia del equilibrio: precio de la anarquía, optimalidad de Pareto.
   Introducción a la coordinación multiagente: competición vs cooperación.
8. Cooperación
   Qué es la cooperación.
   Desafíos, estructuras y modos de cooperación.
   Breve introducción a las teorías y modelos de cooperación.
   Teoría de Coaliciones.
   Definición de juegos superaditivo, simple y convexo.
   Juego de coalición equitativo: valor de Shapley.
   Juego de coalición estable: el Núcleo.
   Teoría de la elección social: paradoja de Condorcet y propiedades deseables.
   Funciones de elección social: mayoría, pluralidad, Condorcet, Borda, liebre, agenda fija, dictatorial.
   Introducción a algoritmos de consenso: Paxos.
9. Competición
   Qué es competición.
   Teorías y modelos de competición.
   Definición de juego en forma extensiva.
   Reducción de forma extensiva a forma normal.
   Cómo calcular el equilibrio de Nash: algoritmo de inducción hacia atrás.
   Negociación como mecanismo de competición.
   Definición de problema de regateo y resolución con inducción hacia atrás (subgame perfect equilibria).
   Solución de regateo de Nash.
   Resolución de competición como juego de adversario: Minimax, Expectiminimax, árbol de búsqueda Monte Carlo.
10. Diseño de mecanismos
    Definición de mecanismo.
    Teoría de la implementación.
    Compatibilidad de incentivos.
    Principio de revelación.
    Diseño de mecanismos visto como un problema de optimización.
    Ejemplo de tipos de mecanismo: subastas.
    Mecanismos de mercado.
    Subasta naive, de primer precio y de segundo precio (Vickrey-Clarke-Groves).
    Ejemplo de combinación de subasta y consenso.
11. Aprendizaje por refuerzo multiagente
    De teoría de juegos a aprendizaje por refuerzo: juegos estocásticos y juegos estocásticos parcialmente observables.
    Cómo añadir comunicación a un juego estocástico.
    Definición de problema de aprendizaje por refuerzo multiagente.
    Cálculo de la utilidad esperada: política individual vs política conjunta.
    Conceptos de solución: equilibrios, optimalidad de Pareto, bienestar social, mínimo arrepentimiento.
    Proceso de entrenamiento y garantías y tipos de convergencia a una solución: qué ocurre cuando una política no es estacionaria.
    Metodologías de entrenamiento por reducción a un agente: aprendizaje centralizado, aprendizaje independiente, self-play (AlphaZero).
    Algoritmos de entrenamiento multiagente: aprendizaje de acciones conjuntas, modelado de agentes.
12. Modelos simbólicos de la IA social
    Introducción a los sistemas sociotécnicos: impacto en la sociedad de los sistemas distribuidos inteligentes.
    Modelos sociales de coordinación y organizacionales: abstracciones sociales, normas, roles.
    Organizaciones electrónicas: OperA.
    Modelos normativos: instituciones electrónicas, HarmonIA.
    Modelos holísticos: OMNI.
13. Agentes y ética
    Repaso de los conceptos de agente inteligente y agente racional.
    Relación entre agencia e inteligencia.
    Problemas sociales y éticos de la Inteligencia Artificial: privacidad, IA responsable.

Actividades

Actividad Acto evaluativo

Metodología docente

Método de evaluación

Bibliografía

Básica:

• Artificial intelligence: a modern approach - Russell, S.J.; Norvig, P, Pearson, 2022. ISBN: 9781292401133
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991005066379806711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Multiagent systems: algorithmic, game-theoretic, and logical foundations - Shoham, Yoav; Leyton-Brown, Kevin, Cambridge University Press, 2009. ISBN: 978-0-521-89943-7
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003722939706711&context=L&vid=34CSUC_UPC:VU1
• Programming multi-agent systems in AgentSpeak using Jason - Bordini, Rafael H; Hübner, Jomi Fred; Wooldridge, Michael J, John Wiley, 2007. ISBN: 978-0470029008
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003490179706711&context=L&vid=34CSUC_UPC:VU1
• Reinforcement learning: an introduction - Sutton, Richard S; Barto, Andrew G, MIT Press, 1998. ISBN: 978-0262193986
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991001765759706711&context=L&vid=34CSUC_UPC:VU1
• Multi-Agent Reinforcement Learning: Foundations and Modern Approaches - Albrecht, Stefano V.;Christianos, Filippos; Schäfer, Lukas, MIT Press, 2024.
  https://www.marl-book.com

Complementaria:

• An introduction to multiagent systems - Wooldridge, Michael J, John Wiley & Sons , 2009. ISBN: 0470519460
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003779579706711&context=L&vid=34CSUC_UPC:VU1
• Algorithmic game theory - Nisan, Noam; Papadimitriou, Christos H, Cambridge University Press , 2007. ISBN: 978-0521872829
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003321009706711&context=L&vid=34CSUC_UPC:VU1
• Game Theory, Alive - Karlin, Anna R.; Peres, Yuval, AMS , 2017. ISBN: 978-1470419820
  https://homes.cs.washington.edu/~karlin/GameTheoryBook.pdf
• The emotion machine: commensense thinking, artificial intelligence, and the future of the human mind - Minsky, M.L, Simon and Schuster , 2006. ISBN: 9780743276641
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003734189706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Concurrent programming: algorithms, principles, and foundations - Raynal, M, Springer , 2013. ISBN: 978-3642320262
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004000289706711&context=L&vid=34CSUC_UPC:VU1

Capacidades previas