Sistemes Intel·ligents Distribuïts

• Professorat
• Hores setmanals
• Competències
• Objectius
• Continguts
• Activitats
• Metodologia docent
• Mètode d'avaluació
• Bibliografia
• Capacitats prèvies

Professorat

Responsable

• Sergio Álvarez Napagao ( )

Altres

• Javier Vazquez Salceda ( )
• Ramon Sangüesa Sole ( )

Hores setmanals

Competències

Competències Transversals

Treball en equip

• G5 [Avaluable] - Ser capaç de treballar com a membre d'un equip, ja sigui com a un membre més, ja sigui realitzant tasques de direcció, amb la finalitat de contribuir a desenvolupar projectes d'una manera pragmàtica i amb sentit de la responsabilitat; assumir compromisos tenint en compte els recursos disponibles.
  • G5.3 - Identificar els rols, les habilitats i les carències dels diferents membres del grup. Proposar millores en l'estructura del grup. Interactuar amb eficàcia i professionalitat. Negociar i gestionar conflictes en el grup. Reconèixer i donar suport o assumir el paper de líder en el grup de treball. Avaluar i presentar els resultats del treball de grup. Representar el grup en negociacions amb terceres persones. Capacitat de col·laborar en un entorn multidisciplinar. Conèixer i saber aplicar les tècniques per a promoure la creativitat.

Competències Tècniques de cada especialitat

Especialitat computació

• CCO2 - Desenvolupar de forma efectiva i eficient els algorismes i el software apropiats per a resoldre problemes complexos de computació.
  • CCO2.1 - Demostrar coneixement dels fonaments, dels paradigmes i de les tècniques pròpies dels sistemes intel·ligents, i analitzar, dissenyar i construir sistemes, serveis i aplicacions informàtiques que utilitzin aquestes tècniques en qualsevol àmbit d'aplicació.
  • CCO2.2 - Capacitat per a adquirir, obtenir, formalitzar i representar el coneixement humà d'una forma computable per a la resolució de problemes mitjançant un sistema informàtic en qualsevol àmbit d'aplicació, particularment en els que estan relacionats amb aspectes de computació, percepció i actuació en ambients o entorns intel·ligents.

Objectius

1. Conèixer el conceptes bàsics d'Intel.ligencia Artificial Distribuïda
   Competències relacionades: G9.1, CCO2.1, CCO2.2,
2. Conèixer el paradigma d'agent intel·ligent com a peça clau en la construcció de sistemes multiagent
   Competències relacionades: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
3. Conèixer els models lògics i computacionals que permeten la construcció d'agents orientats a objectius
   Competències relacionades: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
4. Conèixer els models lògics i computacionals que permeten la construcció d'agents dirigits per utilitat
   Competències relacionades: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
5. Conèixer les diferents metodologies, algoritmes i tecnologies per aconseguir entrenar agents mitjançant aprenentatge per reforç
   Competències relacionades: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
6. Aprendre els conceptes bàsics de la teoria de jocs i la seva relació amb els sistemes multiagents
   Competències relacionades: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
7. Aprendre diferents metodologies i algoritmes de cooperació per a agents en un sistema multiagent
   Competències relacionades: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
8. Conèixer diverses metodologies i algoritmes per la competició entre agents en un sistema multiagent
   Competències relacionades: G7.1, G9.1, G5.3, CCO2.1, CCO2.2,
9. Entendre els aspectes més rellevants del camp del Disseny de Mecanismes
   Competències relacionades: G9.1, CCO2.1,
10. Conèixer i entendre les implicacions socials i ètiques de la Intel·ligència Artificial aplicada a sistemes capaços de prendre decisions de manera autònoma
    Competències relacionades: G9.1, CCO2.1,

Continguts

1. Introducció: sistemes distribuïts intel·ligents
   Perspectives sobre la Intel·ligència Artificial.
   Introducció als sistemes computacionals distribuïts.
   Paradigma d'arquitectura cognitiva i visió històrica.
   Introducció als sistemes multiagents.
2. Agents intel·ligents
   Definició d'agent intel·ligent.
   Racionalitat.
   Racionalitat limitada.
   Definició d'entorn.
   Propietats d'un entorn.
   Arquitectures d'agent intel·ligent: reactiu, deliberatiu guiat per objectius, deliberatiu guiat per utilitat, adaptatiu.
3. Agents guiats per objectius
   Què és un agent lògic-simbòlic.
   Lògica modal.
   Lògica de mons possibles.
   Lògica modal alètica, doxàstica, epistèmica.
   Raonament pràctic guiat per objectius: l'agent com a sistema intencional.
   Implementació d'un agent guiat per objectius: bucle de control d'agent.
   Gestió del compromís respecte un objectiu (commitments).
   Lògica BDI (Belief-Desire-Intention).
4. Ontologies
   Representar el món: ontologia i epistemologia.
   El triangle semiòtic.
   Elements d'una ontologia.
   Llenguatges de representació: OWL i RDF.
   Grafs de coneixement.
   Raonament ontològic.
   Lògica descriptiva: ABox, TBox.
5. Agents guiats per utilitat
   Objectius vs utilitat.
   Definició d'utilitat.
   Hipòtesi de recompensa i senyal de recompensa.
   Definició de problema de decisió secuencial.
   Processos de decisió de Markov (MDPs).
   Trajectories i polítiques: factor de descompte.
   Algoritmes de resolució de MDPs: avaluació de política i iteració de valor.
   Breu introducció a processos de decisió de Markov parcialment observables (POMDPs).
6. Aprenentatge per reforç
   Multi-armed bandits: exploració vs explotació.
   Com aprendre a decidir: aprenentatge per reforç, categorització i taxonomia
   Model-based Monte Carlo.
   Algorismes d'aprenentatge per diferències temporals: SARSA i Q-Learning.
   Algorismes de gradient de política: REINFORCE.
7. Sistemes multiagent: Teoria de Jocs
   Per què formalitzar sistemes multiagent: la paradoxa de Braess.
   Definició d'entorns multiagent i sistema multiagent.
   Breu introducció de models computacionals per a sistemes multiagent: MDPs, DCOPs, planificació, sistemes distribuïts, sistemes sociotècnics, teoria de jocs.
   Introducció a la Teoria de Jocs en forma normal: el dilema del presoner.
   Conceptes de solució: estratègia dominant, estratègies minimax i maximin, equilibri de Nash.
   Càlcul de la recompensa esperada.
   Eficiència de l'equilibri: preu de l'anarquia, optimalitat de Pareto.
   Introducció a la coordinació multiagent: competició vs cooperació.
8. Cooperació
   Què és la cooperació.
   Desafiaments, estructures i modes de cooperació.
   Breu introducció a les teories i models de cooperació.
   Teoria de Coalicions.
   Definició de jocs superaditiu, simple i convex.
   Joc de coalició equitatiu: valor de Shapley.
   Joc de coalició estable: el Nucli.
   Teoria de l'elecció social: paradoxa de Condorcet i propietats deseables.
   Funcions d'elecció social: majoria, pluralitat, Condorcet, Borda, llebre, agenda fixa, dictatorial.
   Introducció a algoritmes de consens: Paxos.
9. Competició
   Què és competició.
   Teories i models de competició.
   Definició de joc en forma extensiva.
   Reducció de forma extensiva a forma normal.
   Com calcular l'equilibri de Nash: algoritme d'inducció cap enrera.
   Negociació com a mecanisme de competició.
   Definició de problema de regateig i resolució amb inducció cap enrera (subgame perfect equilibria).
   Solució de regateig de Nash.
   Resolució de competició com a joc d'adversari: Minimax, Expectiminimax, arbre de cerca Monte Carlo.
10. Disseny de mecanismes
    Definició de mecanisme.
    Teoria de la implementació.
    Compatibilitat d'incentius.
    Principi de revelació.
    Disseny de mecanismes vist com un problema d'optimització.
    Exemple de tipus de mecanisme: subastes.
    Mecanismes de mercat.
    Subasta naive, de primer preu i de segon preu (Vickrey-Clarke-Groves).
    Exemple de combinació de subasta i consens.
11. Aprenentatge per reforç multiagent
    De teoria de jocs a aprenentatge per reforç: jocs estocàstics i jocs estocàstics parcialment observables.
    Com afegir comunicació a un joc estocàstic.
    Definició de problema d'aprenentatge per reforç multiagent.
    Càlcul de la utilitat esperada: política individual vs política conjunta.
    Conceptces de solució: equilibris, optimalitat de Pareto, benestar social, mínim empenediment.
    Procés d'entrenament i garanties i tipus de convergència a una solució: què passa quan una política no és estacionària.
    Metodologies d'entrenament per reducció a un agent: aprenentatge centralitzat, aprenentatge independent, self-play (AlphaZero).
    Algoritmes d'entrenament multiagent: aprenentatge d'accions conjuntes, modelat d'agents.
12. Models simbòlics de la IA social
    Introducció als sistemes sociotècnics: impacte en la societat dels sistemes distribuïts intel·ligents.
    Models socials de coordinació i organitzacionals: abstraccions socials, normes, rols.
    Organitzacions electròniques: OperA.
    Models normatius: institucions electròniques, HarmonIA.
    Models holístics: OMNI.
13. Agents i ètica
    Repàs del conceptes d'agent intel·ligent i agent racional.
    Relació entre agència i intel·ligència.
    Problemes socials i ètics de la Intel·ligència Artificial: privacitat, IA responsable.

Activitats

Activitat Acte avaluatiu

Metodologia docent

Mètode d'avaluació

Bibliografia

Bàsica:

• Artificial intelligence: a modern approach - Russell, S.J.; Norvig, P, Pearson, 2022. ISBN: 9781292401133
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991005066379806711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Multiagent systems: algorithmic, game-theoretic, and logical foundations - Shoham, Yoav; Leyton-Brown, Kevin, Cambridge University Press, 2009. ISBN: 9780521899437
  https://www-cambridge-org.recursos.biblioteca.upc.edu/core/books/multiagent-systems/B11B69E0CB9032D6EC0A254F59922360
• Programming multi-agent systems in AgentSpeak using Jason - Bordini, Rafael H; Hübner, Jomi Fred; Wooldridge, Michael J, John Wiley, 2007. ISBN: 9780470029008
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003490179706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Reinforcement learning: an introduction - Sutton, Richard S; Barto, Andrew G, MIT Press, 2020. ISBN: 978-0262193986
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004166329706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Multi-Agent Reinforcement Learning: Foundations and Modern Approaches - Albrecht, Stefano V.;Christianos, Filippos; Schäfer, Lukas, MIT Press, 2024. ISBN: 9780262049375
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991005317955806711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Complementaria:

• An introduction to multiagent systems - Wooldridge, Michael J, John Wiley & Sons , 2009. ISBN: 9780470519462
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma91003779579706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Algorithmic game theory - Nisan, Noam; Papadimitriou, Christos H, Cambridge University Press , 2007. ISBN: 9780521872829
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003321009706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Game Theory, Alive - Karlin, Anna R.; Peres, Yuval, American Mathematical Society , 2017. ISBN: 1-4704-3667-1
  https://ebookcentral-proquest-com.recursos.biblioteca.upc.edu/lib/upcatalunya-ebooks/detail.action?pq-origsite=primo&docID=4908296
• The emotion machine: commensense thinking, artificial intelligence, and the future of the human mind - Minsky, M.L, Simon and Schuster , 2006. ISBN: 0743276639
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991003734189706711&context=L&vid=34CSUC_UPC:VU1&lang=ca
• Concurrent programming: algorithms, principles, and foundations - Raynal, M, Springer , 2013. ISBN: 9783642320262
  https://discovery.upc.edu/discovery/fulldisplay?docid=alma991004000289706711&context=L&vid=34CSUC_UPC:VU1&lang=ca

Capacitats prèvies