Processament del Llenguatge Oral i Escrit

Crèdits
6
Tipus
Obligatòria
Requisits
Aquesta assignatura no té requisits , però té capacitats prèvies
Departament
TSC;CS
En aquest curs s'estudien les anomenades tecnologies de la parla, una part fonamental de la intel·ligència artificial que té com a objectiu el desenvolupament de sistemes per analitzar, entendre, traduir, i generar llenguatge humà oral o escrit. Es posa especial atenció en les noves tecnologies basades en l'aprenentatge profund i les seves aplicacions. Les pràctiques proporcionen als estudiants l'oportunitat de consolidar i aprofundir alguns temes, i també tenen com a objectiu ajudar a potenciar les seves pròpies habilitats de desenvolupament d'aplicacions o investigació.

Professorat

Responsable

  • Jose Adrian Rodriguez Fonollosa (jose.fonollosa@upc.edu)

Altres

  • Carlos Escolano Peinado (carlos.escolano@upc.edu)

Hores setmanals

Teoria
3
Problemes
0
Laboratori
1
Aprenentatge dirigit
0
Aprenentatge autònom
6

Competències

Competències Tècniques

Competències tècniques

  • CE5 - Dissenyar i aplicar tècniques de processat de senyal, triant entre diferents eines tecnològiques, incloses les de visió artificial, de reconeixement del llenguatge parlat i de tractament de dades multimèdia.
  • CE6 - Construir o utilitzar sistemes de processat i comprensió del llenguatge escrit, integrant-lo en altres sistemes dirigits per les dades. Dissenyar sistemes de recerca d'informació textual o hipertextual i d'anàlisi de xarxes socials.

    • Competències Transversals

    Transversals

  • CT5 [Avaluable] - Ús solvent dels recursos d'informació. Gestionar l'adquisició, l'estructuració, l'anàlisi i la visualització de dades i informació en l'àmbit de l'especialitat i valorar de forma crítica els resultats d'aquesta gestió.
  • CT6 - Aprenentatge autònom. Detectar deficiències en el propi coneixement i superar-les mitjançant la reflexió crítica i l'elecció de la millor actuació per ampliar aquest coneixement.
  • CT7 [Avaluable] - Tercera llengua. Conèixer una tercera llengua, preferentment l'anglès, amb un nivell adequat oral i escrit i d'acord amb les necessitats que tindran els titulats i titulades.

    • Bàsiques

  • CB4 - Que els estudiants puguin transmetre informació, idees, problemes i solucions a un públic tant especialitzat com no especialitzat.
  • CB5 - Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia

    • Competències Tècniques Generals

    Genèriques

  • CG1 - Concebre sistemes computacionals que integren dades de procedències i formes molt diverses, construeixen amb ells models matemàtics, raonen sobre aquests models i actuen en conseqüència, aprenent de l'experiència.
  • CG2 - Elegir i aplicar els mètodes i tècniques més adequats a un problema definit per dades que representin un repte pel seu volum, velocitat, varietat o heterogeneïtat, inclosos mètodes informàtics, matemàtics, estadístics i de processament del senyal.
  • CG4 - Identificar oportunitats per a aplicacions innovadores orientades a dades en entorns tecnològics en contínua evolució.
  • CG5 - Poder recórrer a coneixements fonamentals i metodologies de treball sòlides adquirits durant els estudis per adaptar-se als nous escenaris tecnològics del futur.

    • Objectius

    1. Conèixer les tecnologies més importants d'aprenentatge profund d'interès en el processament del llenguatge oral i escrit.
      Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    2. L'alumne ha de conèixer les aplicacions més importants de la tecnologia de la parla i del llenguatge.
      Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    3. L'alumne ha de ser capaç de seleccionar la tecnologia de la parla i del llenguatge més adient per a una determinada tasca o aplicació.
      Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    4. Desenvolupar aplicacions que utilitzin la tecnologia de la parla de forma adequada i innovadora.
      Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    5. L'alumne ha de ser capaç d'identificar els paràmetres fonamentals de la veu en el domini temporal i freqüencial
      Competències relacionades: CE5, CT5, CT6, CT7, CG1, CB4, CB5,
    6. L'alumne ha de conèixer les eines matemàtiques de modelatge i aprenentatge automàtic més útils en l'anàlisi de la veu com la quantificació vectorial, els models de barreges de gaussianes i els models ocults de Markov.
      Competències relacionades: CE5, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
    7. L'alumne ha de conèixer les tècniques de modelatge estadístic del llenguatge.
      Competències relacionades: CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,

    Continguts

    1. Introducció a les tecnologies del llenguatge i la parla i les seves aplicacions
      Aplicacions del processat del llenguatge oral i escrit. Impacte social.
      Blocs principals d'un sistema de processament de la parla: reconeixement de la parla, processat del llenguatge natural, conversió de text a veu.
      El llenguatge com a seqüència de paraules. Representació vectorial de paraules. Codificació one-hot. Representacions vectorials en un espai continu.
      Word2vec: Continuous bag-of-words versus Continuous skip-gram. Vectors GloVe. Estructures i analogies en les representacions vectorials de paraules.
    2. Modelatge del llenguatge.
      Modelatge estadístic basat en n-grames.
      Modelatge amb xarxes neuronals. Xarxes recurrents. Xarxes convolucionals. Sistemes d'atenció: el Transformer.
    3. Representacions contextuals del llenguatge
      Representacions del llenguatge de propòsit general.
      Entrenament no supervisat. Sistemes unidireccionals i bidireccionals.
      Arquitectures principals: ULMfit, OpenAI GPT, Elm, BERT, XLM. Aplicacions.
    4. Traducció Automàtica Neuronal
      Introducció a la traducció automàtica. Automatic evaluation of translations: BLEU
      Traducció Automàtica amb xarxes neuronals.
    5. Fonaments del reconeixement automàtic de la veu
      Pattern matching. Dynamic time warping.
      Models ocults de Markov: reconeixement de parables aïllades.
      Reconeixement de parla contínua: modelat acústic, modelatge de llenguatge, cerca.
    6. Síntesi de veu
      Processador lingüística.
      Modelatge de la prosòdia.
      Generació de formes dona.
      Mètodes de concatenación.

    Activitats

    Activitat Acte avaluatiu


    Desenvolupament del tema: Introducció a les tecnologies del llenguatge i la parla i les seves aplicacions

    Introducció a les tecnologies del llenguatge i la parla i les seves aplicacions. Word vectors
    Objectius: 3 2
    Continguts:
    Teoria
    6h
    Problemes
    0h
    Laboratori
    2h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Desenvolupament del tema: Modelatge del llenguatge.


    Objectius: 6
    Continguts:
    Teoria
    6h
    Problemes
    0h
    Laboratori
    2h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Desenvolupament del tema: Reconeixement automàtic de la veu

    Reconeixement automàtic de la veu
    Objectius: 5 6 7
    Continguts:
    Teoria
    9h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Desenvolupament del tema: Síntesi de veu

    Síntesi de veu
    Objectius: 2
    Continguts:
    Teoria
    6h
    Problemes
    0h
    Laboratori
    0h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Desarrollo del tema: Representacions contextuals del llenguatge


    Objectius: 1
    Continguts:
    Teoria
    9h
    Problemes
    0h
    Laboratori
    2h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    16h

    Desenvolupament del tema: Traducció Automàtica Neuronal

    Traducció Automàtica Neuronal

    Teoria
    6h
    Problemes
    0h
    Laboratori
    2h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    10h

    Projecte final

    Projecte final
    Objectius: 3 4
    Continguts:
    Teoria
    3h
    Problemes
    0h
    Laboratori
    7h
    Aprenentatge dirigit
    0h
    Aprenentatge autònom
    24h

    Metodologia docent

    Sessions de teoria intercalant l'exposició de nou material teòric amb exemples pràctics.
    Tasques teòriques i pràctiques agrupades en temes.
    Projecte final presentat en forma escrita i oral pels estudiants.

    Mètode d'avaluació

    L'avaluació de l'assignatura es basa en els següents aspectes:

    - Dos controls, un control intermedi i l'examen final, per avaluar de forma individual els coneixements adquirits sobre els temes treballats en les sessions de teoria (60%) i les pràctiques (15%).

    - Avaluació dels treballs de laboratori (25%): informes escrits i explicació oral de les tasques realitzades i els resultats.

    Bibliografia

    Bàsic

    Complementari

    Capacitats prèvies

    Càlcul i àlgebra lineal
    Probabilitat bàsica i estadística
    Nivell alt de programació en Python
    Aprenentatge automàtic.
    Introducció al Deep Learning