Processament del Llenguatge Oral i Escrit

Esteu aquí

Crèdits
6
Tipus
Obligatòria
Requisits
Aquesta assignatura no té requisits, però té capacitats prèvies
Departament
TSC
En aquest curs s'estudien les anomenades tecnologies de la parla, una part fonamental de la intel·ligència artificial que té com a objectiu el desenvolupament de sistemes per analitzar, entendre, traduir, i generar llenguatge humà oral o escrit. Es posa especial atenció en les noves tecnologies basades en l'aprenentatge profund i les seves aplicacions. El projecte final dóna als estudiants l'oportunitat d'aprofundir sobre un tema en particular, i també té com a objectiu ajudar a potenciar les seves pròpies habilitats de desenvolupament d'aplicacions o investigació.

Professors

Responsable

  • Marta Ruiz Costa-Jussa ( )

Altres

  • Jose Adrian Rodriguez Fonollosa ( )

Hores setmanals

Teoria
3
Problemes
0
Laboratori
1
Aprenentatge dirigit
0.4
Aprenentatge autònom
6

Competències

Competències Tècniques

Competències tècniques

  • CE5 - Dissenyar i aplicar tècniques de processat de senyal, triant entre diferents eines tecnològiques, incloses les de visió artificial, de reconeixement del llenguatge parlat i de tractament de dades multimèdia.
  • CE6 - Construir o utilitzar sistemes de processat i comprensió del llenguatge escrit, integrant-lo en altres sistemes dirigits per les dades. Dissenyar sistemes de recerca d'informació textual o hipertextual i d'anàlisi de xarxes socials.

Competències Transversals

Transversals

  • CT5 - Ús solvent dels recursos d'informació. Gestionar l'adquisició, l'estructuració, l'anàlisi i la visualització de dades i informació en l'àmbit de l'especialitat i valorar de forma crítica els resultats d'aquesta gestió.
  • CT6 - Aprenentatge autònom. Detectar deficiències en el propi coneixement i superar-les mitjançant la reflexió crítica i l'elecció de la millor actuació per ampliar aquest coneixement.
  • CT7 - Tercera llengua. Conèixer una tercera llengua, preferentment l'anglès, amb un nivell adequat oral i escrit i d'acord amb les necessitats que tindran els titulats i titulades.

Bàsiques

  • CB4 - Que els estudiants puguin transmetre informació, idees, problemes i solucions a un públic tant especialitzat com no especialitzat.
  • CB5 - Que els estudiants hagin desenvolupat aquelles habilitats d'aprenentatge necessàries per emprendre estudis posteriors amb un alt grau d'autonomia

Competències Tècniques Generals

Genèriques

  • CG1 - Concebre sistemes computacionals que integren dades de procedències i formes molt diverses, construeixen amb ells models matemàtics, raonen sobre aquests models i actuen en conseqüència, aprenent de l'experiència.
  • CG2 - Elegir i aplicar els mètodes i tècniques més adequats a un problema definit per dades que representin un repte pel seu volum, velocitat, varietat o heterogeneïtat, inclosos mètodes informàtics, matemàtics, estadístics i de processament del senyal.
  • CG4 - Identificar oportunitats per a aplicacions innovadores orientades a dades en entorns tecnològics en contínua evolució.
  • CG5 - Poder recórrer a coneixements fonamentals i metodologies de treball sòlides adquirits durant els estudis per adaptar-se als nous escenaris tecnològics del futur.

Objectius

  1. Conèixer les tecnologies més importants d'aprenentatge profund d'interès en el processament del llenguatge oral i escrit.
    Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  2. L'alumne ha de conèixer les aplicacions més importants de la tecnologia de la parla i del llenguatge.
    Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  3. L'alumne ha de ser capaç de seleccionar la tecnologia de la parla i del llenguatge més adient per a una determinada tasca o aplicació.
    Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  4. Desenvolupar aplicacions que utilitzin la tecnologia de la parla de forma adequada i innovadora.
    Competències relacionades: CE5, CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  5. L'alumne ha de ser capaç d'identificar els paràmetres fonamentals de la veu en el domini temporal i freqüencial
    Competències relacionades: CE5, CT5, CT6, CT7, CG1, CB4, CB5,
  6. L'alumne ha de conèixer les eines matemàtiques de modelatge i aprenentatge automàtic més útils en l'anàlisi de la veu com la quantificació vectorial, els models de barreges de gaussianes i els models ocults de Markov.
    Competències relacionades: CE5, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,
  7. L'alumne ha de conèixer les tècniques de modelatge estadístic del llenguatge.
    Competències relacionades: CE6, CT5, CT6, CT7, CG1, CG2, CG4, CG5, CB4, CB5,

Continguts

  1. Introducció a les tecnologies del llenguatge i la parla i les seves aplicacions
    Aplicacions del processat del llenguatge oral i escrit. Impacte social.
    Blocs principals d'un sistema de processament de la parla: reconeixement de la parla, processat del llenguatge natural, conversió de text a veu.
    El llenguatge com a seqüència de paraules. Representació vectorial de paraules. Codificació one-hot. Representacions vectorials en un espai continu.
    Word2vec: Continuous bag-of-words versus Continuous skip-gram. Vectors GloVe. Estructures i analogies en les representacions vectorials de paraules.
  2. Modelatge del llenguatge.
    Modelatge estadístic basat en n-grames.
    Modelatge amb xarxes neuronals. Xarxes recurrents. Xarxes convolucionals. Sistemes d'atenció: el Transformer.
  3. Representacions contextuals del llenguatge
    Representacions del llenguatge de propòsit general.
    Entrenament no supervisat. Sistemes unidireccionals i bidireccionals.
    Arquitectures principals: ULMfit, OpenAI GPT, Elm, BERT, XLM. Aplicacions.
  4. Traducció Automàtica Neuronal
    Introducció a la traducció automàtica. Automatic evaluation of translations: BLEU
    Traducció Automàtica amb xarxes neuronals.
  5. Fonaments del reconeixement automàtic de la veu
    Pattern matching. Dynamic time warping.
    Models ocults de Markov: reconeixement de parables aïllades.
    Reconeixement de parla contínua: modelat acústic, modelatge de llenguatge, cerca.
  6. Síntesi de veu
    Processador lingüística.
    Modelatge de la prosòdia.
    Generació de formes dona.
    Mètodes de concatenación.

Activitats

Activitat Acte avaluatiu


Desenvolupament del tema: Introducció a les tecnologies del llenguatge i la parla i les seves aplicacions

Introducció a les tecnologies del llenguatge i la parla i les seves aplicacions. Word vectors
Objectius: 3 2
Continguts:
Teoria
6h
Problemes
0h
Laboratori
2h
Aprenentatge dirigit
0h
Aprenentatge autònom
10h

Desenvolupament del tema: Modelatge del llenguatge.


Objectius: 6
Continguts:
Teoria
6h
Problemes
0h
Laboratori
2h
Aprenentatge dirigit
0h
Aprenentatge autònom
10h

Desenvolupament del tema: Reconeixement automàtic de la veu

Reconeixement automàtic de la veu
Objectius: 5 6 7
Continguts:
Teoria
9h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
1h
Aprenentatge autònom
10h

Desenvolupament del tema: Síntesi de veu

Síntesi de veu
Objectius: 2
Continguts:
Teoria
6h
Problemes
0h
Laboratori
0h
Aprenentatge dirigit
0h
Aprenentatge autònom
10h

Desarrollo del tema: Representacions contextuals del llenguatge


Objectius: 1
Continguts:
Teoria
9h
Problemes
0h
Laboratori
2h
Aprenentatge dirigit
1h
Aprenentatge autònom
16h

Desenvolupament del tema: Traducció Automàtica Neuronal

Traducció Automàtica Neuronal

Teoria
6h
Problemes
0h
Laboratori
2h
Aprenentatge dirigit
0h
Aprenentatge autònom
10h

Teoria
3h
Problemes
0h
Laboratori
7h
Aprenentatge dirigit
4h
Aprenentatge autònom
24h

Metodologia docent

Sessions de teoria intercalant l'exposició de nou material teòric amb exemples pràctics.
Tasques teòriques i pràctiques agrupades en temes.
Projecte final presentat en forma escrita i oral pels estudiants.

Mètode d'avaluació

L'avaluació de l'assignatura es basa en tres aspectes:

- Dos controls, un control intermedi i l'examen final, per avaluar de forma individual els coneixements adquirits sobre els temes treballats en les sessions de teoria i les pràctiques (40%)

- Avaluació dels treballs de laboratori: (30%)

- Avaluació de el projecte final (30%)

Únicament es pot dur a reavaluació el 40% de la nota resultant dels 2 controls realitzats al llarg de el curs. La nota obtinguda substituirà la nota obtinguda en els 2 exàmens realitzats anteriorment durant el curs, amb la mateixa ponderació.

Bibliografia

Bàsica:

Complementaria:

Capacitats prèvies

Càlcul i àlgebra lineal
Probabilitat bàsica i estadística
Nivell alt de programació en Python
Aprenentatge automàtic.
Introducció al Deep Learning