Descrizione del modulo "Parlato e Comunicazione Multimodale (IC.P02.008.001)"

Type
Label
  • Descrizione del modulo "Parlato e Comunicazione Multimodale (IC.P02.008.001)" (literal)
Potenziale impiego per bisogni individuali e collettivi
  • Manuali per la didattica della fonetica e della fonologia dell'italiano, anche in approccio contrastivo, per l'insegnamento di italiano (L1, L2) per la mediazione culturale, per soggetti normali e patologici; Sistemi di sintesi vocale e bimodale uditivo-visiva di facce parlanti espressive in agenti virtuali utilizzabili come interfacce uomo-macchina in sistemi di e-learning; test di intelligibilita' uditiva e visiva (=lettura labiale) dei fonemi e visemi dell'italiano per audiologi, audiometristi, audioprotesisti, foniatri e logopedisti; protocolli e strumenti diagnostici per l'individuazione di possibili ritardi e/o patologie fonetico-fonologiche quali un test fonetico basato sul Primo Vocabolario del Bambino 18-36 mesi di età, un test di produzione e un test di percezione basati sull'uso di non-parole per bambini di età 36-60 mesi, figli di immigrati che devono acquisire l'italiano come L2, il software PHON per l'archiviazione e l'analisi automatica degli aspetti fonetico-fonologici del linguaggio infantile, o il software multimediale Italian Literacy Tutor (per bambini dai 5 agli 11 anni) per Logopedisti, Neuropsichiatri e Psicologi dell'età evolutiva. (literal)
Tematiche di ricerca
  • Individuazione delle specificità linguistiche, sociolinguistiche e cognitive del parlato, elemento centrale della comunicazione e dell'interazione umane faccia-a-faccia e implementazione di sistemi automatici per il Trattamento Automatico della Lingua (TAL). Studio delle caratteristiche dell'italiano parlato tramite analisi sperimentali articolatorie, acustiche e percettive delle unità fonologiche segmentali e soprasegmentali, linguistiche e paralinguistiche, degli enunciati, della variabilità fonetica indotta da stile, emozioni, velocità di elocuzione o da variabili biologiche legate ai processi evolutivi, degenerativi e traumatici. Analisi mediante nuove metodologie sperimentali (ELITE) e descrittive (ANVIL) della coproduzione dei segnali acustici e visivi nella comunicazione parlata faccia-a-faccia. Realizzazione di sistemi automatici di sintesi vocale espressiva da testo scritto, di riconoscimento automatico del parlato e di agenti/robot parlanti. Raccolta dati su aspetti sociolinguistico-dialettologici quali la variazione sintattica in ambito romanzo-germanico tramite analisi fonetico-fonologiche e lessicologico-morfosintattiche di lingue in contatto (L1-L2, dialetti). (literal)
Competenze
  • Conoscenza di base delle teorie fonetiche (Fonetica articolatoria, acustica, percettiva) e psicolinguistiche più recenti, e della loro applicabilità in campi quali la Speech Technology e la diagnosi e riabilitazione dei disordini del linguaggio di natura fonetico-fonologica e della letto-scrittura; conoscenza pratica del funzionamento dei principali strumenti analogici e digitali; conoscenza delle metodiche di analisi acustica ed articolatoria, conoscenza dei principali concetti e applicazioni della statistica al disegno sperimentale e al trattamento dei dati, conoscenza e l'abilità nell'uso di numerosi software per l'editing e l'analisi del segnale acustico e cinematico, per il wordprocessing, per il calcolo, per la grafica e il trattamento delle immagini, per la statistica, per la creazione di archivi, per presentazioni di tipo interattivo, per la navigazione in Internet, per la programmazione, il tutto per sistemi operativi Windows, linux e MacIntosh. (literal)
Potenziale impiego per processi produttivi
  • Creazione di Robot, Facce Parlanti e Agenti Virtuali che non presentino soltanto una piacevolezza grafica ma che implementino piuttosto le specificità socio-linguistiche italiane per quanto riguarda le caratteristiche articolatorie e acustiche del parlato, le caratteristiche espressive, la gestualità. Tali sistemi di sintesi vocale e uditivo-vocale assieme a sistemi automatici di riconoscimento del parlato potrebbero essere largamente usati come interfacce uomo-macchina per l'interrogazione di banche dati (nella Pubblica Amministrazione,nella consultazione di orari ferroviari, museali,ecc., nell'e-learning, ecc.). Dal punto di vista teorico, queste ricerche aprono nuovi orizzonti ed esigenze per la cosiddetta Fonetica Forense e per le tecniche di trascrizione giudiziaria in quanto documentano l'importanza, ai fini della definizione del significato dell'atto comunicativo, delle interazioni tra parlato e informazioni paralinguistiche, della visual prosody e della gestualità coverbale. A questo proposito si comunica l'inizio della procedura di approvazione dello SpinOff CNR MIVOQ verso cui saranno trasferite molte conoscenze. (literal)
Tecnologie
  • I risultati ottenuti dalle analisi sperimentali articolatorie, acustiche e percettive,uditive e visive, sulle unità segmentali e soprasegmentali dell'italiano vengono utilizzate nella messa a punto di sistemi di sintesi vocale (da testo) uni- e bi-modale (Animazione Facciale 3D) e di riconoscimento automatico dell'italiano. In particolare si sviluppano sistemi di sintesi della voce da testo scritto e modelli di articolazione e animazione a partire da dati reali. Si sottolinea che la Commessa \"Parlato e Comunicazione multimodale\" utilizza i locali della sede (ex Sezione) di Padova dell'ISTC e le strumentazioni dello \"Speech and Multimodal Communication Lab\". (literal)
Obiettivi
  • - Modelli di comunicazione multimodale basati sulla coproduzione di strutture fonetico-fonologiche dell'italiano veicolate da segnali acustico e visivo (lettura labiale, visual prosody e gesti coverbali) anche per implementazione di interfacce uomo-macchina nell'e-learning. - Analisi di processi, strutture e variazioni in popolazioni normali e patologiche nell'italiano basata sulla Fonologia Articolatoria e restrizioni neurofisiologiche del sistema articolatorio. - Analisi percettivo-acustica dell'evoluzione di tendenze linguo-specifiche vs. universali nelle produzioni fonetiche che caratterizzano le vocalizzazioni pre-linguistiche (babbling) di bambini italiani, e definizione di profili fonetico-fonologici evolutivi normativi per età e vocabolario per le produzioni linguistiche. - Realizzazione di sistemi automatici di sintesi vocale espressiva da testo scritto e di riconoscimento automatico del parlato e di agenti/robot parlanti. - Realizzazione di Test Fonetici, Archivi Multimediali (PHON) e software didattici (Italian Literacy Tutor) - Realizzazione di atlanti, glossari e lessici dialettali. (literal)
Stato dell'arte
  • Lo studio del parlato, essenziale per le ricerche sulla comunicazione umana, mira a identificare come il linguaggio venga prodotto, percepito e acquisito in relazione con i sistemi fonologici. La struttura dei segnali relativi ai fonemi, e ai fenomeni prosodici, correlati alla struttura sintattica e all'organizzazione dell'informazione, è studiata nei suoi aspetti articolatori, cinematici, acustici e percettivi, uditivi e visivi. Il parlato è prodotto mediante interazione faccia-a-faccia e richiede lo studio della coproduzione di informazioni fonologiche segmentali e prosodiche, visemi, visual prosody, espressione vocale e facciale delle emozioni e gestualità coverbale. Questi studi sono necessari per la realizzazione di sistemi automatici di sintesi vocale espressiva da testo scritto, di riconoscimento automatico del parlato e di agenti/robot parlanti. Inoltre lo studio del babbling e le prime parole dei bambini sono necessari per definire, a fini normativi, l'emergere della struttura fonetico-fonologica del parlato italiano, come pure l'alterazione delle caratteristiche spaziotemporali della produzione articolatoria del parlato patologico, in particolare dei soggetti balbuzienti. (literal)
Tecniche di indagine
  • - trascrizione fonetica del percetto uditivo in simboli IPA, e sua codifica per la creazione di database informatizzati (con PHON o SAMPA in Systat); - visualizzazione delle configurazioni di energia acustica sulla forma d'onda e sullo spettrogramma; - segmentazione ed etichettatura; - analisi di parametri acustici quali formanti, pitch, durate, e intensità (anche per le vocalizzazioni infantili), inferenze che portano alla classificazione articolatoria a partire dal segnale acustico - trascrizione plurilivello degli aspetti acustico/percettivi relativi all'informazione prosodica (TobI); - uso delle conoscenze sulla parametrizzazione del segnale acustico/articolatorio per la sintesi, il riconoscimento e l'animaz.; - uso delle conoscenze teoriche sulle relazioni tra segnale acustico e cinematico, per misurare le caratteristiche spaziotemporali dei gesti articolatori (INTERFACE); - analisi statistiche parametriche e non parametriche di dati di tipo continuo e categoriale (analisi di frequenze); - uso di software per il calcolo (Excel, MatLab), trattamento delle immagini (Canvas, Photoshop), creazione di archivi (FileMaker), presentazioni (PowerPoint), e programmazione (Matlab) (literal)
Descrizione di

Incoming links:


Descrizione
data.CNR.it