Flawless: ecco la startup che fa parlare gli attori in altre lingue

In un mercato sempre più globalizzato, anche per via delle piattaforme streaming, diventerà sempre più importante poter fornire in tempi rapidi doppiaggi in molte lingue. Già tempo fa Amazon aveva sviluppato una tecnologia per doppiare con l’intelligenza artificiale, dunque in maniera automatica e senza l’ausilio di veri doppiatori, un film o una serie. Mesi fa vi avevamo inoltre parlato di DeepDub, startup israeliana che punta a trasporre in qualsiasi lingua la voce di un attore.

Flawless, una tecnologia sviluppata dal regista Scott Mann e dall’imprenditore dell’e-commerce Nick Lynes, promette una cosa ancora diversa. Anziché concentrarsi sulla voce, lavora sul movimento delle labbra per eliminare la differenza tra esso e le battute pronunciate in un’altra lingua. Una cosa a cui il pubblico europeo è abituato, mentre in America gli spettatori fanno molta fatica a vedere una cosa in inglese con dei movimenti delle labbra degli attori fuori sincrono.

Per questo Flawless ha enormi potenzialità: non solo potrebbe far penetrare i film doppiati in mercati come quello americano – evitando agli studios, come dice Mann, di spendere 60 milioni per un remake di Un altro giro, ad esempio. Ma potrebbe anche permettere a uno studio, eventualmente, di modificare i movimenti labiali di una battuta nel caso in cui un ciak non vada bene, così che un attore possa ridoppiarsi in studio, evitando i costi esorbitanti di un reshoot.

Vediamo qualche esempio di Flawless in azione.

Scott Mann ha raccontato che l’idea gli è venuta dopo aver visto un pessimo doppiaggio – non specifica in quale lingua – del suo film Bus 657, interpretato da Robert De Niro. “Ricordo di essere rimasto distrutto”, ha spiegato a Wired. “Basta fare un piccolo cambiamento a una parola o una performance, per causare grandi cambiamenti a un personaggio o una svolta della storia, e di conseguenza al film”.

E così, insieme a Nick Lynes, e prendendo ispirazione da una ricerca sul deepfake nel doppiaggio IA realizzata da Christian Theobalt, un professore del Max Planck Institute in Germania, Mann si è messo al lavoro per rimediare al problema.

Flawless è imparentata con il deepfake, anche se Mann specifica che la sua tecnologia è molto più complessa. “I deepfake usano un rimpiazzo facciale a due dimensioni per falsificare l’identità delle persone, che è l’opposto di ciò che facciamo noi, cioè usare responsabilmente le reti neurali per potenziare una performance”.

Come funziona?

Flawless, con l’aiuto del software di proprietà TrueSync, di fatto sincronizza la performance originale di un attore con i movimenti delle labbra di una persona che rifà le stesse battute nella sua lingua madre. A quanto afferma Mann, le reti neurali utilizzate dalla startup possono partire ad analizzare milioni di punti visivi all’interno di un’inquadratura già durante le riprese di un film, senza interrompere il processo della lavorazione, ma correndo parallelo a essa. La tecnologia converte il viso di un attore in un modello 3D, sincronizza il viso con il labiale nella lingua di destinazione, e poi riconverte tutto in 2D.

Il vantaggio è che i dialoghi in un’altra lingua possono essere tradotti subito e fedelmente, perché non dovranno coordinarsi con i labiali originali. Mann promette che l’effetto sarà “molto presto invisibile”.

A quanto pare, la compagnia sta già discutendo con degli studios e lavorando con una piattaforma streaming, un accordo che spera di annunciare presto. Flawless si aspetta inoltre che il primo film a utilizzare questa tecnologia uscirà entro i prossimi dodici mesi.

Controversie

Naturalmente Flawless si porta dietro qualche controversia. Non solo un attore potrebbe non apprezzare che un’intelligenza artificiale modifichi la sua performance – e infatti Mann ha detto che, finora, ha ricevuto due reazioni dagli attori, “paura e wow”. Ma se tiriamo in ballo lo spettro del deepfake, che di fatto “simula” un volto, gli aspetti controversi sono più evidenti. Flawless usa questa tecnologia “a fin di bene”, ma niente impedirebbe a qualcuno di sviluppare qualcosa di simile per far dire alle persone cose che non hanno mai detto in maniera estremamente credibile.

Certo, almeno nel caso di Flawless, i doppiatori non hanno per ora nulla da temere. Qui non si tratta di sostituire il doppiatore, ma, di fatto, di rendergli il lavoro più svelto – i dialoghi non dovrebbero essere adattati – e di legarlo in maniera “flawless”, appunto, al girato. Ma se realtà come Flawless e DeepDub dovessero unire le forze, allora le cose potrebbero davvero cambiare per sempre.

Fonti: Wired, Input

Leggi su ScreenWEEK.it