NVIDIA RIVOLUZIONA IL MONTAGGIO VIDEO E LA VIDEOCONFERENZA 3D CON MAXINE: L’IA AL SERVIZIO DELLA COMUNICAZIONE
di Germano Costi
I professionisti, i team, i creatori e molti altri possono ora accedere al potere dell’IA per creare effetti audio e video di alta qualità, persino utilizzando microfoni standard e webcam. Tutto questo grazie a NVIDIA Maxine.
Questa suite di kit di sviluppo software accelerati da GPU e microservizi cloud-native permette agli utenti di implementare funzionalità di IA che migliorano effetti audio, video ed effetti di realtà aumentata per servizi e piattaforme di comunicazione in tempo reale. Maxine offre inoltre nuove funzionalità per il montaggio video, consentendo ai team di raggiungere nuove vette nella comunicazione video.
Inoltre, una dimostrazione di ricerca di NVIDIA alla conferenza SIGGRAPH di questa settimana mostra come l’IA possa portare le videoconferenze al livello successivo con funzionalità 3D.
NVIDIA Maxine Espande le Funzionalità nel Montaggio Video
La connettività wireless ha permesso alle persone di partecipare a riunioni virtuali da più luoghi che mai. Tuttavia, di solito la qualità audio e video è fortemente influenzata quando chi chiama è in movimento o si trova in una zona con una connessione scadente.
Le avanzate funzionalità in tempo reale di Maxine, come la Rimozione del Rumore di Sottofondo, la Super Risoluzione e il Contatto Visivo, consentono agli utenti remoti di migliorare le esperienze di comunicazione interpersonale.
Inoltre, Maxine può ora essere utilizzato per il montaggio video. I partner di NVIDIA stanno trasformando questo flusso di lavoro professionale con le stesse funzionalità di Maxine che elevano la videoconferenza. L’obiettivo quando si modifica un video, che sia una presentazione di vendita o un seminario web, è coinvolgere il pubblico più ampio possibile. Utilizzando Maxine, i professionisti possono sfruttare le funzionalità di IA che migliorano segnali audio e video.
Con Maxine, un portavoce può distogliere lo sguardo dallo schermo per fare riferimento a note o uno script, mentre il suo sguardo sembra rimanere diretto verso la telecamera. Gli utenti possono anche registrare video in bassa risoluzione e migliorarne la qualità successivamente. Inoltre, Maxine consente alle persone di registrare video in diverse lingue ed esportarli in inglese.
Le funzionalità di Maxine che saranno rilasciate in accesso anticipato quest’anno includono:
- Interprete: traduce dal cinese semplificato, russo, francese, tedesco e spagnolo all’inglese, animando l’immagine dell’utente per farlo sembrare che stia parlando inglese.
- Voice Font: consente agli utenti di applicare le caratteristiche della voce di un oratore e mapparle all’uscita audio.
- Super Risoluzione Audio: migliora la qualità audio aumentando la risoluzione temporale del segnale audio ed estendendo la larghezza di banda. Supporta attualmente l’upsampling da 8.000Hz a 16.000Hz e da 16.000Hz a 48.000Hz. Questa funzione è anche aggiornata con una riduzione della latenza superiore al 50% e un throughput fino al doppio.
- Maxine Client: porta le capacità di IA dei microservizi di Maxine nelle sessioni di videoconferenza su PC. L’applicazione è ottimizzata per lo streaming a bassa latenza e utilizza il cloud per tutti i requisiti di calcolo della GPU. Thin Client sarà disponibile su Windows questo autunno, con il supporto di altri sistemi operativi a seguire.
Maxine può essere implementato nel cloud, in loco o sul campo, il che significa che la comunicazione di alta qualità può essere accessibile da quasi ovunque.
Portare la Videoconferenza a Nuove Vette
Molti partner e clienti stanno sperimentando videoconferenze e montaggio video di alta qualità con Maxine. Due funzionalità di Maxine, Contatto Visivo e Ritratto Live, sono ora disponibili in versioni di produzione sulla piattaforma software NVIDIA AI Enterprise. Il Contatto Visivo simula il contatto visivo diretto con la telecamera stimando e allineando lo sguardo dell’utente con la telecamera. Il Ritratto Live anima la foto di un ritratto di una persona tramite il feed video in diretta.
L’azienda software Descript mira a rendere il video uno strumento fondamentale per ogni comunicatore, accanto ai documenti e alle presentazioni. Con NVIDIA Maxine, professionisti e principianti che utilizzano Descript possono accedere a funzionalità di IA che migliorano i loro flussi di lavoro per i contenuti video.
“Con la funzione Contatto Visivo di NVIDIA Maxine, gli utenti non devono più preoccuparsi di memorizzare script o fare riprese video noiose”, ha dichiarato Jay LeBoeuf, responsabile dello sviluppo aziendale e corporativo di Descript. “Possono mantenere una perfetta presenza sullo schermo mentre riescono a eseguire perfettamente lo script ogni volta.”
L’app Camo di Reincubate mira ad ampliare l’accesso a video di alta qualità sfruttando l’hardware e i dispositivi che le persone possiedono già. Lo fa dando agli utenti un maggiore controllo sulla loro immagine e implementando un efficiente pipeline di elaborazione per effetti video e trasformazioni. Utilizzando le tecnologie abilitate da NVIDIA Maxine, Camo può offrire agli utenti un modo più semplice per realizzare video incredibili.
“L’integrazione di NVIDIA Maxine in Camo non avrebbe potuto essere più facile, e ci ha permesso di ottenere alte prestazioni dai GPU RTX degli utenti direttamente dalla confezione”, ha detto Aidan Fitzpatrick, fondatore e CEO di Reincubate. “Con Maxine, il team è stato in grado di muoversi più velocemente e con maggiore fiducia.”
Cre8 di Quicklink è una potente piattaforma di produzione video per creare produzioni professionali, eventi dal vivo virtuali e ibridi in linea con il brand. L’interfaccia utente intuitiva combina un design intuitivo con tutti gli strumenti necessari per creare, modificare e personalizzare una produzione dall’aspetto professionale. Cre8 incorpora la tecnologia NVIDIA Maxine per massimizzare la produttività e la qualità delle produzioni video, offrendo un controllo completo all’operatore.
“Quicklink Cre8 offre ora la piattaforma di produzione video più avanzata al mondo”, ha dichiarato Richard Rees, CEO di Quicklink. “Grazie a NVIDIA Maxine, siamo stati in grado di aggiungere funzionalità avanzate, tra cui l’Inquadratura Automatica, la Rimozione del Rumore Video, la Cancellazione del Rumore e dell’Eco e la Simulazione del Contatto Visivo.”
L’azienda di Los Angeles gemelo.ai fornisce una piattaforma per creare gemelli di IA che possono scalare la voce, i contenuti e le interazioni di un utente. Utilizzando la funzione Ritratto Live di Maxine, il team di gemelo.ai può aprire nuove opportunità per contenuti personalizzati e interazioni individuali su app, siti web ed esperienze di realtà mista.
“La realtà del Ritratto Live è stata una svolta, aprendo nuovi orizzonti di potenzialità per i nostri gemelli di IA”, ha dichiarato Paul Jaski, CEO di gemelo.ai. “I nostri clienti possono ora progettare e distribuire gemelli digitali incredibilmente realistici con il superpotere della scalabilità illimitata nella produzione di contenuti e nell’interazione su app, siti web ed esperienze di realtà mista.”
La Ricerca di NVIDIA Mostra Come il Video 3D Migliora la Comunicazione Immersiva
Oltre a alimentare le funzionalità avanzate di Maxine, l’IA di NVIDIA migliora la comunicazione video in 3D. NVIDIA Research ha recentemente pubblicato un articolo che dimostra come l’IA possa alimentare un sistema di videoconferenza 3D con un minimo equipaggiamento di cattura.
Di solito, i sistemi di telepresenza 3D sono costosi, richiedono uno spazio ampio o uno studio di produzione e utilizzano uno streaming video volumetrico ad alta larghezza di banda, il che limita l’accessibilità della tecnologia. NVIDIA Research ha condiviso un nuovo metodo, basato su un innovativo codificatore basato su VisionTransformer, che prende in input video 2D da una webcam standard e lo trasforma in una rappresentazione video 3D. Invece di richiedere che i dati 3D vengano scambiati tra i partecipanti in una conferenza, l’IA consente che i requisiti di larghezza di banda per la chiamata rimangano gli stessi di una conferenza 2D.
La tecnologia prende un video 2D dell’utente e crea automaticamente una rappresentazione 3D chiamata campo di radianza neurale, o NeRF, utilizzando il rendering volumetrico. Di conseguenza, i partecipanti possono trasmettere video 2D, come fanno per le videoconferenze tradizionali, mentre decodificano rappresentazioni 3D di alta qualità che possono essere generate in tempo reale. E con il Ritratto Live di Maxine, gli utenti possono dare vita ai loro ritratti in 3D.
La videoconferenza 3D assistita dall’IA potrebbe ridurre significativamente i costi di acquisizione 3D, fornire una rappresentazione 3D ad alta fedeltà, accogliere avatar fotorealistici o stilizzati e consentire il contatto visivo reciproco nelle videoconferenze. I progetti di ricerca correlati mostrano come l’IA possa contribuire a elevare le comunicazioni e le interazioni virtuali, oltre a informare le future tecnologie NVIDIA per le videoconferenze.
Disponibilità
Scopri di più su NVIDIA Maxine, ora disponibile su NVIDIA AI Enterprise.
E guarda di più sulla ricerca dietro il progetto di videoconferenza 3D.