Cos'è MMAudio?
MMAudio è un modello generativo multimodale che sintetizza audio sincronizzato a partire dal video e da un testo opzionale. L'addestramento congiunto su dati video-audio e testo-audio insegna l'allineamento semantico; un modulo di sincronizzazione allinea i latenti audio ai fotogrammi video. Il risultato è una nuova colonna sonora, non un extraction del file sorgente.