Nvidia a anunţat că va face open-source Audio2Face, instrumentul său bazat pe inteligenţă artificială care generează animaţii faciale realiste pentru avataruri 3D folosind doar semnalul audio. Decizia permite dezvoltatorilor să utilizeze liber atât aplicaţia, cât şi framework-ul din spatele ei, pentru a crea personaje 3D mai credibile în jocuri şi aplicaţii.
Audio2Face funcţionează prin analiza caracteristicilor acustice ale unei voci, generând date de animaţie ce sunt apoi mapate pe expresiile faciale şi mişcările buzelor avatarului. Nvidia precizează că instrumentul poate fi folosit atât pentru conţinut preînregistrat, cât şi pentru transmisiuni live.
Tehnologia este deja integrată în unele jocuri, precum Chernobylite 2: Exclusion Zone al studioului Farm51 şi Alien: Rogue Incursion Evolved Edition.
Pe lângă publicarea codului sursă al modelelor şi a kiturilor de dezvoltare software, Nvidia pune la dispoziţia utilizatorilor şi cadrul de antrenare al Audio2Face, permiţând ajustarea modelelor pentru diferite scenarii şi nevoi.
