Meta membagikan klip yang menunjukkan fitur Audio To Expression baru yang diperkenalkan di Quest v71 sedang beraksi.
Audio To Expression adalah model AI pada perangkat yang menghasilkan gerakan otot wajah yang masuk akal hanya dari input audio mikrofon, memberikan perkiraan ekspresi wajah tanpa perangkat keras pelacakan wajah apa pun.
Oculus Lipsync SDK sebelumnya dari tahun 2015 menawarkan kemampuan ini untuk pergerakan bibir saja, dan Audio To Expression dari Meta adalah pengganti resminya, yang juga menawarkan pergerakan pipi, kelopak mata, dan alis. Dan hebatnya, Meta mengklaim Audio To Expression sebenarnya menggunakan lebih sedikit CPU dibandingkan Oculus Lipsync.
Audio To Expression mendukung Quest 2, Quest 3 dan Quest 3S. Secara teknis juga mendukung Quest Pro, meskipun headset tersebut memiliki sensor pelacakan wajah yang dapat dimanfaatkan pengembang untuk mewakili ekspresi wajah sebenarnya dari pemakainya, bukan hanya perkiraan.
Dalam klip yang disematkan, Anda dapat melihat perbedaan mencolok antara Audio To Expression dan Oculus Lipsync SDK lama, dengan masukan yang sama.
Meta Audio To Expression (kiri) vs Oculus Lipsync SDK lama (kanan), dengan input yang sama.
Selain meningkatkan realisme avatar yang digerakkan oleh pemilik non-Pro Quest di VR sosial dan game multipemain, Audio To Expression juga dapat digunakan untuk wajah NPC, yang dapat berguna untuk studio kecil dan pengembang independen yang tidak mampu menggunakannya. teknologi penangkapan wajah.
Avatar Meta milik Meta belum mendukung Audio To Expression (mereka masih menggunakan Oculus Lipsync SDK), meskipun mereka memiliki simulasi gerakan mata, di mana pengembang menandai setiap objek virtual dalam adegan berdasarkan tingkat arti-penting visualnya, serta berkedip sesekali untuk menambah realisme, sehingga tidak hanya terbatas pada gerakan bibir.
Pengembang dapat menemukan dokumentasi Audio To Expression di sini: Persatuan / Tidak nyata / Mesin Kustom.