Versi terbaru dari SDK Meta untuk Quest menambahkan microgesture, memungkinkan Anda menggesek dan mengetuk jari telunjuk Anda, dan meningkatkan kualitas audio ke ekspresi.
Pembaruan ini juga mencakup utilitas penolong untuk akses kamera passthrough, meta fitur yang baru saja dirilis ke pengembang, yang, jika pengguna memberikan izin, memberikan aplikasi akses ke kamera warna headset yang menghadap ke depan, termasuk metadata seperti intrinsik lensa dan pose headset, yang dapat mereka ungkapkan untuk menjalankan model visi komputer khusus.
Quest Passthrough Camera API keluar sekarang untuk dimainkan pengembang
API Kamera Passthrough Quest yang sangat dinanti -nantikan sekarang tersedia untuk semua pengembang untuk bereksperimen, meskipun mereka tidak dapat memasukkannya ke dalam Store App Builds.
Jempol mikro
Microgestures memanfaatkan pelacakan tangan bebas pengontrol dari headset Quest untuk mendeteksi tapping ibu jari Anda dan menggesekkan jari telunjuk Anda, seolah-olah itu adalah pengontrol uap D-pad, ketika tangan Anda menyamping dan jari-jari Anda melengkung.
Untuk persatuan, microgesture membutuhkan meta XR Core SDK. Untuk mesin lain tersedia melalui ekstensi OpenXR XR_META_HAND_TRACKING_MICROGESTURES.
Meta mengatakan microgesture ini dapat digunakan untuk mengimplementasikan teleportasi dengan snap belok tanpa perlu pengontrol, meskipun bagaimana microgesture sebenarnya digunakan tergantung pada pengembang.
Pengembang dapat, misalnya, menggunakannya sebagai cara yang kurang tegang untuk menavigasi antarmuka, tanpa perlu menjangkau atau menunjuk pada elemen.
Menariknya, Meta juga menggunakan pendekatan microgesture jempol ini untuk gelang sarafnya dalam pengembangan, perangkat input untuk kacamata AR akhirnya, dan dilaporkan juga berpotensi untuk kacamata HUD yang rencananya akan dikirimkan akhir tahun ini.
Ini menunjukkan bahwa headset Quest dapat digunakan sebagai platform pengembangan untuk kacamata masa depan ini, memanfaatkan microgesture ibu jari, meskipun pelacakan mata akan diperlukan untuk mencocokkan kemampuan input penuh dari prototipe Orion.
Meta berencana untuk meluncurkan perangkat yang dapat dikenakan “setengah lusin lagi”
Dalam memo Meta CTO yang bocor, ia merujuk rencana perusahaan untuk meluncurkan “setengah lusin lebih banyak yang dapat dikenakan oleh AI”.
Audio yang ditingkatkan menjadi ekspresi
Audio to Expression adalah model AI di perangkat, yang diperkenalkan di V71 dari SDK, yang menghasilkan gerakan otot wajah yang masuk akal dari hanya input audio mikrofon, memberikan perkiraan ekspresi wajah tanpa perangkat keras pelacakan wajah.
Audio ke ekspresi menggantikan Oculus Lipsync SDK yang berusia sepuluh tahun. SDK itu hanya mendukung bibir, bukan otot wajah lain, dan meta mengklaim audio untuk ekspresi sebenarnya menggunakan lebih sedikit CPU daripada Oculus lipsync.
Tonton Fitur Audio Meta untuk Ekspresi Quest Beraksi
Inilah fitur 'audio to quest' meta baru meta yang sedang beraksi, dibandingkan dengan Oculus Lipsync lama.
Sekarang, perusahaan mengatakan V74 dari Meta XR Core SDK membawa model yang ditingkatkan yang “meningkatkan semua aspek termasuk ekspresifitas emosional, pergerakan mulut, dan keakuratan vokalisasi non-pidato dibandingkan dengan model sebelumnya”.
Avatar Meta sendiri SDK masih tidak menggunakan audio untuk berekspresi, dan juga belum menggunakan pelacakan tubuh dalam-luar.