Seorang pengembang menerapkan pemandangan terus menerus Meshing di Quest 3

Pengembang Lasertag menerapkan pemandangan berkelanjutan yang terus -menerus pada Quest 3 & 3s, menghilangkan kebutuhan untuk proses pengaturan kamar dan menghindari masalahnya.

Quest 3 dan Quest 3s memungkinkan Anda memindai kamar Anda untuk menghasilkan mesh adegan 3D yang dapat digunakan oleh aplikasi realitas campuran untuk memungkinkan objek virtual berinteraksi dengan geometri fisik atau reskin lingkungan Anda. Tetapi ada dua masalah utama dengan sistem Meta saat ini.

Masalah pertama adalah Anda mengharuskan Anda melakukan pemindaian di tempat pertama. Ini membutuhkan waktu sekitar 20 detik hingga beberapa menit mencari atau bahkan berjalan -jalan, tergantung pada ukuran dan bentuk kamar Anda, menambahkan gesekan yang signifikan dibandingkan dengan hanya meluncurkan langsung ke aplikasi.

Masalah lainnya adalah bahwa pemindaian mesh adegan ini hanya mewakili momen dalam waktu, ketika Anda melakukan pemindaian. Jika furnitur telah bergerak atau objek telah ditambahkan atau dihapus dari ruangan sejak itu, perubahan ini tidak akan tercermin dalam realitas campuran kecuali pengguna secara manual memperbarui pemindaian. Misalnya, jika seseorang berdiri di kamar bersama Anda selama pemindaian, bentuk tubuh mereka dipanggang ke dalam jala adegan.

Adegan terus menerus meshing dalam beta lasertag build.

Quest 3 dan Quest 3 juga menawarkan cara lain bagi aplikasi untuk mendapatkan informasi tentang struktur 3D lingkungan fisik Anda, meskipun, API kedalaman.

Depth API menyediakan frame kedalaman orang pertama real-time, yang dihasilkan oleh headset dengan membandingkan perbedaan dari dua kamera pelacak di bagian depan. Ini bekerja hingga sekitar 5 meter, dan biasanya digunakan untuk mengimplementasikan oklusi dinamis dalam realitas campuran, karena Anda dapat menentukan apakah objek virtual harus disambungkan oleh geometri fisik.

Contoh permainan yang menggunakan API kedalaman adalah gim gim campuran realitas campuran 3 Colocated Julian Triveri. Selain oklusi, build publik lasertag menggunakan API kedalaman untuk menentukan di setiap bingkai apakah laser Anda harus bertabrakan dengan geometri nyata atau menabrak lawan Anda. Itu tidak menggunakan meta's scene mesh, karena Triveri tidak ingin menambahkan gesekan proses pengaturan atau dibatasi oleh apa yang dipanggang ke dalam mesh.

Dan saluran rilis beta Lasertag jauh lebih jauh dari ini.

Di saluran rilis beta, Triveri menggunakan frame kedalaman untuk membangun, seiring waktu, tekstur volume 3D pada GPU yang mewakili lingkungan fisik Anda. Itu berarti bahwa, meskipun masih belum memerlukan pengaturan awal apa pun, versi Lasertag ini dapat mensimulasikan tabrakan laser bahkan untuk geometri dunia nyata yang saat ini tidak Anda lihat secara langsung, selama Anda pernah melihatnya sebelumnya. Dalam bangunan internal, Triveri juga dapat mengubah ini menjadi mesh menggunakan implementasi kesatuan open-source dari algoritma Marching Cubes.

Dalam percobaan sebelumnya, Triveri bahkan bereksperimen dengan penetapan tinggi jaringan. Dalam tes ini, setiap headset dalam sesi ini berbagi level tinggi yang dibangun terus menerus, berasal dari frame kedalaman, dengan headset lain saat mereka membangunnya, yang berarti semua orang mendapat hasil itulah jumlah dari apa yang dipindai setiap headset. Ini tidak tersedia saat ini, dan mengandalkan teknik mendasar yang lebih lama yang saat ini tidak direncanakan Triveri untuk diajukan. Tapi itu masih merupakan eksperimen yang menarik yang dapat dijelaskan oleh sistem realitas campuran di masa depan.

Eksperimen sebelumnya dari penampakan tinggi kontinu jaringan.

Jadi mengapa meta tidak melakukan meshing terus menerus alih -alih sistem pemindaian kamar saat ini?

Di Apple Vision Pro dan Pico 4 Ultra, ini sudah bagaimana adegan meshing bekerja. Pada headset ini, tidak ada proses pengaturan ruang khusus, dan headset terus memindai lingkungan di latar belakang dan memperbarui mesh. Tetapi alasan mereka dapat melakukan ini adalah karena mereka memiliki sensor kedalaman tingkat perangkat keras, sedangkan Quest 3 dan Quest 3 menggunakan algoritma visi komputer yang mahal secara komputasi untuk mendapatkan kedalaman (dalam kasus Quest 3, dibantu oleh pola IR yang diproyeksikan).

Menggunakan API kedalaman sama sekali memiliki biaya CPU dan GPU yang terkenal, itulah sebabnya banyak aplikasi realitas campuran Quest masih belum memiliki oklusi dinamis. Dan menggunakan bingkai kedalaman ini untuk membangun mesh bahkan lebih mahal secara komputasi.

Pada dasarnya, Lasertag memperdagangkan kinerja untuk keuntungan pemahaman adegan berkelanjutan tanpa proses pengaturan. Dan inilah mengapa Quest 3 dan 3 tidak melakukan ini untuk sistem meshing adegan resmi.

https://www.youtube.com/watch?v=dglik62flxo

Gameplay Lasertag Beta.

Pada bulan Januari, Meta mengindikasikan bahwa ia berencana untuk akhirnya membuat scene secara otomatis memperbarui untuk mencerminkan perubahan, tetapi kata -kata yang diberikan terdengar seperti masih akan memerlukan proses pengaturan awal sebagai garis dasar.

Lasertag tersedia secara gratis di platform Meta Horizon untuk headset Quest 3 dan Quest 3S. Versi publik menggunakan bingkai kedalaman saat ini untuk tabrakan laser, sedangkan beta pra-rilis membangun volume 3D dari waktu ke waktu.