Seorang pengembang VR menemukan cara yang lebih mudah untuk mengakses kamera passthrough Quest 3.
Meta tidak secara resmi mengizinkan pengembang pihak ketiga untuk mengakses kamera headset Quest, tetapi awal minggu ini kami melaporkan solusi cerdas dari Michael Gschwandtner, salah satu pendiri dan pengembang utama aplikasi kebugaran pelacak tangan XRWorkout.
Seorang Pengembang Menemukan Cara Mengakses Kamera Quest 3
Seorang pengembang menemukan cara mengakses kamera passthrough Quest 3 untuk menjalankan model visi komputer khusus.
Teknik Gschwandtner melibatkan penggunaan kemampuan casting Quest untuk melakukan cast ke WebView di dalam aplikasinya yang memuat URL oculus.com/casting. Namun, ini memerlukan login yang cermat ke akun Meta Anda di WebView ini, dan mengharuskan pengguna untuk mengambil tindakan dengan melakukan cast.
Pengembang VR lainnya, Julian Triveri, kini telah menemukan teknik yang tidak melibatkan WebView atau casting, dan dengan demikian tidak memerlukan login atau memulai tindakan sistem.
Triveri menyadari bahwa API proyeksi media Android, yang dirancang untuk memungkinkan perekaman layar untuk perekaman kustom atau pengaturan casting, berfungsi pada headset Quest. Pada Quest, API ini mengembalikan 1024×1024 bingkai dari 82 derajat bidang pandang pusat, sedikit lebih rendah daripada yang Anda dapatkan dengan casting tetapi masih dapat digunakan untuk menjalankan model visi komputer kustom.
API memerlukan izin yang diberikan pengguna, tetapi setelah itu aplikasi kini memiliki akses penuh terhadap apa yang dilihat pengguna.
Triveri merilis demo sumber terbuka dari teknik ini di GitHub, dan UploadVR telah mengonfirmasi bahwa teknik ini berfungsi seperti yang dijelaskan. Ia bahkan menambahkan cabang yang menunjukkan teknik yang digunakan untuk menjalankan pelacakan AprilTag (sejenis penanda fiducial).
Keterbatasan menarik dari metode ini adalah metode ini tidak dapat digunakan saat merekam atau melakukan casting pada headset, jadi Triveri harus menggunakan PC untuk merekam rekaman. Seperti teknik Gschwandtner sebelumnya, keterbatasan lainnya adalah tampilan yang diambil mencakup objek dan antarmuka virtual, bukan hanya tampilan kamera, dan ini dapat mengganggu tugas visi komputer.
Apa yang Terjadi Selanjutnya?
Dengan penemuan Triveri, aplikasi Quest apa pun kini dapat mengakses kamera dengan hambatan minimal. Akankah Meta mengizinkan pendekatan ini menyebar? Atau dapatkah perusahaan menindak dengan menambalnya dalam rilis Horizon OS mendatang?
Bulan lalu, CTO Meta Bosworth menyampaikan pemikirannya tentang ide untuk secara sengaja memberikan pengembang Quest akses ke kamera passthrough selama wawancara, dan mengatakan Meta akan “terus menyelidiki” masalah tersebut.
Meta “Looking At” Memberikan Akses Kamera Mentah Kepada Pengembang Quest
CTO Meta Andrew Bosworth mengatakan perusahaan akan “terus mempertimbangkan” pemberian akses kamera mentah kepada pengembang Quest.
Sebagai perbandingan, untuk headset Vision Pro, Apple hanya memberikan akses mentah ke perusahaan perusahaan, dan hanya untuk aplikasi internal non-publik.