Seorang pengembang menemukan cara cerdas untuk mengakses kamera passthrough Quest 3 untuk menjalankan model visi komputer khusus.
Meta tidak mengizinkan pengembang pihak ketiga untuk mengakses kamera headset Quest, tetapi Michael Gschwandtner, salah satu pendiri dan pengembang utama aplikasi kebugaran pelacakan tangan XRWorkout, memposting video ke platform media sosial yang menunjukkan hasil solusi menarik untuk pembatasan ini.
Video demo menunjukkan model deteksi objek MobileNet V2 sumber terbuka yang berjalan secara native di Quest 3 pada 0,75 Hz. Model ini dipilih karena alasan kepraktisan, bukan karena alasan performa.
Gschwandtner mengirimkan UploadVR sebuah uji coba dan kami secara independen memverifikasi bahwa ini nyata dan berfungsi. Ia juga secara eksklusif mengungkapkan kepada UploadVR bagaimana tepatnya ia melakukannya.
Cara Kerjanya
Pembuatan aplikasi Gschwandtner menciptakan tampilan web, contoh peramban web Chromium yang tertanam dalam aplikasi, yang secara otomatis memuat URL oculus.com/casting yang dapat ditayangkan oleh headset Quest.
Anda kemudian perlu melalui proses lengkap untuk masuk ke akun Meta Anda di tampilan web ini. Setelah selesai, Anda menggunakan menu sistem Quest untuk memulai web casting. Uniknya, Anda melakukan casting dari headset ke aplikasi di dalam headset yang sama, bukan ke perangkat yang berbeda.
Aplikasi Gschwandtner kemudian mengambil sampel konten piksel, tekstur render, dari tampilan web yang menerima tampilan yang dicetak, dan dari sana dapat melakukan apa pun yang diinginkannya. Dalam contoh demo, ia menggunakan SDK MediaPipe milik Google di perangkat.
Keterbatasan utama di sini adalah bahwa tampilan akan menyertakan objek dan antarmuka virtual juga, bukan hanya tampilan kamera, yang berarti tampilan hanya akan berfungsi saat sebagian besar gambar dilewatkan. Namun Gschwandtner mengklaim bahwa ia memiliki “rencana” untuk mengatasi hal ini.
Apa yang Terjadi Selanjutnya?
Tidak jelas bagaimana Meta akan menanggapi penemuan Gschwandtner. Ada kemungkinan perusahaan tersebut dapat membuat teknik ini tidak dapat dioperasikan di versi Horizon OS Quest yang akan datang. Postingan media sosial Gschwandtner menyertakan permintaan publik untuk “menghubungi” CEO Meta Mark Zuckerberg atau CTO Andrew Bosworth untuk “menunjukkan” teknik tersebut kepada mereka.
Bulan lalu Bosworth menyampaikan pemikirannya tentang ide untuk secara sengaja memberikan pengembang Quest akses ke kamera passthrough selama wawancara, dan mengatakan Meta akan “terus menyelidiki” masalah tersebut.
Meta “Looking At” Memberikan Akses Kamera Mentah Kepada Pengembang Quest
CTO Meta Andrew Bosworth mengatakan perusahaan akan “terus mempertimbangkan” pemberian akses kamera mentah kepada pengembang Quest.
Sebagai perbandingan, untuk headset Vision Pro, Apple hanya memberikan akses mentah ke perusahaan perusahaan, dan hanya untuk aplikasi internal non-publik.