Android XR akan membiarkan aplikasi mengakses tampilan kamera passthrough, Google dikonfirmasi.
Sementara headset seperti Quest 3 dan Apple Vision Pro menggunakan kamera untuk membiarkan Anda melihat dunia nyata, hari ini hanya perangkat lunak sistem yang mendapatkan akses mentah ke kamera ini. Pengembang pihak ketiga dapat menggunakan PASSTHROUGH sebagai latar belakang, tentu saja, tetapi mereka sebenarnya tidak mendapatkan akses ke sana. Sebaliknya mereka mendapatkan data tingkat lebih tinggi yang diturunkan oleh sistem, seperti koordinat kerangka tangan dan tubuh, mesh 3D dari lingkungan Anda dengan kotak pembatas untuk furnitur, dan kemampuan pelacakan objek terbatas. Itu berarti mereka tidak dapat menjalankan model visi komputer mereka sendiri, yang sangat membatasi kemampuan augmentasi headset ini.
Pengecualiannya adalah bahwa pada Visionos 2, Apple sekarang memberi perusahaan perusahaan akses RAW ke kamera passthrough Vision Pro untuk aplikasi internal non-publik, tetapi ini membutuhkan lisensi khusus dari Apple dan dibatasi untuk “hanya dalam pengaturan bisnis”.
Pengembang Quest akan mendapatkan akses ke kamera passthrough
Meta mengatakan pengembang Quest akan dapat mengakses kamera passthrough tahun depan, membuka kemampuan yang sama sekali baru.
Sekarang, Google mengonfirmasi kepada pengembang Veteran VR Antony Vitillo bahwa aplikasi Android XR akan mendapatkan akses ke tampilan kamera depan dengan meminta izin kamera yang sama dengan aplikasi Android biasa dan menggunakan API yang sama.
Inilah yang Google katakan kepada Vitillo:
• Pengembang dapat meminta kamera_id = 0 untuk aliran kamera utama yang menghadap dunia. Ini sesuai dengan “kamera belakang” dalam bahasa Android standar. Demikian pula, pengembang dapat meminta kamera_id = 1 untuk aliran kamera selfie utama. Ini sesuai dengan “Kamera Depan.” Kedua aliran diakses melalui API kamera Android standar, IE Camera2 dan Camerax
• Untuk mendapatkan akses ke umpan kamera yang menghadap dunia (mirip dengan kamera belakang pada smartphone), aplikasi harus meminta izin kamera (analog dengan izin yang diminta untuk akses kamera pada ponsel)
•Ketika aplikasi meminta kamera selfie, mereka menerima aliran gambar yang berisi avatar pengguna. Aliran video avatar ini dihasilkan oleh aplikasi/layanan penyedia avatar di headset. Aplikasi ini menghasilkan aliran berdasarkan data pelacakan pengguna dari OpenXR API, misalnya kepala, tangan, mata, wajah. Data pelacakan ini diperoleh dari kamera yang menghadap ke dalam fisik yang memantau pergerakan dan ekspresi wajah pengguna.
UnggoadVR juga telah menghubungi Google untuk konfirmasi independen.
Di Meta Connect 2024, pada bulan September, Meta mengumumkan bahwa mereka akan memberikan pengembang Quest akses ke passthrough melalui API baru yang datang pada awal 2025, menunjukkan bahwa pencarian juga akan segera mendapatkan fungsionalitas ini.