Situs web Dukungan Meta sekarang menjelaskan izin “Kamera Headset” untuk headset Quest, menunjukkan API Passthrough akan segera diluncurkan.
APA ITU AKSES KAMERA PUSTGHOUGH?
Sementara headset seperti Quest 3 dan Apple Vision Pro menggunakan kamera untuk membiarkan Anda melihat dunia nyata, hari ini hanya perangkat lunak sistem yang mendapatkan akses mentah ke kamera ini. Pengembang pihak ketiga dapat menggunakan PASSTHROUGH sebagai latar belakang, tentu saja, tetapi mereka sebenarnya tidak mendapatkan akses ke sana. Mereka malah mendapatkan data tingkat lebih tinggi yang diturunkan oleh sistem, seperti koordinat kerangka tangan dan tubuh, mesh 3D dari lingkungan Anda dengan kotak pembatas untuk furnitur, dan kemampuan pelacakan objek terbatas. Itu berarti mereka tidak dapat menjalankan model visi komputer mereka sendiri, yang sangat membatasi kemampuan augmentasi headset ini.
Pengecualiannya adalah pada Visionos 2, Apple Is sekarang memberi perusahaan perusahaan Akses mentah ke kamera passthrough Vision Pro untuk aplikasi internal non-publik, tetapi ini membutuhkan lisensi khusus dari Apple dan dibatasi untuk “hanya dalam pengaturan bisnis”.
Meta mengumumkan passthrough API di Connect 2024 pada bulan September, mengatakan bahwa itu akan “memungkinkan semua jenis pengalaman MR yang mutakhir”.
Sekarang, lebih dari lima bulan kemudian, halaman pendukung meta baru saja langsung menggambarkan izin “kamera headset” baru yang “memungkinkan aplikasi untuk mengakses umpan kamera passthrough real-time dari depan headset Anda”.
Halaman ini pertama kali terlihat oleh penggemar VR Luna, dan memberikan tiga contoh bagaimana aplikasi pencarian dapat memanfaatkan tampilan passthrough:
• Pengenalan objek. Pengembang dapat membuat aplikasi yang mengenali dan menggunakan objek tertentu dalam lingkungan nyata Anda. Misalnya, permainan papan digital yang menggabungkan potongan permainan fisik atau papan.
• Pengenalan lokasi. Pengembang dapat menciptakan pengalaman yang merespons secara berbeda tergantung di mana umpan kamera menunjukkan Anda berada. Misalnya, di dalam atau di luar ruangan, di landmark terkenal, atau dalam jenis ruang tertentu.
• Fungsi pembelajaran mesin lainnya. Pengembang dapat menjalankan model pembelajaran mesin khusus terhadap data dari umpan kamera real-time. Ini dapat digunakan untuk retexturing/naungan, permainan yang melibatkan peserta yang tidak mengenakan headset, deteksi orang/hewan, atau sejumlah kasus penggunaan industri/pelatihan khusus.
Android XR akan membiarkan aplikasi mengakses tampilan kamera passthrough, Google mengonfirmasi
Android XR akan membiarkan aplikasi mengakses tampilan kamera passthrough ke, misalnya, menjalankan model visi komputer khusus, Google dikonfirmasi.
Sementara itu, Google mengonfirmasi bulan lalu bahwa Android XR, OS yang akan datang akan debut di headset mandiri Samsung, akan membiarkan aplikasi mengakses tampilan kamera passthrough saat peluncuran.