“Stafsthrough Camera API” Quest yang sangat dinanti -nantikan sekarang tersedia untuk semua pengembang untuk bereksperimen, meskipun mereka tidak dapat memasukkannya ke dalam Store App Builds.
Kemampuan baru diumumkan di Meta Connect 2024 pada bulan September yang akan datang tahun ini. Sekarang di sini, sebagai rilis eksperimental untuk Quest 3 dan Quest 3s. Itu berarti pengembang mana pun dapat bereksperimen dengannya, dan bahkan mendistribusikan apks menggunakannya pada platform seperti SideQuest, tetapi mereka tidak dapat memasukkannya ke dalam aplikasi toko Meta Horizon. Meta telah mengambil pendekatan ini untuk API baru beberapa kali di masa lalu, dan biasanya membuat fitur tersedia untuk digunakan di aplikasi toko dalam beberapa bulan paling banyak.
Pilih pengembang telah memiliki akses awal untuk bereksperimen dengan kemampuan untuk sementara waktu sekarang, dan Meta akan menjadi tuan rumah niantic, makhluk, dan resolusi untuk membahasnya di GDC minggu depan.
APA ITU AKSES KAMERA PUSTGHOUGH?
Sementara headset seperti Quest 3 menggunakan kamera untuk membiarkan Anda melihat dunia nyata, sampai sekarang hanya perangkat lunak sistem yang mendapatkan akses mentah ke kamera ini. Pengembang pihak ketiga dapat menggunakan PASSTHROUGH sebagai latar belakang, tentu saja, tetapi mereka tidak benar-benar mendapatkan akses ke sana. Mereka malah mendapatkan data tingkat yang lebih tinggi yang diturunkan oleh sistem, seperti koordinat kerangka tangan dan tubuh, mesh 3D dari lingkungan Anda dengan kotak pembatas untuk furnitur, dan kemampuan pelacakan objek terbatas. Itu berarti mereka tidak dapat menjalankan model visi komputer mereka sendiri, yang sangat membatasi kemampuan augmentasi headset ini.
Pengecualian adalah bahwa pada Visionos 2, Apple memberi perusahaan perusahaan Akses mentah ke kamera passthrough Vision Pro untuk aplikasi internal non-publik, tetapi ini membutuhkan lisensi khusus dari Apple dan dibatasi untuk “hanya dalam pengaturan bisnis”.
Agar “API Kamera Passthrough” berfungsi, Anda sebagai pengguna perlu memberikan izin aplikasi untuk mengakses kamera headset Anda, seperti halnya mikrofon. Jika diberikan, aplikasi mendapatkan akses ke kamera warna yang menghadap ke depan, termasuk metadata seperti lensa intrinsik dan pose headset, yang dapat memanfaatkan untuk menjalankan model visi komputer khusus.
Contoh bagaimana aplikasi dapat menggunakan ini termasuk pemindaian dan pelacakan kode QR, mendeteksi papan permainan di atas meja untuk menambahkan karakter virtual dan objek ke dalamnya, mendeteksi objek fisik untuk pengalaman panduan perusahaan, atau mengintegrasikan fungsionalitas visual AI dari model bahasa besar yang diselenggarakan cloud (LLM). Pengembang hanya dibatasi dimana model visi komputer real-time dapat berjalan pada chipset XR2 Gen 2 dengan performa, atau model gambar yang di-host cloud yang bersedia mereka bayar.
Meta Software Engineer Roberto Coviello's QuestCamerakt.
Aliran kamera passthrough disediakan untuk aplikasi hingga 1280×960 resolusi per kamera pada 30fps, dengan latensi 40-60 milidetik yang dinyatakan. Itu berarti tidak cocok untuk melacak objek yang bergerak cepat, seperti pengontrol khusus, atau untuk membedakan fitur -fitur halus seperti teks kecil.
Secara teknis, pada level dasar, tidak ada Meta Quest Camera Passthrough API spesifik, juga bukan ekstensi ke OpenXR. Pengembang memang perlu meminta izin kamera headset spesifik Horizon OS, tetapi jika tidak, akses kamera passthrough Quest memanfaatkan API Camera2 Android yang ada untuk juga mengembalikan pose headset, diperoleh dengan OpenXR, dan API Camera2 adalah pengembang mesin kustom, atau kode sumber untuk Unreal atau Godot, menggunakannya. Ini juga berarti kode yang sama harus berfungsi pada platform Android XR Google yang akan datang, ditetapkan untuk debut di headset mandiri Samsung, dengan hanya permintaan izin yang berbeda.
Untuk Unity, pengembang dapat dengan mudah mengakses kamera melalui WebCamTexture API Unity, yang merupakan cara mereka sudah mengakses ponsel, tablet, dan kamera dan webcam PC di mesin. Namun, batasan di sini adalah bahwa WebCamTexture API Unity hanya mendukung satu kamera pada satu waktu, bukan keduanya.
Walkthrough dari Meta Software Engineer Roberto Coviello.
Pengembang yang berminat dapat menemukan dokumentasi akses kamera passthrough Quest di sini: Unity / Native Android.
Meta telah menerbitkan lima sampel Unity resmi di GitHub: CameraViewer, Cameratoworld, Brightnessestimation, MultiObjectDectection, Shadersample. Insinyur perangkat lunak Meta Roberto Coviello telah secara terpisah menerbitkan QuestCamerakit di GitHub, kumpulan lima sampel lebih lanjut: pemetik warna, deteksi objek dengan satu sentis, pelacakan kode QR dengan zxing, shader kaca frosted, dan model penglihatan openai.