Meta akan menjadi tuan rumah Niantic, Creature, dan Resolution to “menampilkan contoh-contoh dunia nyata dari pengembang yang sudah memanfaatkan API Kamera Passthrough terbaru kami” di GDC minggu depan.
Wahyu ini berasal dari daftar untuk KTT Meta Developer GDC 2025 yang disebut Gabungan Realitas, Multiply Wonder: Panduan Ahli tentang Pengembangan Realitas Campuran. Inilah deskripsinya:
Bergabunglah dengan para ahli kami saat mereka berbagi pengalaman langsung dan wawasan dari mengembangkan dan meluncurkan Home Spaceship, pengalaman realitas campuran yang inovatif pada meta Quest. Anda akan mendapatkan panduan berharga untuk merancang pengalaman MR yang mendalam yang memikat dan menginspirasi.
Selanjutnya, kami akan memberi Anda tampilan eksklusif pada beberapa item peta jalan yang akan datang yang akan merevolusi pengembangan MR. Temukan bagaimana fitur -fitur baru ini akan membuatnya lebih mudah untuk menciptakan pengalaman MR yang sangat realistis dan menarik.
Akhirnya, kami akan menampilkan contoh-contoh dunia nyata dari pengembang yang sudah memanfaatkan API kamera passthrough terbaru kami untuk membawa aplikasi mereka ke tingkat berikutnya. Lihat bagaimana mereka menggunakan alat yang kuat ini untuk menciptakan pengalaman MR yang mulus dan interaktif yang mengaburkan garis antara kenyataan dan fantasi.
Jangan lewatkan kesempatan ini untuk belajar dari para ahli dan tetap di depan kurva dalam pengembangan MR. Bergabunglah dengan kami untuk sesi yang informatif dan menginspirasi yang akan membantu Anda membuka potensi penuh realitas campuran!
Membawa pergi
Para pengembang akan mendapatkan wawasan dari pengembang yang telah menggunakan MR tentang bagaimana membuat permainan mereka lebih mudah dimainkan dan menarik di berbagai macam kamar. Mereka akan diperkenalkan ke API PASSTHROUGH baru yang mendukung penggunaan waktu nyata dari visi komputer yang disesuaikan untuk digunakan dalam permainan.
Quest Passthrough API sudah dekat, halaman dukungan meta
Situs web dukungan Meta sekarang menjelaskan izin “Kamera Headset” untuk headset Quest, menyarankan API Passthrough akan segera diluncurkan.
Daftar KTT datang seminggu setelah halaman dukungan meta ditayangkan menggambarkan izin “Kamera Headset” yang “memungkinkan aplikasi untuk mengakses umpan kamera passthrough real-time dari bagian depan headset Anda”.
Meta mengumumkan passthrough API di Connect 2024 pada bulan September, mengatakan bahwa itu akan “memungkinkan semua jenis pengalaman MR yang mutakhir”.
Halaman Dukungan Meta yang muncul minggu lalu memberikan tiga contoh bagaimana aplikasi Quest dapat memanfaatkan tampilan passthrough:
• Pengenalan objek. Pengembang dapat membuat aplikasi yang mengenali dan menggunakan objek tertentu dalam lingkungan nyata Anda. Misalnya, permainan papan digital yang menggabungkan potongan permainan fisik atau papan.
• Pengenalan lokasi. Pengembang dapat menciptakan pengalaman yang merespons secara berbeda tergantung di mana umpan kamera menunjukkan Anda berada. Misalnya, di dalam atau di luar ruangan, di landmark terkenal, atau dalam jenis ruang tertentu.
• Fungsi pembelajaran mesin lainnya. Pengembang dapat menjalankan model pembelajaran mesin khusus terhadap data dari umpan kamera real-time. Ini dapat digunakan untuk retexturing/naungan, permainan yang melibatkan peserta yang tidak mengenakan headset, deteksi orang/hewan, atau sejumlah kasus penggunaan industri/pelatihan khusus.
Android XR akan membiarkan aplikasi mengakses tampilan kamera passthrough, Google mengonfirmasi
Android XR akan membiarkan aplikasi mengakses tampilan kamera passthrough ke, misalnya, menjalankan model visi komputer khusus, Google dikonfirmasi.
Sementara itu, Google mengonfirmasi bulan lalu bahwa Android XR, OS yang akan datang akan debut di headset mandiri Samsung, akan membiarkan aplikasi mengakses tampilan kamera passthrough saat peluncuran.
APA ITU AKSES KAMERA PUSTGHOUGH?
Sementara headset seperti Quest 3 dan Apple Vision Pro menggunakan kamera untuk membiarkan Anda melihat dunia nyata, hari ini hanya perangkat lunak sistem yang mendapatkan akses mentah ke kamera ini. Pengembang pihak ketiga dapat menggunakan PASSTHROUGH sebagai latar belakang, tentu saja, tetapi mereka sebenarnya tidak mendapatkan akses ke sana. Mereka malah mendapatkan data tingkat lebih tinggi yang diturunkan oleh sistem, seperti koordinat kerangka tangan dan tubuh, mesh 3D dari lingkungan Anda dengan kotak pembatas untuk furnitur, dan kemampuan pelacakan objek terbatas. Itu berarti mereka tidak dapat menjalankan model visi komputer mereka sendiri, yang sangat membatasi kemampuan augmentasi headset ini.
Pengecualiannya adalah pada Visionos 2, Apple Is sekarang memberi perusahaan perusahaan Akses mentah ke kamera passthrough Vision Pro untuk aplikasi internal non-publik, tetapi ini membutuhkan lisensi khusus dari Apple dan dibatasi untuk “hanya dalam pengaturan bisnis”.