Para peneliti dari Meta dan ETH Zurich telah mengembangkan sistem perangkat lunak yang disebut TouchInsight, yang menurut mereka memecahkan masalah mengubah permukaan apa pun menjadi keyboard virtual.
Input teks dalam VR dan AR saat ini rumit, dan jauh lebih lambat dibandingkan pada PC dan ponsel pintar. Papan ketik virtual yang mengambang mengharuskan Anda mengangkat tangan dengan canggung dan menekan satu tombol secara perlahan, sehingga tidak memberikan umpan balik haptik dan mencegah Anda mengistirahatkan pergelangan tangan. Headset Quest mendukung pemasangan keyboard Bluetooth untuk pengetikan kecepatan penuh, tetapi ini berarti Anda harus membawa perangkat terpisah yang lebih besar dari headset itu sendiri.
Jika headset dapat mengubah permukaan datar apa pun menjadi keyboard virtual, headset akan memberikan umpan balik haptik parsial dan memungkinkan Anda mengistirahatkan pergelangan tangan, tanpa perlu membawa keyboard fisik. Pengembang secara teknis sudah dapat membuat keyboard virtual dengan permukaan yang terkunci di Quest saat ini, dengan menggunakan pelacakan tangan dan meminta pengguna mengetuk permukaan untuk mengkalibrasi posisinya. Namun dalam praktiknya, penyimpangan sekecil apa pun antara tinggi permukaan virtual dan permukaan nyata akan menghasilkan tingkat kesalahan yang tidak dapat diterima.
Meta memamerkan penelitian untuk memecahkan ide ini tahun lalu, dengan CTO-nya Andrew Bosworth mengatakan dia mencapai hampir 120 kata per menit (WPM). Namun solusi tahun lalu tampaknya memerlukan serangkaian penanda fidusia di atas meja, yang mungkin bertindak sebagai sistem kalibrasi dinamis yang kuat. Ditambah lagi, Meta tidak mengungkapkan tingkat kesalahan sistem itu.
Dalam makalah TouchInsight, enam peneliti mengatakan solusi baru mereka hanya mencapai maksimum di atas 70 WPM, dan rata-rata 37 WPM. Rata-rata orang mengetik sekitar 40 WPM pada keyboard tradisional, sedangkan juru ketik profesional mencapai antara 70 dan 120 WPM tergantung pada tingkat keahlian mereka.
Namun yang terpenting, TouchInsight tampaknya hanya berfungsi dengan headset Quest 3 standar, di meja mana pun, tanpa penanda atau perangkat keras eksternal apa pun. Dan meskipun Meta tidak mengungkapkan tingkat kesalahan untuk sistem tahun lalu, para peneliti mengatakan rata-rata tingkat kesalahan TouchInsight yang tidak dikoreksi hanya 2,9%.
“Dalam makalah ini, kami menyajikan pipeline real-time yang mendeteksi masukan sentuhan dari sepuluh jari pada permukaan fisik apa pun, murni berdasarkan pelacakan tangan egosentris.
Metode kami TouchInsight terdiri dari jaringan saraf untuk memprediksi momen peristiwa sentuhan, kontak jari, dan lokasi sentuhan. TouchInsight merepresentasikan lokasi melalui distribusi Gaussian bivariat untuk memperhitungkan ketidakpastian akibat ketidakakuratan penginderaan, yang kami selesaikan melalui prior kontekstual untuk secara akurat menyimpulkan masukan pengguna yang dituju.”
TouchInsight juga dapat digunakan untuk deteksi umum penekanan jari pada permukaan fisik selain mengetik. Misalnya, kata para peneliti, hal ini dapat memungkinkan permainan realitas campuran Whac-A-Mole di mana Anda menggunakan jari-jari Anda untuk memencet tahi lalat kecil.
Para peneliti mengatakan mereka akan mendemonstrasikan TouchInsight di Simposium ACM tentang Perangkat Lunak dan Teknologi Antarmuka Pengguna minggu depan, di Pittsburgh.
Tidak jelas apakah Meta berencana untuk mengintegrasikan TouchInsight ke Horizon OS dalam waktu dekat, dan jika tidak, apa hambatan spesifik untuk melakukan hal tersebut.