Hender belagt i virtuell hud gir VR-brukere mer digital fingerferdighet

Et prosjekt som skaper realistiske hender i det digitale rommet, gir en mer naturlig måte å håndtere virtuelle objekter på.

Den økende tilgjengeligheten av virtual reality-systemer har gjort oppslukende digitale miljøer mer tilgjengelige enn noensinne, fra Microsofts HoloLens til Facebooks Oculus-system. Imidlertid er samhandling fysisk med disse miljøene en snublestein for mange utviklere. “Tenk deg en person med hodemontert enhet som ser på en virtuell verden med objekter foran seg, som ønsker å samhandle med disse objektene,” sier Miguel Otaduy, prosjektkoordinator for det EU-finansierte CLAP-prosjektet. “Vi lager teknologi for å plukke opp, manipulere og slippe disse gjenstandene på en naturlig måte.” Klikk og samle inn Foreløpig, forklarer Otaduy, er de fleste systemer avhengige av en snap-in-place mekaniker, der en sensor oppdager når hendene er i nærheten av et digitalt objekt, og fester den til hånden uavhengig av grep eller håndorientering. “Vi designet en mye mer naturlig hånd, som manipulerer det digitale objektet slik ekte hender gjør,” legger han til.

Ved King Juan Carlos University opprettet Otaduy og hans team et digitalt skjelett som gjenskaper brukerens hånd i virtuelt rom, dekket av en myk, smidig hud som deformeres avhengig av hvordan hånden er bøyd. Dette gjør det mulig å beregne kontaktarealet mellom hånden og et objekt, slik at realistisk manipulering av objekter i det virtuelle rommet blir mulig. Å simulere dette med tilstrekkelig nøyaktighet er nøkkelen til å oppnå naturlige reaksjoner, sier Otaduy. “Det å ta på plass er bra i noen spill og VR-trening, men det er andre ting du ikke kan gjøre,” forklarer han. “Vi prøver å ta en virtuell hånd som ser ut som en ekte hånd, som kan nærme seg et objekt og introdusere fysisk interaksjon, for eksempel å gripe operasjoner. Dette vil etterligne det som skjer i den virkelige verden nærmere. ”

Prosjektutvikling

Teknologien støttes av alle de viktigste virtual reality-systemene som er i bruk i dag, og er ikke avhengig av ekstra maskinvare. “Vi kan bruke alle tilgjengelige alternativer akkurat nå: integrerte sensorer, sporingshansker, kamerabaserte systemer, infrarøde systemer. Det fungerer med alle disse, ”bemerker Otaduy. Proof of concept-prosjektet ble støttet av European Research Council, og kom ut av et mer grunnleggende prosjekt for å utvikle de underliggende algoritmene. “Det var avgjørende å utføre den forskningen, og å tiltrekke det riktige talentet,” sier Otaduy. “Prosjektet tillot oss deretter å integrere disse grunnleggende algoritmene med flere teknologier, for eksempel trackere og forskjellige visualiseringsenheter.

Dette tillot oss å demonstrere teknologien som et skritt mot markedsføring. ” En hjelpende hånd CLAP-teamet søker nå etter kommersielle partnere, investorer og samarbeidspartnere som vil bidra til å ta teknologien til neste utviklingsstadium. For øyeblikket prøver vi å opprette et spin-off selskap – vi er i samtale med universitetet om hvordan vi gjør dette – og prøver å utvide applikasjonene som kan gjøres med CLAP. Dette vil være applikasjoner for sosial interaksjon, telekommunikasjon og mer realistisk person-til-person-interaksjon, forklarer Otaduy.

Håndsamhandling lar deg ta disse datamodellene og gjøre dem virkelige, for å skape virtuelle verdener som blir virkelig interaktive. Det er en fascinerende måte å samle fysikk, matematikk og informatikk, og spille med noe som bare eksisterer inne i en datamaskin.

Oversetting og tilrettelegging av Michael Undseth-Gyllenberg. © Europa Unionen, 2021 – Kilde: CORDIS, cordis.europa.eu