Rozszerzona i wirtualna rzeczywistość (AR/VR) to kolejne wielkie osiągnięcie człowieka i zupełnie nowe doświadczenia, zarówno dla użytkowników indywidualnych, jak i komercyjnych. Duża część urządzeń ogranicza się jednak wyłącznie do efektów wizualnych. Tymczasem zaangażowanie innych zmysłów, np. przez zastosowanie dotykowego sprzężenia zwrotnego, mogłoby spowodować bardziej realistyczne wrażenia. Taka innowacja wymagałaby użycia specjalnych przetworników, jak chociażby wielowarstwowe piezoelektryczne siłowniki ceramiczne PowerHap firmy TDK, które potrafią bardzo dokładnie renderować tekstury powierzchni. Przykładem ich zastosowania jest TouchDIVER firmy WEART.

Rozważmy sytuacje, gdzie nie ponosząc ryzyka fizycznych konsekwencji, moglibyśmy przeprowadzać ćwiczenia i eksperymenty na urządzeniach, które nie zostały jeszcze zbudowane lub mają docelowo pracować w niebezpiecznym środowisku. Co by było, gdyby lekarz mógł przećwiczyć skomplikowaną operację, zanim ją realnie wykona? Podobnie projektanci samochodów mogliby sprawdzić nowy model przed zbudowaniem fizycznego prototypu?

Aby to zrealizować, wymagane są odczucia wychodzące poza wymiar wizualny, czyli dotykowe informacje zwrotne. Niewątpliwie poprawią one komfort pracy. Pacjenci poczują się bezpieczniej z dobrze wyszkolonymi chirurgami, a ci staną się bardziej pewni siebie mając do dyspozycji urządzenia zbudowane zgodnie z powyższą koncepcją. Projektanci samochodów natomiast będą optymalizować swoje modele bez kosztownych badań fizycznych prototypów.

Ludzkie dłonie łączą co najmniej trzy rodzaje wrażeń dotykowych. Po pierwsze, podczas chwytania odczuwają siłę nacisku i rozpoznają obiekt twardy lub miękki. Po drugie, opuszki palców rozróżniają teksturę, np. powierzchni chropowatej lub gładkiej. Po trzecie, są wrażliwe na temperaturę. Oznacza to, że metalowy obiekt o wysokiej przewodności cieplnej różni się zdecydowanie od plastikowego przedmiotu o tych samych wymiarach. Aby wrażenie było przekonujące, pętla sprzężenia zwrotnego musi być domknięta z układem wzrokowym. W tym celu ruch palców w wirtualnym świecie musi być śledzony i przekazywany z powrotem.

Ponad 10 lat badań

Wyzwaniem jest zatem stworzenie układu, który integrowałby w czasie rzeczywistym wrażenia dotykowe z systemem wizualnym. Włoska firma WEART opracowała TouchDIVER – rękawicę haptyczną (dotykową), z możliwością realistycznej interakcji w VR, AR i MR (Mixed Reality). Zapewnia ona kompleksowe dotykowe sprzężenie zwrotne, czyli siłę nacisku, teksturę i temperaturę z wirtualnymi elementami i środowiskami. Rękawica ma precyzyjne czujniki, które śledzą ruchy dłoni i palców. Jednym z jej kluczowych elementów jest PowerHap firmy TDK. Są to wielowarstwowe piezoelektryczne siłowniki ceramiczne, renderujące bardzo naturalnie tekstury powierzchni.

Projekt WEART sięga unijnego projektu badawczego WEARHAP (WEARable HAPtics for Humans and Robots) , rozpoczętego 2013 roku i koordynowanego przez Uniwersytet w Sienie. Podczas studiów doktoranckich w Laboratorium Robotyki i Automatyki, pod kierunkiem prof. Domenico Prattichizzo, poznali się Guido Gioioso i Giovanni Spagnoletti. W 2018 roku ci trzej panowie, wraz z partnerem inżynieryjnym i przemysłowym, założyli firmę e-Novia.

Rękawica dotykowa TouchDIVER ma trzy punkty kontaktu. Według badań prowadzonych w ramach neuronauki wynika, że dla stabilności manipulacji wystarczy kciuk, palec wskazujący i środkowy (rys. 1). Trzy palce zapewniają wygodę użytkowania i efektywność, przy niższych kosztach realizacji.

Rys.1. Rękawica dotykowa TouchDIVER z trzema punktami dotykowymi (źródło: WEART)

Wersja przewodowa dostępna jest do ciągłego użytkowania, natomiast bezprzewodowa łączy się przez Bluetooth Low Energy (BLE) i działa od 40 do 60 minut na jednym ładowaniu baterii. Rękawica VR zawiera SDK (środowisko używane do tworzenia oprogramowania) do integracji z różnymi platformami programistycznymi.

Połączenie trzech wrażeń dotykowych

Do emulacji siły kontaktowej, zastosowano w TouchDIVER małe siłowniki. Wywierają one określony nacisk na opuszki palców użytkownika, tworząc oczekiwane wrażenia. System może odtwarzać dotknięcie skóry do 5 N z dokładnością 0,02 N. Pozwala to użytkownikom odczuwać zmiany sztywności wirtualnych obiektów i postrzegać trójwymiarowe kształty powierzchni. W ten sposób mogą być symulowane nierówności. Projektanci aplikacji nie muszą być ekspertami w dziedzinie biomechaniki. W rzeczywistości SDK automatycznie oblicza siłę, jaką w danych okolicznościach należy przykładać.

Termiczne sprzężenie zwrotne wzbogaca natomiast doświadczenia rozszerzonej rzeczywistości, dostarczając autentycznych wrażeń ciepła i zimna, zwiększając immersję poprzez zwielokrotnienie odczuć związanych z temperaturą na skórze użytkownika. Intensywność tych doznań zależy od zastosowanych materiałów wirtualnych. TouchDIVER może odtwarzać temperatury od +15°C do +42°C z dokładnością 0,1°C i krótkim czasem reakcji. Jest to nieoceniona zaleta w zakresie szkoleń bezpieczeństwa i w aplikacjach przemysłowych. Precyzyjne termiczne sprzężenie zwrotne ma tam bowiem kluczowe znaczenie. Poprawia zdolność identyfikowania materiału poprzez odtworzenie różnic w przewodności cieplnej w sytuacji, gdy metal wydaje się chłodniejszy niż drewno.

W rękawicy TouchDIVER tekstury są odtwarzane poprzez precyzyjne dostrojenie wibracji za pomocą piezoelektrycznego siłownika PowerHap firmy TDK. Skutecznie przekształca on sygnały elektryczne w mechaniczne przemieszczenia z niezwykłą szybkością i dokładnością, śledząc przy tym prędkość i ruch dłoni użytkownika w czasie rzeczywistym. Aby osiągnąć ten poziom realizmu, WEART opracował obszerną bibliotekę dotykową zawartą w SDK z ponad 20 różnymi materiałami, umożliwiając programistom tworzenie niezliczonych odmian chropowatości przy użyciu trzech parametrów.

Zespół WEART dowiedział się o PowerHap na konferencji AsiaHaptics 2018 w Songdo w Korei Południowej, gdzie dr Andreas Pentscher-Stani z TDK wygłosił prezentację na temat PowerHap. Cechy, które przyciągnęły uwagę, to rozdzielczość siłownika, amplituda drgań i szerokość pasma. Specyfikacje te mają kluczowe znaczenie dla spełnienia wymagań dotyczących renderowania powierzchni różnych materiałów. Co więcej, zdolność PowerHap do generowania znacznej amplitudy, nawet do 5 N, wyróżnia się jako kluczowy czynnik. Odgrywa on zasadniczą rolę w rozwoju podstawowej technologii WEART, umożliwiając łączenie i odtwarzanie trzech różnych wrażeń dotykowych na tym samym odcinku skóry użytkownika.

Siłownik okazał się idealny z kilku istotnych powodów. Jego szerokie pasmo przenoszenia jest ważne dla dokładnego odzwierciedlania różnych poziomów chropowatości materiału. Wymiary PowerHap są idealnie dopasowane do opuszka palca, zapewniając kompatybilność i ułatwiając optymalną integrację mechaniczną. Określona grubość ma również znaczenie dla osiągnięcia najlepszej synergii mechanicznej.

Rys. 2. W PowerHap zastosowano czynele/kabłąki 15-krotnie wzmacniające drgania w osi „z”, spowodowane efektem pizoelektrycznym (źródło: TDK Electronics AG)

PowerHap opiera się na wielowarstwowych płytkach piezoelektrycznych z wewnętrznymi elektrodami miedzianymi bez migracji, które mogą być zasilane stosunkowo niskim napięciem roboczym, mieszczącym się w zakresie od 0 V do 120 V, w zależności od projektu. Może generować szerszy zakres dotykowego sprzężenia zwrotnego, niż spotykany w rozwiązaniach tradycyjnych, takich jak mimośrodowe silniki obrotowe (ERMs) i liniowe siłowniki rezonansowe (LARs). Tworzyć cały zakres stymulacji od 1 Hz do 1000 Hz, co pozwala na bardziej spersonalizowane i wyraźne dotykowe sprzężenie zwrotne dostarczane do ludzkich mechanoreceptorów.

Na przykład PowerHap 1919 osiąga wysokie przyspieszenie czyneli/kabłąków do 16,0 g przy obciążeniu 500 g i do 52 g przy obciążeniu 100 g. Jednocześnie generuje dużą siłę do 20 N, w połączeniu z niską wysokością wtrącenia i czasem reakcji poniżej 1 ms. Technologia ta nie jest ograniczana znaczącymi częstotliwościami lub amplitudami, co czyni ją wszechstronną i skuteczną.

Inne aplikacje haptyczne z PowerHap

PowerHap to wysokowydajny siłownik haptyczny do zastosowań w najbardziej rygorystycznych i popularnych aplikacjach wymagających dużego przyspieszenia i szerokiego pasma. Jego zaletą są kompaktowe wymiary i dość niskie zużycie energii. Projektanci mogą go używać do konstruowania m.in. przycisków, modułów, systemów motoryzacyjnych (wyświetlacz haptyczny/kierownica/trackpad), VR, smartfonów (przycisk tzw. solid state – niemechaniczny przycisk, który po dotknięciu daje wrażenie klasycznego nacisku mechanicznego), gry (kontroler/opaska na nadgarstek) lub urządzenia medyczne i rysiki.

Dotykowe sprzężenie zwrotne przenosi AR/VR na wyższy poziom. Wyposażona w PowerHap firmy TDK rękawica dotykowa TouchDIVER firmy WEART AR/VR sprawia, że szkolenia przemysłowe i medyczne stają się bardziej naturalne, a wirtualne prototypowanie i oglądanie salonów wystawowych bardziej ekscytujące.