Niezależnie od tego, czy to szybka jazda po niemieckich autostradach, czy kalifornijskiej autostradzie numer „1”, pełnej zakrętów wzdłuż wybrzeża Big Sur, kierowcy nie mogą sobie pozwolić na oderwanie rąk od kierownicy, ani oderwanie wzroku od drogi. Zdekoncentrowany kierowca stwarza niebezpieczeństwo, dlatego producenci samochodów zapewniają funkcje, dzięki którym prowadzący mogą skupić się na drodze, a nie na dużym wyświetlaczu konsoli po środku.

By to osiągnąć, opracowywane są coraz to nowsze technologie interfejsu człowiek-maszyna (ang. HMI), które obejmują wyświetlacze typu heads-up, rozpoznawanie mowy i sterowanie gestami, jak to pokazano na rysunku 1. Funkcje korzystające obecnie z kontroli prostych gestów przesuwania obejmują zmianę kanału radiowego, odbieranie połączeń, odtwarzanie kolejnego utworu na liście, przewijanie menu, powiększanie ekranu nawigacji, otwieranie i zamykanie okna na dachu oraz sterowanie oświetleniem nad głowami. Kontrola gestów i czujniki umożliwiające tę funkcję są obecnie dostępne głównie w pojazdach premium.

Badanie rynku przeprowadzone w 2018 r. przez Global Market Insights przewiduje, że rynek rozpoznawania gestów w motoryzacji wzrośnie z 1,1 mln USD w 2017 r. do 13,6 mld USD do 2024 r. Przewiduje się, że do 2024 r. rynek rozpoznawania gestów dłoni będzie większy niż 8,6 mld USD, a wzrost między 2018 a 2024 r., zarówno w Ameryce Północnej, jak i w Europie, przekroczy 40%. Raport stwierdza, że przepisy bezpieczeństwa wprowadzone przez różne rządy poprawiają dokładność produktu. Jednak takie wyzwania jak wysokie koszty i złożoność, oraz trudności z integracją nowych technologii HMI w projektach systemowych będą jednak utrudniać wdrażanie rozpoznawania gestów w samochodach do 2024 roku.

Rysunek 1. Kontrola gestów zwiększa bezpieczeństwo zaawansowanych interfejsów użytkownika w samochodzie

Komponenty systemów gestów optycznych

Czujniki optyczne, takie jak VCNL4035 firmy Vishay, mogą być używane do wykrywania przesuwnych ruchów ręki. System gestów optycznych może zawierać zintegrowany czujnik zbliżeniowy, który może szybko pulsować do trzech emiterów w połączeniu z zewnętrznymi emiterami podczerwieni, aby utworzyć przestrzeń, w której można wykonać gest.

W rzeczywistości, do wykonania prostego przesunięcia w lewo i w prawo oraz powiększenia i zmniejszenia, potrzebne są tylko dwa nadajniki. Wewnętrzny sterownik LED będzie sterował lewym nadajnikiem podczas dokonywania odczytu zbliżenia, jak pokazano na Rysunku 2. Wartość ta jest konwertowana na liczbę między 0 a około 65 000, ponieważ przetwornik A/C w VCNL4035X01 ma 16-bitową rozdzielczość.

Multiplekser przełączy się następnie z wyjścia podłączonego do lewego nadajnika, kierując teraz prawym nadajnikiem i jednocześnie odczytując następne zbliżenia. Oba odczyty są zapisywane w oddzielnych rejestrach danych w czujniku, dzięki czemu mogą być odczytywane indywidualnie przez główny mikrokontroler. Mikrokontroler pobierze te pomiary i porówna dwa odczyty.

Jeśli dłoń znajduje się bliżej lewego emitera, licznik wyjściowy czujnika będzie początkowo wyższy dla lewego niż dla prawego odczytu. Podczas przesuwania dłoni się w prawo, liczba wyjść z czujnika staje się w przybliżeniu równa, gdy dłoń dociera do środka między dwoma emiterami. Ostatecznie wynik powiązany z odpowiednim emiterem będzie wyższy niż lewy, ponieważ ręka wykonuje przesuwanie od lewej do prawej. Ta sekwencja operacji może zostać obrócona o dziewięćdziesiąt stopni, aby umożliwić sterowanie gestami w górę i w dół.

Funkcja powiększania jest aktywowana poprzez pomiar wyjścia czujnika, gdy ręka jest przesuwana bliżej lub dalej od czujnika. Algorytmy do wykrywania tych gestów są oparte na wartości zbliżenia progowego, która zostaje przekroczona w momencie obecności dłoni: w tym momencie zliczanie czujnika powinno być wyższe niż wartość przesunięcia, którą odczytuje czujnik, gdy nic przed nim się nie znajduje.

Bardziej złożone algorytmy rejestrują sygnał każdego emitera w ciągłym strumieniu, a ramka pomiarowa jest nakładana, aby umożliwić analizowanie kształtu sygnału. Procentowy nakład sygnału jednego emitera względem drugiego może być następnie użyty do oznaczenia różnicy czasu, która pokazuje, że wykonano gest. Dodanie trzeciego emitera poprawi rozdzielczość prostych gestów opisanych powyżej i może zostać wykorzystane do rozpoznawania bardziej skomplikowanych gestów.

Istnieje wiele czynników, które należy uwzględnić przy wdrażaniu systemu rozpoznawania gestów:

• Rozmiar przedmiotów innych niż ręka
• Odległość od obiektu do czujnika i emitera
• Prędkość poruszającego się obiektu
• Odbicie ruchomego obiektu
• Odległość między emiterami
• Poziomy progowe wymagane do uniknięcia niepoprawnych zdarzeń wykrywania
• Oświetlenie otoczenia i źródła zakłóceń optycznych

Zastosowanie dyskretnych emiterów daje projektantowi cenną elastyczność, ponieważ ich rozmieszczenie decyduje o wielkości strefy gestu i czułości. Niektóre czujniki integrują emitery w jednym pakiecie, co eliminuje tę elastyczność. Typowy zasięg działania emitera podczerwieni i systemu czujników wynosi 20 cm.

Podczas gdy system pokazany na rysunku 2 wykorzystuje emitery podczerwieni i czujniki zbliżeniowe przetwarzające światło na formę cyfrową, inne systemy oferują rozdzielczość milimetrową dzięki połączeniu czujnika czasu przelotu z kamerą 3D. Jest to droższy system, ale pozwala na pomiar małych gestów palców, a nie tylko dużych ruchów przesuwnych. Aplikacje pierwszej generacji w dzisiejszych pojazdach wykrywają duże ruchy, ale opracowywane systemy drugiej generacji wykryją wiele gestów palców. Na przykład ruch wykonywany przez palce użytkownika podczas powiększania zdjęcia na ekranie smartfona może zostać rozpoznany, gdy zostanie wykonany w powietrzu. Wymaga to użycia systemów kamer 3D.

Rysunek 2: System składający się z dwóch emiterów i jednego sensora może wykryć proste gesty powiększania i przesuwania

Funkcja ta jest podobna do funkcji wykrywania ruchu oferowanej obecnie przez konsole do gier. Na przykład system Kinect firmy Microsoft dla konsoli Xbox wykrywa ruch z odległości do około 3 metrów. Systemy gier śledzą cały ruch ciała gracza, ale ich odpowiedniki z branży motoryzacyjnej będą musiały śledzić tylko gesty rąk kierowcy. Im bardziej złożony jest system gestów pomiarowych, tym bardziej skomplikowane jest oprogramowanie pośrednie do przekształcania sygnału wyjściowego czujnika w określone działanie.

Perspektywa długoterminowa

Firmy takie jak LG i Sony dołączają do grona producentów sprzętu do samochodów z kategorii Tier 1, opracowując samochodowe systemy rozpoznawania gestów. Komfort klienta, aplikacje multimedialne, nawigacyjne i informacyjno-rozrywkowe nabierają wyższego priorytetu, ponieważ producenci samochodów wdrażają bardziej zaawansowane zaawansowane systemy wspomagania kierowcy (ang. ADAS) i autonomiczne możliwości prowadzenia pojazdu.

Ostatecznie nie będzie potrzeby zapobiegania rozproszeniu uwagi kierowcy: w pełni autonomiczne pojazdy nie będą miały kierowcy, jedynie pasażerów.