W czasie targów International Motor Show 2015 firma Leopold Kostal & Co. zaprezentowała 6th Sense – system wspomagania kierowcy oparty na kamerach, wykonany z pomocą Infineon Technologies. System ten wykrywa sytuacje, kiedy kierowca dekoncentruje się lub przysypia. Samochód natychmiast reaguje na takie zdarzenie, na przykład za pomocą wibrującego fotela lub dźwięku ostrzegawczego. Im bardziej kierowca jest rozkojarzony, tym bardziej samochód stara się skupić jego uwagę. Aby zapewnić szybką i odpowiednia reakcję, systemy wspomagania i awaryjnego hamowania mogą również automatycznie włączyć się przed wystąpieniem potencjalnego niebezpieczeństwa.

Aby zapewnić autonomiczne lub pół-autonomiczne sterowanie pojazdem, system wspomagania musi znać stan kierowcy w każdej chwili. Musi wiedzieć, jak dobrze kierowca jest poinformowany o tym, co dzieje się na drodze w danym momencie. Ta informacja jest potrzebna zwłaszcza w chwili, gdy kontrolę nad pojazdem należy zwrócić kierowcy w przypadku skomplikowanej sytuacji na drodze.

Kamera 3D obserwuje powieki

Do roku 2018 samochody z kamerami 3D Kostal znajdą się w produkcji masowej. System optyczny ma wymiary jedynie 49 x 29 milimetrów i jest umieszczony w desce rozdzielczej nad kierownicą. Obserwuje on twarz i ciało kierowcy siedzącego na wprost. System rejestruje dokładną pozycję głowy i rozpoznaje mruganie oczu nawet przez okulary lub okulary słoneczne.

Kamera 3D wykorzystuje podczerwień, dzięki czemu działa w warunkach zmiennego oświetlenia oraz w ciemności. Kamera zawiera układ wykrywania obrazu 3D Real3 opracowany przez Infineon, który z wysoką niezawodnością rejestruje ponad 100 tysięcy pikseli 50 razy na sekundę. Dla każdego piksela rozpoznawana jest jednocześnie jasność i odległość. Na podstawie uzyskanej informacji o głębi obrazu i poziomie jasności kamera 3D identyfikuje 49 określonych punktów na twarzy kierowy, takich jak oczy, brwi, usta czy koniec nosa. Algorytmy wykorzystują te dane, aby ocenić zaangażowanie kierowcy. Jeżeli system wykryje oznaki zmęczenia kierowcy, próbuje temu przeciwdziałać.

Ponadto znajomość dokładnej pozycji głowy kierowcy ułatwia wyświetlanie informacji o nawigacji na przedniej szybie (HUD), dzięki czemu znajdują się one bezpośrednio na linii wzroku kierowcy. Są widoczne na tle jezdni widzianej przez kierowcę. Będzie on zatem zawsze widział strzałkę nawigacji bezpośrednio przed sobą w tym samym miejscu drogi – niezależnie od tego, jak obróci głowę.

Szósty zmysł: obrazowanie 3D z użyciem czujnika obrazu 3D Real3

Sercem systemu obrazowania jest czujnik obrazu 3D. Pracuje on na zasadzie pomiaru czasu przelotu promieniowania podczerwonego od kamery do obiektu i z powrotem. Opóźnienie to jest bezpośrednio związane z odległością obiektu. W porównaniu z innymi metodami pomiaru 3D, pomiar czasu przelotu pozwala uzyskać bezpośredni wynik i nie wymaga użycia złożonych algorytmów. Co więcej, pod koniec procesu produkcji kamery 3D z układami Real3 mogą być łatwo i trwale skalibrowane. Wymagają one tylko jednej soczewki, zatem są względnie małe i niewrażliwe na drgania pojazdu.

Autonomiczne i pół-autonomiczne systemy kierowania – funkcje dodatkowe

Ze względu na wysoką jakość uzyskiwanych danych, kamery 3D oparte na pomiarze czasu przelotu nie służą wyłącznie do wykrywania pozycji głowy i mrugania powieką. Kamery mogą również umożliwiać kontrolę systemów pokładowych, takich jak klimatyzacja, za pomocą ruchu ręki lub ciała. Przykładowo możliwe jest uruchamianie poduszek powietrznych oddzielnie dla każdego pasażera. Można też zrealizować inne funkcje wspomagania i bezpieczeństwa działające na zewnątrz pojazdu – wspomaganie otwierania drzwi, które zapobiega uderzeniu drzwiami w stojący obok samochód, ścianę lub sufit podczas parkowania w garażu lub przy domu.