ST i Leopard Imaging przyspieszają rozwój systemów wizyjnych w robotyce dzięki wieloczujnikowemu modułowi do platformy NVIDIA Jetson

Firmy STMicroelectronics i Leopard Imaging® wprowadziły na rynek wielofunkcyjny moduł wizyjny typu „all-in-one”, przeznaczony dla robotów humanoidalnych i innych zaawansowanych systemów robotycznych. Łączy technologie obrazowania ST, mapowania sceny 3D i wykrywania ruchu z technologią NVIDIA Holoscan Sensor Bridge. Natywnie integruje się z platformą NVIDIA Jetson oraz otwartą platformą programistyczną NVIDIA Isaac, upraszczając i przyspieszając projektowanie systemów wizyjnych w ramach ograniczeń dotyczących rozmiarów, masy i zużycia energii charakterystycznych dla robotów humanoidalnych.

Moduł wizyjny systemów Leopard Imaging

– Robotyka humanoidalna wykracza poza projekty badawcze i demonstracje, dostarczając nowe, potężne maszyny do szerokiego zakresu zadań w fabrykach produkcyjnych i motoryzacyjnych, logistyce i magazynowaniu, a także w handlu detalicznym i obsłudze klienta. Nasza współpraca z Leopard Imaging zapewnia czujniki i siłowniki ST, zintegrowane z ekosystemem robotyki NVIDIA, aby przyspieszyć wdrażanie fizycznych aplikacji AI o świadomości podobnej do ludzkiej – powiedział Marco Angelici, wiceprezes ds. marketingu i zastosowań analogowych układów zasilających MEMS i czujników w STMicroelectronics.

– Dostęp do czujników i siłowników ST bezpośrednio w ekosystemie pozwolił nam ujednolicić i usprawnić gromadzenie oraz rejestrowanie danych dla systemów wizyjnych robotów humanoidalnych za pośrednictwem interfejsu HSB. Twórcy robotów mogą korzystać z naszego modułu wizyjnego z wieloma czujnikami wraz z narzędziami Isaac, aby przyspieszyć uczenie się i szybko wypełnić lukę między symulacją a rzeczywistością – dodał Bill Pu, dyrektor generalny Leopard Imaging.

Pozyskiwanie danych w czasie rzeczywistym

Nowy moduł, oparty na NVIDIA Holoscan Sensor Bridge, płynnie integruje się z platformą NVIDIA Jetson przez sieć Ethernet w celu pozyskiwania danych z czujników w czasie rzeczywistym oraz z otwartą platformą programistyczną NVIDIA Isaac, która oferuje programistom otwarte modele AI, środowiska symulacyjne i biblioteki. Nowy moduł zawiera system kompilacji i interfejsy programowania aplikacji (API), algorytmy sztucznej inteligencji (AI) dostosowane do robotów mobilnych, przykładowe aplikacje, randomizację domen oraz środowisko symulacyjne zawierające modele czujników.

ST, jako kluczowy partner NVIDIA w dziedzinie robotyki i Edge AI, kontynuuje integrację swoich czujników, sterowników, aktuatorów, kontrolerów i narzędzi programistycznych z ekosystemem robotyki NVIDIA, w tym modeli o wysokiej wierności i modułów proof-of-concept.

Moduł wizyjny Leopard Imaging Systems zawiera:

• czujnik obrazu ST VB1940 klasy motoryzacyjnej RGB-IR o rozdzielczości 5,1 megapiksela z połączonymi trybami rolling shutter i global shutter;
• 6-osiowy moduł pomiaru inercyjnego (IMU) LSM6DSV16X do wykrywania ruchu, wyposażony w rdzeń uczenia maszynowego ST (MLC) dla sztucznej inteligencji w urządzeniach brzegowych, technologię fuzji czujników o niskim poborze mocy (SFLP) oraz czujnik elektrostatyczny Qvar do interfejsu użytkownika;
• moduł LiDAR typu „all-in-one” VL53L9CX dToF należący do rodziny produktów ST FlightSense, zapewniający wykrywanie głębokości 3D z dokładnym pomiarem odległości do 9 metrów.

Dzięki rozdzielczości 54 x 42 stref (blisko 2300 stref) w połączeniu z szerokim polem widzenia 55° x 42° zapewniającym rozdzielczość kątową 1°, możliwe jest wykonywanie pomiarów na krótkich i długich odległościach oraz wykrywanie małych obiektów z prędkością do 100 klatek na sekundę.