NVIDIA rozwija platformę Isaac dla robotów AI

Wszystkie te technologie zapewniają programistom zintegrowaną ścieżkę od przygotowania danych aż po wdrożenie. Dzięki temu mogą szybciej wprowadzać roboty ogólnego przeznaczenia do rzeczywistych zastosowań.

– Robotyka ogólnego przeznaczenia rozwija się w niesamowitym tempie. Zbliża się moment przełomowy dla robotyki, podobny do tego, jaki przyniósł ChatGPT. Dzięki NVIDIA Isaac, naszej otwartej platformie robotycznej typu full-stack, zapewniamy programistom modele, dane, narzędzia symulacyjne i systemy obliczeniowe. Pozwolą one wprowadzić fizyczną sztuczną inteligencję do największych gałęzi przemysłu na świecie – powiedział Jensen Huang, założyciel i dyrektor generalny NVIDIA.

Źródło: Nvidia

Agile ONE SN – humanoidalna platforma referencyjna do badań

Firma Agile Robots natomiast ogłosiła wprowadzenie Agile ONE SN, w pełni zintegrowanego humanoida referencyjnego. Robot bazuje na wstępnej konfiguracji NVIDIA Isaac GR00T oraz platformie AI do przetwarzania brzegowego NVIDIA Jetson Thor.

Badacze i programiści robotyki często muszą integrować oddzielne narzędzia do symulacji, szkolenia i wdrażania robotów. Proces ten jest niezbędny, aby przenieść umiejętności robotów ze środowiska programistycznego do rzeczywistego świata. Agile ONE SN łączy te narzędzia i procesy robocze na jednej platformie. Dzięki temu skraca czas konfiguracji z tygodni do dni.

Konstrukcja i wyposażenie robota Agile ONE SN

Platforma Agile ONE SN obejmuje następujące elementy:

• Korpus humanoidalny Agile ONE S o wysokości 1,40 metra (4,59 stopy) i masie 40 kilogramów (88 funtów). Robot ma 31 stopni swobody oraz udźwig 3 kilogramów na każde ramię.
• Dwie pięciopalcowe dłonie WUJI Hand 2. Każda oferuje 20 stopni swobody, kontrolę siły z częstotliwością 1 kHz oraz czujniki dotykowe umożliwiające zręczną manipulację.
• Wbudowany procesor NVIDIA Jetson Thor, który zapewnia moc obliczeniową 2070 teraflopsów FP4 oraz 128 GB zunifikowanej pamięci. Umożliwia to przetwarzanie danych i sterowanie w czasie rzeczywistym bezpośrednio w robocie.
• Wielomodalne czujniki, w tym kamery na głowie i nadgarstku, czujniki lidarowe oraz inercyjne jednostki pomiarowe. Pomagają one robotowi postrzegać otoczenie i wchodzić z nim w interakcję.
• Platformę NVIDIA Isaac GR00T, która obejmuje model podstawowy GR00T oraz pełny proces od pozyskiwania danych po wdrożenie. Zapewnia również sterowanie całym ciałem w celu koordynacji ruchów.
• Funkcje bezpieczeństwa z planowaną integracją protokołów bezpieczeństwa robota z systemem NVIDIA Halos. Rozwiązanie to obejmuje kompleksowe zarządzanie bezpieczeństwem w robotyce.

– Przełomem w dziedzinie humanoidów jest ich użyteczność na szeroką skalę. Chodzi o jedną elastyczną maszynę, która uczy się wielu umiejętności i działa w środowiskach stworzonych dla ludzi. Dzisiaj Agile Robots zaprezentowała Agile ONE SN, kompleksowego, otwartego humanoida referencyjnego opartego na NVIDIA Isaac GR00T i Jetson Thor. Platforma zapewnia programistom gotowy system do tworzenia, szkolenia i weryfikacji umiejętności potrzebnych do wykorzystania humanoidów w pracy – powiedział Zhaopeng Chen, założyciel i dyrektor generalny Agile Robots.

Agile Robots planuje udostępnić Agile ONE SN na początku 2027 roku. Platforma ma przyspieszyć badania i rozwój technologii humanoidalnych. Ponadto wzbudziła zainteresowanie instytucji badawczych, takich jak Uniwersytet Stanforda i ETH w Zurychu.

Nowe narzędzia NVIDIA wspierają uczenie robotów i wdrażanie aplikacji

NVIDIA rozwija technologie, które pomagają programistom generować dane szkoleniowe i skalować proces uczenia robotów. Ponadto umożliwiają budowanie środowisk symulacyjnych oraz wdrażanie aplikacji robotycznych. W rezultacie skracają czas potrzebny na opracowanie rozwiązania.

SimReady Central Library i Human 1M – zasoby do symulacji i szkolenia

Biblioteka SimReady Central Library oferuje ponad 2000 zasobów robotycznych i fabrycznych przygotowanych do symulacji. Z kolei zbiór danych Human 1M obejmuje różnorodne czynności wykonywane przez ludzi. Zawiera zsynchronizowane nagrania wideo z trzech ujęć oraz dane dotyczące śledzenia dłoni w 3D. Oba zasoby są dostępne na platformie Hugging Face. Natomiast pełny zbiór danych Human 1M NVIDIA udostępnia partnerom Cosmos Coalition.

Isaac Lab 3.0 – uczenie robotów od komputerów po centra danych

NVIDIA Isaac Lab 3.0 jest już ogólnodostępny. Framework oferuje otwartą platformę uczenia opartą na agentach, która umożliwia szkolenie i doskonalenie strategii działania robotów. Rozwiązanie obsługuje środowiska od komputerów stacjonarnych po centra danych. Dodatkowo stosuje procesy robocze z wieloma procesorami graficznymi oraz silniki fizyczne, w tym Newton i NVIDIA PhysX.

NVIDIA Isaac OS – środowisko uruchomieniowe dla robotów

NVIDIA Isaac OS to otwarta platforma uruchomieniowa oparta na NVIDIA Holoscan. Łączy sztuczną inteligencję, czujniki, układy sterowania oraz sprzęt robotyczny. Dzięki temu zapewnia deterministyczne działanie w czasie rzeczywistym, zarówno podczas symulacji, jak i pracy fizycznych robotów.

Procesy uczenia robotów na NVIDIA DGX Station

NVIDIA udostępnia trzy referencyjne procesy robocze typu open source dla platformy NVIDIA DGX Station. Pierwszy pomaga programistom doskonalić modele GR00T 1.7 za pomocą uczenia przez wzmocnienie. Drugi umożliwia trenowanie umiejętności zręcznej manipulacji w NVIDIA Isaac Lab. Natomiast trzeci służy do dalszego szkolenia modeli świata NVIDIA Cosmos. Pozwala generować dane syntetyczne przy użyciu ChatGPT Astra.

NVIDIA Halos – bezpieczeństwo robotów i pojazdów autonomicznych

NVIDIA Halos zapewnia kompleksową platformę bezpieczeństwa opartą na NVIDIA IGX Thor. Rozwiązanie wspiera przenoszenie pojazdów autonomicznych i robotów z etapu rozwoju do wdrożeń w rzeczywistych warunkach.  Ma pomagać w zwiększaniu bezpieczeństwa podczas wdrażania tych systemów na dużą skalę.

Firmy udostępniają zasoby i narzędzia dla platformy NVIDIA Isaac

Biblioteka SimReady Central na Hugging Face zawiera zasoby przygotowane do symulacji przez firmy Comau, FANUC, ForgeCAD i Franka Robotics. Wśród dostawców znajdują się również LG Electronics, Palatial, Robotiq, Standard Bots, Universal Robots oraz Vertiv.

Otwarte, referencyjne procesy uczenia robotów NVIDIA działają na platformie DGX Station. Ich rozwój wspierają rozwiązania firm 1X, Agile Robots, Humanoid, Maven Robotics i Mentee. Do tej grupy należą także MicroAGI, Rhoda, Sereact oraz Skild AI.

Partnerzy z branży robotyki integrują NVIDIA Halos ze swoimi architekturami bezpieczeństwa. Należą do nich Agile Robots, Agility, Dexory oraz FORT Robotics.

Firma KION używa tej platformy w obszarze bezpieczeństwa robotów magazynowych.

Z kolei SICK ocenia NVIDIA Halos pod kątem poprawy dynamicznego bezpieczeństwa robotów przemysłowych. Technologia ma pomagać robotom reagować na zmieniające się warunki poza wcześniej ustalonymi strefami.

Firmy Advantech i NexCOBOT opracowują przemysłowe platformy obliczeniowe oparte na NVIDIA IGX. Jednocześnie Reynolds & Moore, Accenture i TÜV SÜD wspierają przyspieszenie procesów certyfikacyjnych. Ich działania mają ułatwiać bezpieczne wdrażanie przemysłowych systemów fizycznej sztucznej inteligencji.

Europejskie firmy robotyczne sięgają po technologie NVIDIA

ABB Robotics, KUKA i Sereact rozwijają symulacje oraz uczenie robotów

ABB Robotics integruje biblioteki NVIDIA Omniverse z RobotStudio HyperReality. Dzięki temu umożliwia symulowanie i wirtualne uruchamianie systemów robotycznych przed ich instalacją w różnych branżach.

Grupa KUKA wykorzystuje biblioteki Omniverse w rozwiązaniu Visual Components FactoryLens. Pozwala to dodać renderowanie w czasie rzeczywistym do procesów symulacji fabrycznych.

Natomiast Sereact korzysta z Isaac GR00T oraz Cosmos Transfer. Technologie te służą do szkolenia i dalszego doskonalenia platformy Cortex, przeznaczonej do obsługi towarów. System działa na przemysłowych ramionach robotycznych Universal Robots.

Humanoid, Hexagon Robotics i Bear Robotics rozwijają percepcję oraz sterowanie

Firma Humanoid wdraża Jetson Thor, Holoscan Sensor Bridge, Halos oraz system operacyjny NVIDIA Isaac OS. Dzięki tym technologiom opracowuje i weryfikuje zachowania robotów przed rozpoczęciem pilotażowych wdrożeń przemysłowych.

Z kolei Hexagon Robotics rozwija funkcje percepcyjne platformy AEON. Obejmują one obraz wideo do zdalnego sterowania, lokalizację, mapowanie oraz wykrywanie pozycji obiektów.

Bear Robotics przyspiesza procesy percepcyjne oraz wykonywanie modeli w robocie KR1. Jednocześnie firma stosuje Kino-2 do dalszego szkolenia Isaac GR00T. Proces obejmuje zadania magazynowe, obsługę zwrotów oraz operacje przemysłowe.

Toyota Material Handling Europe, Idealworks i ADI rozwijają roboty mobilne

Toyota Material Handling Europe oraz SoftServe bazują na Omniverse i framework NVIDIA Isaac Sim. Firmy opracowują autonomiczne rozwiązania do transportu materiałów, skracając czas wdrożenia nawet o 50%.

Idealworks bazuje na otwartych modelach NVIDIA oraz platformie Jetson. Na ich podstawie rozwija funkcje pamięci dla autonomicznych robotów mobilnych pracujących w fabrykach.

Natomiast Analog Devices Inc. (ADI) wykorzystuje NVIDIA Jetson AGX Orin oraz bibliotekę cuVSLAM. Technologie te służą do tworzenia autonomicznych robotów mobilnych.

Roboty edukacyjne i sterowanie za pomocą języka naturalnego

Hugging Face i Pollen Robotics stosują NVIDIA Isaac Lab, Isaac Sim oraz Newton do tworzenia robota Microduck. To niewielki robot typu open source, przeznaczony dla programistów i studentów. Microduck ma pomagać w szkoleniu, modyfikowaniu i udostępnianiu nowych zachowań fizycznych robotów.

Franka Robotics sięga po mikrousługi NVIDIA NIM oraz Isaac Sim. Dzięki nim przekształca polecenia w języku naturalnym w działania systemu robotycznego Franka FR3 Duo.

Firma Bellboy posługuje się platformami Jetson i GR00T do obsługi robota Billie. To pierwszy robot-współpracownik firmy oparty na jej infrastrukturze fizycznej sztucznej inteligencji. Bellboy wdrożył już robota Billie w hotelach sieci Marriott, Hilton, IHG oraz OYO.

Rozwój modeli inteligencji robotycznej i technologii humanoidalnych

Firma Flexion wykorzystuje platformy Isaac Lab i Newton do skalowania procesu uczenia modelu Reflect. Jest to zunifikowany model inteligencji robotycznej, który łączy rozumowanie z ruchem całego ciała. Dzięki temu umożliwia wykonywanie złożonych operacji manipulacyjnych przy zastosowaniu różnych korpusów robotów.

Schaeffler udostępnia swoją technologię siłowników jako ekskluzywny element podstawowy platformy Newton. W ten sposób firma wspiera rozwój robotów humanoidalnych. Ponadto rozwiązania NVIDIA Isaac Lab i Isaac Sim służą do przyspieszania prac nad tymi systemami.

NEURA Robotics korzysta z Isaac Sim i Isaac Lab do generowania syntetycznych danych szkoleniowych. Dzięki tym narzędziom firma trenuje umiejętności robotów w środowisku symulacyjnym. Działania te wspierają rozwój Neuron AI, multimodalnego modelu podstawowego firmy NEURA Robotics.