Platforma bezpieczeństwa agentów AI od NVIDIA

NVIDIA wprowadza Open Agent Safety Platform, która ma zwiększać bezpieczeństwo agentów sztucznej inteligencji. Rozwiązanie obejmuje cały proces, począwszy od testowania agentów po ich wdrożenie. Platforma łączy otwarte oprogramowanie z referencyjnym projektem systemu. Dzięki temu umożliwia zarządzanie sprzętem, systemami obliczeniowymi oraz robotyką wykorzystywaną przez agentów AI.

Projekt skupia przedstawicieli przemysłu, naukowców i organizacje sektora publicznego. Uczestnicy chcą wspólnie określać zasady działania agentów oraz rozwijać metody oceny ich bezpieczeństwa.

Źródło: NVIDIA

Agenci AI potrzebują dodatkowych mechanizmów kontroli

Według NVIDIA ostatnie incydenty pokazały ograniczenia zabezpieczeń działających wyłącznie na poziomie aplikacji. W opisywanych przypadkach agent omijał takie mechanizmy podczas wykonywania powierzonego zadania. Dlatego organizacje potrzebują narzędzi umożliwiających kontrolę długotrwale działających agentów. Mechanizmy bezpieczeństwa powinny obejmować również warstwę sprzętową i środowisko uruchomieniowe.

– Bezpieczeństwo i ochrona wymagają inżynierii obejmującej cały stos – mówi Jensen Huang, założyciel i dyrektor generalny NVIDIA.

Huang podkreśla także potrzebę dalszych badań nad bezpieczeństwem sztucznej inteligencji. Sugeruje, że branża powinna wymieniać doświadczenia oraz wspólnie rozwijać metody oceny systemów AI.

OpenShell kontroluje działania agentów AI

Jednym z elementów platformy jest oprogramowanie open source NVIDIA OpenShell. Tworzy ono kontrolowane środowisko uruchomieniowe dla autonomicznych agentów. OpenShell śledzi działania agentów oraz egzekwuje określone zasady podczas wykonywania zadań. W efekcie przedsiębiorstwa mogą kontrolować sposób działania agentów wykorzystujących modele otwarte i zamknięte.

Oprogramowanie współpracuje z procesorami NVIDIA Vera, przeznaczonymi do obsługi systemów opartych na agentach. Jednocześnie otwarta architektura umożliwia rozszerzenie OpenShell o platformy innych producentów, między innymi Arm i Intel.

Sentry może zatrzymać agenta w ciągu milisekund

Drugim elementem rozwiązania jest NVIDIA Sentry. To niezależny moduł nadzorujący, który działa na procesorach NVIDIA BlueField-4 DPU. Sentry stale obserwuje aktywność agentów i egzekwuje zasady bezpieczeństwa na poziomie sprzętowym. Jeśli agent przekroczy wyznaczone granice, system może odizolować go w ciągu milisekund. Rozwiązanie łączy wykrywanie zagrożeń, zarządzanie agentami oraz kontrolę dostępu do danych. Ponadto działa w oddzielonej domenie zaufania, poza środowiskiem kontrolowanym przez agenta.

Sentry wykorzystuje również oprogramowanie NVIDIA DOCA. Pozwala ono sprawdzać żądania i odpowiedzi agentów oraz weryfikować ich tożsamość. System może także kontrolować dostęp do danych, narzędzi, API i usług zgodnie z modelem zero trust.

Anthropic integruje swoje rozwiązania z platformą NVIDIA

NVIDIA współpracuje z Anthropic nad dodatkowymi mechanizmami bezpieczeństwa agentów. Claude Managed Agents oddzielają pętlę działania agenta od środowisk, w których wykonuje on zadania. Integracja z OpenShell i BlueField pozwala przedsiębiorstwom kontrolować dostęp agentów do tych środowisk.

– Firmy powierzają agentom AI coraz więcej swoich najważniejszych zadań – wskazuje Paul Smith, dyrektor handlowy Anthropic.

Jak wyjaśnia Smith, organizacje potrzebują informacji o działaniach poszczególnych agentów. Platforma NVIDIA rozszerza tę kontrolę na warstwę oprogramowania oraz sprzętu.

SpaceXAI i Scale AI wdrażają mechanizmy bezpieczeństwa

SpaceXAI wykorzystuje Open Agent Safety Platform dla agentów kodujących Cursor oraz modeli Grok. Firma wskazuje na potrzebę stosowania zabezpieczeń działających poza samym modelem. Takie mechanizmy mają ograniczać działania agentów w sposób, którego nie mogą oni samodzielnie ominąć.

Z kolei Scale AI współpracuje z NVIDIA nad wykorzystaniem platformy w infrastrukturze agentowej Scale GenAI. Rozwiązanie ma zapewniać izolację, egzekwowanie zasad oraz możliwość audytowania działań agentów.

Źródło: wygenerowane przez SI

OpenShell trafia do Slacka i SAP Business AI

Salesforce i NVIDIA zintegrowały OpenShell ze Slackiem. Zespoły mogą dzięki temu przeglądać aktywność agentów oraz zdarzenia związane z audytem. Użytkownicy mogą również zatwierdzać lub odrzucać prośby agentów o dodatkowe uprawnienia. Pozwala to zachować nadzór człowieka nad wykonywanymi zadaniami. Natomiast SAP integruje OpenShell ze środowiskiem Joule Studio w ramach SAP Business AI Platform. Firma współpracuje także z NVIDIA nad standardami interoperacyjności dla systemów agentowych.

Z technologii Open Agent Safety Platform korzysta ponad 100 organizacji. Są wśród nich firmy technologiczne, finansowe, przemysłowe oraz podmioty rozwijające robotykę. Figure, Gecko Robotics i Skild AI wykorzystują OpenShell w autonomicznych systemach działających w świecie fizycznym. Z kolei Citi i JPMorganChase współpracują z NVIDIA przy technologiach bezpieczeństwa agentów dla sektora finansowego. Platformę wykorzystują również przedsiębiorstwa związane z energetyką i infrastrukturą. W tej grupie znajdują się między innymi Hitachi Energy, Schneider Electric, Siemens Energy i NextEra Energy. Canonical, SUSE i Red Hat integrują natomiast rozwiązanie z systemami operacyjnymi. Red Hat wykorzystuje OpenShell i DOCA w ramach Red Hat AI Factory with NVIDIA.

NVIDIA rozwija otwarty ekosystem bezpieczeństwa AI

Technologie platformy obsługują również dostawcy infrastruktury AI. Należą do nich między innymi Cisco, Dell Technologies, HPE, Lenovo, Microsoft, Oracle Cloud Infrastructure i Supermicro. OpenShell oraz pozostałe elementy Open Agent Safety Platform są dostępne dla programistów NVIDIA i na GitHubie. Projekt wspiera również działania Open Secure AI Alliance. NVIDIA zainicjowała organizację wraz z ponad 120 podmiotami, a obecnie zarządza nią Linux Foundation. Inicjatywa koncentruje się na otwartych badaniach, narzędziach oraz rozwiązaniach dotyczących bezpieczeństwa agentów AI.