RaiderChip przedstawia swój w pełni sprzętowy akcelerator generatywnej sztucznej inteligencji: GenAI NPU
RaiderChip oficjalnie wprowadził na rynek GenAI NPU, w pełni sprzętowy akcelerator wyznaczający nowe standardy wydajności i skalowalności w generatywnej sztucznej inteligencji. GenAI NPU zachowuje kluczowe cechy swojego poprzednika, GenAI v1: działanie w trybie offline i autonomiczną funkcjonalność. Staje się ponadto w pełni autonomiczny, osadzając wszystkie operacje dużych modeli językowych (LLM) bezpośrednio w swoim sprzęcie, eliminując w ten sposób potrzebę stosowania procesorów.

Źródło: Freepik
Dzięki w pełni sprzętowej konstrukcji GenAI NPU osiąga niespotykane dotąd poziomy wydajności, nieosiągalne w przypadku konstrukcji hybrydowych.
Według CTO RaiderChip, Victora Lopeza: – Eliminując opóźnienia spowodowane komunikacją sprzętowo-programową, osiągamy wyższą wydajność, usuwając jednocześnie zależności zewnętrzne, takie jak procesory CPU. Wydajność, którą widzisz, to to, co otrzymasz, niezależnie od docelowego systemu elektronicznego, w którym zintegrowany jest akcelerator. Poprawia to efektywność energetyczną i zapewnia w pełni przewidywalną wydajność — zalety, które sprawiają, że GenAI NPU jest idealnym rozwiązaniem dla systemów wbudowanych.
Co więcej, nowa konstrukcja optymalizuje prędkość generowania tokenów na dostępną przepustowość pamięci, mnożąc ją 2,4-krotnie, jednocześnie umożliwiając korzystanie z bardziej ekonomicznych pamięci, takich jak DDR lub LPDDR, bez polegania na drogich opcjach, takich jak HBM, w celu osiągnięcia doskonałej wydajności. Zapewnia również równoważne wyniki przy mniejszej liczbie komponentów, zmniejszając rozmiar, koszt i zużycie energii. Funkcje te umożliwiają rozwój bardziej przystępnych cenowo i zrównoważonych rozwiązań generatywnej AI, z szybszym zwrotem z inwestycji i bezproblemową integracją z różnymi produktami dostosowanymi do różnych potrzeb.
Dzięki tej innowacji RaiderChip wzmacnia swoją strategię oferowania zoptymalizowanych rozwiązań opartych na niedrogim sprzęcie, zaprojektowanych w celu wprowadzenia generatywnej AI na krawędź. Rozwiązania te zapewniają pełną prywatność i bezpieczeństwo aplikacji dzięki możliwości działania całkowicie w trybie offline i lokalnie, eliminując jednocześnie zależność od chmury i cyklicznych miesięcznych subskrypcji.
Źródło: Design&Reuse