LinkedIn YouTube Facebook
Szukaj

Newsletter

Proszę czekać.

Dziękujemy za zgłoszenie!

Wstecz
Aktualności

RaiderChip przedstawia swój w pełni sprzętowy akcelerator generatywnej sztucznej inteligencji: GenAI NPU

RaiderChip oficjalnie wprowadził na rynek GenAI NPU, w pełni sprzętowy akcelerator wyznaczający nowe standardy wydajności i skalowalności w generatywnej sztucznej inteligencji. GenAI NPU zachowuje kluczowe cechy swojego poprzednika, GenAI v1: działanie w trybie offline i autonomiczną funkcjonalność. Staje się ponadto w pełni autonomiczny, osadzając wszystkie operacje dużych modeli językowych (LLM) bezpośrednio w swoim sprzęcie, eliminując w ten sposób potrzebę stosowania procesorów.

Gen AI

Źródło: Freepik

Dzięki w pełni sprzętowej konstrukcji GenAI NPU osiąga niespotykane dotąd poziomy wydajności, nieosiągalne w przypadku konstrukcji hybrydowych.

Według CTO RaiderChip, Victora Lopeza: – Eliminując opóźnienia spowodowane komunikacją sprzętowo-programową, osiągamy wyższą wydajność, usuwając jednocześnie zależności zewnętrzne, takie jak procesory CPU. Wydajność, którą widzisz, to to, co otrzymasz, niezależnie od docelowego systemu elektronicznego, w którym zintegrowany jest akcelerator. Poprawia to efektywność energetyczną i zapewnia w pełni przewidywalną wydajność — zalety, które sprawiają, że GenAI NPU jest idealnym rozwiązaniem dla systemów wbudowanych.

Co więcej, nowa konstrukcja optymalizuje prędkość generowania tokenów na dostępną przepustowość pamięci, mnożąc ją 2,4-krotnie, jednocześnie umożliwiając korzystanie z bardziej ekonomicznych pamięci, takich jak DDR lub LPDDR, bez polegania na drogich opcjach, takich jak HBM, w celu osiągnięcia doskonałej wydajności. Zapewnia również równoważne wyniki przy mniejszej liczbie komponentów, zmniejszając rozmiar, koszt i zużycie energii. Funkcje te umożliwiają rozwój bardziej przystępnych cenowo i zrównoważonych rozwiązań generatywnej AI, z szybszym zwrotem z inwestycji i bezproblemową integracją z różnymi produktami dostosowanymi do różnych potrzeb.

Dzięki tej innowacji RaiderChip wzmacnia swoją strategię oferowania zoptymalizowanych rozwiązań opartych na niedrogim sprzęcie, zaprojektowanych w celu wprowadzenia generatywnej AI na krawędź. Rozwiązania te zapewniają pełną prywatność i bezpieczeństwo aplikacji dzięki możliwości działania całkowicie w trybie offline i lokalnie, eliminując jednocześnie zależność od chmury i cyklicznych miesięcznych subskrypcji.

Źródło: Design&Reuse

Polski portal branżowy dedykowany zagadnieniom elektroniki. Przeznaczony jest dla inżynierów i konstruktorów, projektantów hardware i programistów oraz dla studentów uczelni technicznych i miłośników elektroniki. Zaglądają tu właściciele startupów, dyrektorzy działów R&D, zarządzający średniego szczebla i prezesi dużych przedsiębiorstw. Oprócz artykułów technicznych, czytelnik znajdzie tu porady i pełne kursy przedmiotowe, informacje o trendach w elektronice, a także oferty pracy. Przeczyta wywiady, przejrzy aktualności z branży w kraju i na świecie oraz zadeklaruje swój udział w wydarzeniach, szkoleniach i konferencjach. Mikrokontroler.pl pełni również rolę patrona medialnego imprez targowych, konkursów, hackathonów i seminariów. Zapraszamy do współpracy!