Błyskawiczny rozwój technologii GPU firmy NVIDIA w zakresie akceleracji sztucznej inteligencji zafascynował świat, a przy okazji przyczynił się do powstania uporczywych mitów. Niniejszy artykuł, napisany przez Lauro Rizzatti i opublikowany na portalu ElectronicDesign rozprawia się z 11 najczęstszymi błędnymi przekonaniami na temat procesorów AI.

Sztuczna inteligencja szturmem zdobyła świat, a integracja akceleratorów i procesorów AI z aplikacjami staje się coraz bardziej powszechna. Wciąż jednak istnieje wiele mitów na temat tego, czym one są, jak działają, w jaki sposób mogą ulepszać aplikacje i co jest prawdziwe, a co nie.

Źródło: Freepik

MIT 1: Układy GPU są najlepszymi procesorami AI

Choć układy GPU odegrały kluczową rolę w rozwoju sztucznej inteligencji (AI) i są dziś wszechobecne, promowanie ich jako „najlepszych” procesorów AI nadmiernie upraszcza ewoluujący krajobraz sprzętu AI.

Układy GPU doskonale nadają się do uczenia modeli na dużą skalę, gdzie ogromna przepustowość – duża pojemność pamięci i wysoka precyzja – są niezbędne do dokładnego przetwarzania obszernych zbiorów danych. Wady, takie jak długi czas przetwarzania, prawdopodobnie w zakresie miesięcy, niska wydajność, często jednocyfrowa, znaczne zużycie energii, które stwarza ograniczenia związane z chłodzeniem i znaczne opóźnienia, są drugorzędnymi obawami.

W miarę jak dziedzina ta dojrzewa, pojęcie „najlepsze” jest coraz częściej definiowane przez tryby i potrzeby aplikacji. Układy GPU były właściwą odpowiedzią, dopóki nie okazały się jedyną.

MIT 2: Procesory AI działają równie dobrze przy szkoleniu i wnioskowaniu

Powszechnie zakłada się, że każdy procesor zoptymalizowany pod kątem sztucznej inteligencji może płynnie obsługiwać zarówno uczenie, jak i wnioskowanie. W rzeczywistości trening i wnioskowanie mają zasadniczo różne wymagania w zakresie obliczeń, wydajności, pamięci, opóźnień, mocy i precyzji.

Zaprojektowanie procesora, który doskonale radzi sobie z jednym z nich, nie oznacza automatycznie, że będzie on dobrze radził sobie z drugim. Każdy z dwóch etapów wdrożenia wymaga odrębnych celów obliczeniowych i potrzeb sprzętowych. Trening polega na uczeniu się z precyzją i skalą; wnioskowanie dotyczy szybkości, wydajności i szybkości reakcji.

Przekonanie, że jeden układ scalony może równie dobrze wykonywać oba zadania, prowadzi do niskiej wydajności, nieefektywności i utraconych możliwości optymalizacji. Najlepsze systemy rozdzielają te dwie funkcje i odpowiednio je optymalizują.

MIT 3: Procesory AI są przydatne tylko w centrach danych

We wczesnych dniach wdrażania sztucznej inteligencji, gdy rozmiary modeli wymagały ogromnej przepustowości, tylko centra danych w chmurze dysponowały infrastrukturą obliczeniową do trenowania i uruchamiania modeli uczenia głębokiego.

W dzisiejszym krajobrazie, gdy wnioskowanie staje się wszechobecne, procesory AI są coraz częściej wdrażane w szerokim zakresie środowisk poza centrum danych, od urządzeń brzegowych i telefonów komórkowych po pojazdy i systemy przemysłowe.

Obecnie procesory AI są wbudowane w urządzenia wokół nas, umożliwiając inteligentniejsze interakcje, autonomiczne podejmowanie decyzji i przetwarzanie w czasie rzeczywistym tam, gdzie jest to najbardziej potrzebne. Sztuczna inteligencja jest teraz wszędzie, od chmury po urządzenia brzegowe.

MIT 4: Wszystkie procesory AI mogą być wykorzystywane w aplikacjach ogólnego przeznaczenia

Procesory AI są wyspecjalizowane do charakterystycznych zadań, takich jak optymalizacja operacji na macierzach/tensorach. W przeciwieństwie do tego, obliczenia ogólnego przeznaczenia, takie jak uruchamianie przeglądarki internetowej, zarządzanie systemem operacyjnym lub wykonywanie kompresji plików, wymagają złożonego przepływu sterowania, rozgałęzień itp.

Ogólnie rzecz biorąc, architektury procesorów AI nie implementują pełnej architektury zestawu instrukcji ogólnego przeznaczenia (ISA) ani nawet architektury zredukowanego zestawu instrukcji (RISC). Bez bogatego ISA i solidnego wsparcia kompilatora nie mogą one wydajnie obsługiwać aplikacji innych niż AI. Procesory AI doskonale radzą sobie z tym, do czego zostały zaprojektowane, ale nie są uniwersalnymi zamiennikami procesorów ogólnego przeznaczenia. Przekonanie, że jest inaczej, może prowadzić do złego zaprojektowania systemu, zmarnowanych inwestycji i wąskich gardeł wydajności w aplikacjach innych niż SI.

MIT 5: Więcej TOPS oznacza lepszą wydajność

TOPS (teraoperacje na sekundę) jest często używany jako wskaźnik marketingowy dla procesorów AI, ale nie odzwierciedla rzeczywistej wydajności. Chociaż mierzy on teoretyczną szczytową przepustowość w idealnych warunkach (np. 100% wykorzystania wszystkich jednostek obliczeniowych) układu AI, nie mówi nic o tym, jak efektywnie ta wydajność jest wykorzystywana w rzeczywistych obciążeniach. TOPS może być zawyżony przez użycie operacji o niższej precyzji (np. INT4 lub INT8 zamiast FP16 lub FP32).

Chip może mieć wysoki TOPS, ale jeśli dane nie mogą szybko dotrzeć do jednostek obliczeniowych, potencjał TOPS jest marnowany. Co więcej, architektura może mieć ogromny potencjał obliczeniowy, ale osiągać gorsze wyniki, jeśli ekosystem oprogramowania jest niedojrzały lub źle dostrojony.

Wreszcie, różne zadania sztucznej inteligencji wymagają różnych cech. Modele wizyjne mogą korzystać z wysokiej równoległości (gdzie TOPS pomaga), ale transformatory generatywne wymagają wysokiej przepustowości pamięci, spójności pamięci podręcznej i ponownego wykorzystania danych – a nie surowego TOPS.

TOPS to teoretyczny pułap, a nie gwarancja wydajności. To tak, jakby oceniać samochód na podstawie jego maksymalnej prędkości bez uwzględnienia warunków drogowych, zużycia paliwa czy prowadzenia. Prawdziwa wydajność sztucznej inteligencji jest podyktowana równowagą architektury, stosem oprogramowania, wydajnością przepływu danych i kompatybilnością modelu, a nie tylko surowymi danymi obliczeniowymi.

MIT 6: Większe układy z większą liczbą rdzeni zawsze działają lepiej

Na pierwszy rzut oka wydaje się, że większy układ z większą liczbą rdzeni obliczeniowych powinien zapewniać lepszą wydajność. W rzeczywistości skalowanie obszaru krzemowego i liczby rdzeni wprowadza znaczne malejące zyski, a w wielu przypadkach nawet pogarsza wydajność, efektywność lub użyteczność.

Obciążenia związane ze sztuczną inteligencją nie zawsze skalują się liniowo wraz z liczbą rdzeni. Większe układy potrzebują wyższej przepustowości pamięci do zasilania swoich jednostek obliczeniowych i wymagają dłuższych przewodów i bardziej złożonych połączeń. Prowadzi to do przeciążenia routingu i wyższego zużycia energii.

Wydajność nie skaluje się liniowo wraz z rozmiarem układu lub liczbą rdzeni. Większe chipy wprowadzają kompromisy inżynieryjne, architektoniczne i ekonomiczne, które mogą zniweczyć ich teoretyczną przewagę.

W sprzęcie AI wydajność, przepływ danych, optymalizacja oprogramowania i dostosowanie zadań często przewyższają surowy rozmiar. Najlepszy chip to nie ten największy, ale raczej ten najbardziej zrównoważony dla danego zadania.

MIT 7: FP32 jest złotym standardem dla obliczeń AI

We wczesnych dniach szkolenia i wnioskowania w głębokim uczeniu, domyślnym formatem był FP32 (32-bitowy zmiennoprzecinkowy). Wraz z rozwojem technologii AI, obciążenia AI porzuciły FP32 na rzecz formatów o niższej precyzji, takich jak FP16, INT16 lub INT8.

Przekonanie, że FP32 jest nadal złotym standardem, pomija ogromną poprawę wydajności, wydajności i dokładności przy użyciu alternatyw o niższej precyzji. W rzeczywistości niższa precyzja może dorównać lub przewyższyć dokładność FP32 dzięki technikom takim jak uczenie z uwzględnieniem kwantyzacji i uczenie z mieszaną precyzją. Modele mogą często utrzymywać praktycznie identyczną dokładność przy użyciu FP16 lub FP8.

Tak więc FP32 nie jest już złotym standardem. Dzisiejszy trend odchodzi od INT na rzecz FP, a niektórzy opowiadają się nawet za FP4.

Obliczenia AI opierają się na optymalizacji precyzji, a nie maksymalnej szerokości bitów. Najlepsza wydajność i efektywność wynika z wyboru odpowiedniej precyzji do zadania, a nie najbardziej precyzyjnego dostępnego formatu.

MIT 8: Przetwarzanie w trybie rzadkości ma pierwszeństwo przed trybem gęstości

Obliczenia rzadkie mogą wydawać się korzystne w porównaniu z gęstym opracowaniem. Pozwala to uniknąć przetwarzania elementów o zerowej wartości w tensorach (wag, aktywacji, a nawet danych) w celu zmniejszenia zużycia mocy obliczeniowej, pamięci i energii oraz poprawy wydajności bez poświęcania dokładności modelu.

Faktem jest, że tryb rzadkości jest wysoce zależny od struktury modelu, wzorców danych i możliwości sprzętowych. Nie jest optymalizacją uniwersalną i nie jest lepszy od gęstych obliczeń. Mówiąc prościej, jest to optymalizacja warunkowa.

Tryb gęsty pozostaje domyślny w wielu przypadkach, ponieważ jest dojrzały, przewidywalny i szeroko kompatybilny. Rzadkość to potężne narzędzie, ale tylko we właściwym kontekście i z odpowiednim wsparciem.

MIT 9: Wydajne obliczenia skalarne to wszystko, czego potrzeba do przetwarzania AI

Obliczenia skalarne, definiowane jako przetwarzanie jednej operacji na raz, na pojedynczych elementach danych, odgrywają ważną rolę w logice sterowania i orkiestracji. Nie są one jednak w stanie sprostać wymaganiom nowoczesnej sztucznej inteligencji w zakresie wydajności i efektywności.

Chociaż obliczenia skalarne są niezbędne, nie są one wystarczające do przetwarzania AI. Wymagania sztucznej inteligencji wymagają obliczeń równoległych, wektorowych i akcelerowanych macierzowo, najlepiej obsługiwanych przez niestandardowy sprzęt zaprojektowany do masowych, współbieżnych obciążeń.

MIT 10: Wydajność przetwarzania można osiągnąć wyłącznie dzięki zaawansowanej architekturze chipletów

Projektowanie oparte na chipletach oferuje kilka korzyści. Między innymi zapewnia wyższą wydajność i niższe koszty, ponieważ mniejsze matryce są łatwiejsze w produkcji. Skutkuje to modułową skalowalnością, umożliwiając mieszanie i dopasowywanie funkcji, takich jak procesory CPU, GPU i akceleratory. Ponadto, efektywniej rozprowadza ciepło i moc w całym układzie. Łączne korzyści często stwarzają wrażenie, że wydajność, zwłaszcza w przeliczeniu na wat, jest wynikiem wbudowanym.

Podczas gdy technologia chipletów jest cennym narzędziem skalowalności i integracji, prawdziwa wydajność przetwarzania wymaga całkowicie nowej architektury sprzętowo-programowej zaprojektowanej dla obciążeń AI. Plan ten powinien obejmować innowacyjną architekturę pamięci, aby pokonać ścianę pamięci, dynamicznie rekonfigurowalne rdzenie obliczeniowe dostosowane do wymagań algorytmicznych aplikacji AI oraz nadrzędny projekt mający na celu uproszczenie stosu oprogramowania.

W przypadku braku powyższych rozwiązań, same chiplety nie zapewnią oczekiwanych korzyści.

MIT 11: CUDA jest oprogramowaniem referencyjnym dla procesorów AI

Chociaż architektura Compute Unified Device Architecture (CUDA) firmy NVIDIA stała się dominującym standardem dla rozwoju sztucznej inteligencji, nie jest to uniwersalne odniesienie. Przekonanie, że CUDA jest punktem odniesienia lub wymaganym interfejsem dla wszystkich procesorów AI, ignoruje różnorodność architektur sprzętowych i ekosystemów oprogramowania pojawiających się obecnie.

CUDA jest dominującym narzędziem dla ekosystemu jednego producenta. Szersza branża sztucznej inteligencji ewoluuje w kierunku otwartych, elastycznych i niezależnych od sprzętu ram oprogramowania. CUDA pozostaje ważna, ale jej przewaga jest coraz bardziej kwestionowana przez potrzebę przenośności, interoperacyjności i swobody wyboru sprzętu. Przyszłość sztucznej inteligencji nie jest związana z jednym zestawem oprogramowania (SDK). Jest raczej wielojęzyczna, open source i platformowa.

Źródło: ElectronicDesign