Nowatorskie podejście startupu Neural Magic

Do wykonywania zadań związanych ze szkoleniem sztucznej inteligencji (SI) standardowo już wykorzystuje się procesory graficzne (GPU). Jak się jednak okazuje, także odpowiednio zaprogramowana jednostka centralna (CPU) może z powodzeniem służyć do głębokiego uczenia maszynowego. Odkrył to Nir Shavit, profesor w Massachusetts Institute Of Technology i dyrektor generalny startupu Neural Magic.

Bardziej dostępna sztuczna inteligencja?

Shavit pracował nad rekonstrukcją mapy mózgu myszy, do czego potrzebował wsparcia technologii głębokiego uczenia maszynowego. Ponieważ nie potrafił zaprogramować układu GPU, najczęściej używanego w modelach głębokiego uczenia, wybrał do tego celu jednostkę centralną, czyli układ występujący w każdym przeciętnym laptopie. W ten sposób doszedł do przekonania, że odpowiednio zaprogramowany CPU może być wykorzystywany do szkolenia sztucznej inteligencji.

Tym właśnie zajmuje się startup Neural Magic, który chce umożliwić każdej firmie wdrożenie modelu głębokiego uczenia maszynowego bez posiadania specjalistycznego sprzętu. Takie podejście może znacznie zwiększyć zakres wykorzystania technologii SI, m.in. dzięki obniżeniu kosztów procesu.

Wąskie gardło GPU

Procesory graficzne zyskały popularność jako narzędzia do szkolenia SI dzięki swojej konstrukcji. Setki prostych rdzeni, które mogą wykonywać wiele operacji jednocześnie, to doskonały sposób na skrócenie czasu tysięcy prostych obliczeń matematycznych prowadzonych w modelach głębokiego uczenia maszynowego.

Jak się jednak okazało, jednostki GPU mają też spore ograniczenia, jeśli chodzi o potrzeby procesu szkolenia SI. Przede wszystkim nie mogą działać jako samodzielny układ, ponieważ są w stanie przeprowadzić tylko niektóre rodzaje operacji obliczeniowych. Trzeba je więc podłączać do procesorów centralnych, by obsłużyć pozostałe wymagane obliczenia. Poza tym mają one ograniczoną pamięć podręczną, co sprawia, że większość danych jest przechowywana poza układem i na czas przetwarzania trzeba je odzyskać. To zaś powoduje intensywny przepływ danych tam i z powrotem, co oznacza wąskie gardło w obliczeniach i obniżenie szybkości działania algorytmów.

Jednostki centralne o prędkości GPU

Wiele firm pracuje nad układami SI, które omijają wspomniane ograniczenia, ale zdecydowana większość propozycji wiąże się z koniecznością posiadania bardzo drogiego sprzętu. Neural Magic nie poszedł w tę stronę, ale postanowił zmodyfikować oprogramowanie. Przeprojektowane algorytmy głębokiego uczenia mają wydajniej działać na CPU dzięki wykorzystaniu ich dużej pamięci i bardziej złożonych rdzeni.

Utrata prędkości względem procesorów graficznych, które mogą wykonywać wiele operacji równolegle, jest rekompensowana poprzez wyeliminowanie etapu przesyłania danych poza układ. Jak twierdzi firma, zaprojektowane przez nią algorytmy głębokiego uczenia działają na jednostkach centralnych z prędkością GPU, a przy tym są dużo tańsze niż technologie stosowane dotychczas.

Nie wiadomo jeszcze, czy pomysł Neural Magic spotka się z na tyle dużym zainteresowaniem, by technologię tę dało się rozwinąć i rozpowszechnić. Firma dotychczas testowała swój produkt we współpracy z kilkoma przedsiębiorstwami, zajmującymi się m.in. komputerowymi systemami wizyjnymi oraz kamerami bezpieczeństwa.

fot. 123RF