Do obecności sztucznej inteligencji w codziennym życiu zdążyliśmy już przywyknąć. Sceptyków rzecz jasna nie brakuje – i słusznie, wątpliwości jest bowiem niemało, a wraz z opanowywaniem przez nią kolejnych przyczółków ich liczba zapewne będzie rosła. Niemniej jednak wielu z nas docenia wygodę, jaką zapewnia AI, i w ten czy inny sposób korzysta z niej w codziennych zadaniach, od pracy zawodowej po rozrywkę.

Nic więc dziwnego, że wyścig wielkich modeli językowych trwa, a choć coraz częściej padają pytania o to, czy aby nie jesteśmy świadkami pompowania kolejnej „bańki”, centra danych rozwijane i budowane na ich potrzeby potężnieją niemalże z dnia na dzień. Te gigantyczne serwerownie mają co robić, jako że wiele nawet relatywnie prostych zadań – czy prosimy AI o pomoc w zredagowaniu listu, czy o wygenerowanie obrazka – wciąż jest wykonywanych „w chmurze”. Krytyka ich dalszej rozbudowy, związana m.in. z kosztami środowiskowymi, narasta jednak już od pewnego czasu, warto więc zadać sobie pytanie, czy muszą one wykonywać wszystkie operacje, które powierzamy AI. Czy rzeczywiście każdy prompt i każde zadanie muszą pędzić światłowodem gdzieś do prądożernego molocha na drugim końcu świata?
 

Sztuczna inteligencja „na krawędzi”

Tu do gry wkracza Edge AI, czyli model polegający na realizowaniu niektórych zadań sztucznej inteligencji blisko źródła danych – czyli „na brzegu” sieci (ang. edge to brzeg; krawędź), a nie w jej centrum. Co to oznacza? Że zamiast przesyłać wszystkie dane na zewnątrz, można je przetworzyć bezpośrednio w urządzeniu, w którym powstają bądź są gromadzone, albo w pobliskim systemie obliczeniowym. No dobrze, pomyślisz być może, lecz przecież centra obliczeniowe AI nie bez powodu są takimi gigantami, co więc może zdziałać taka lokalna, sztuczna inteligencyjka? Okazuje się, że całkiem sporo: analizować dane i reagować na nie na bieżąco, rozpoznawać twarze i mowę, tłumaczyć tekst na żywo, usuwać szumy w dźwięku i obrazie w czasie rzeczywistym czy ułatwiać przeszukiwanie zasobów lokalnego urządzenia – a wszystko to bez konieczności przesyłania danych; ba, w wielu przypadkach nawet bez dostępu do internetu.
 

NPU – Nowy Piękny Układ

Możliwości te zapewne będą coraz większe dzięki rosnącej popularności procesorów wyposażonych w NPU (ang. Neural Processing Unit), czyli specjalny układ, którego struktura została zoptymalizowana pod kątem obliczeń AI. Jeśli jesteś równie (nie)młody jak ja, Czytelniku, może pamiętasz czasy pierwszych procesorów graficznych (GPU), dzięki którym możliwe stało się kreowanie wspaniałych przestrzennych światów w grach wideo (ach, to intro z Unreala na karcie 3dfx… uwierzysz, że od premiery minęło prawie 30 lat?). Tak jak GPU odciążył zwykły, wszechstronny procesor (CPU) w zadaniach związanych z grafiką, tak NPU – choć nie jest niezbędny, aby AI mogła działać – pozwala sprawniej realizować operacje związane z uczeniem maszynowym i sztuczną inteligencją. Układy z NPU trafiają już między innymi do smartfonów i laptopów, a chociaż ich obecność nie oznacza „darmowej” mocy obliczeniowej w sensie energetycznym, to w zadaniach, do których zostały zaprojektowane, są znacznie bardziej energooszczędne niż zwykłe CPU.
 

Zalety Edge AI

Lokalne przetwarzanie danych w modelu Edge AI ma swoje zalety. Na przykład, brak konieczności wysyłania wszystkich danych do chmury i oczekiwania na odpowiedź przekłada się na mniejsze opóźnienia (przez ten sentymentalny powrót do Unreala prawie napisałem: lagi). Cóż, gdybym miał kiedyś wsiąść do autonomicznego samochodu, wolałbym, aby sprawność reakcji elektronicznego szofera nie była uzależniona od fochów lokalnego internetu. Szybkość podejmowania decyzji ma też istotne znaczenie w wielu innych zastosowaniach, takich jak medycyna (aparatura monitorująca parametry życiowe) czy produkcja (bieżąca kontrola jakości i bezpieczeństwo).
 

A czy dzięki Edge AI możemy liczyć na odrobinę więcej prywatności? Przynajmniej teoretycznie – tak, co może stanowić kolejną zaletę. Sam fakt, że nie trzeba wysyłać i przechowywać w chmurze wszystkich wrażliwych danych – dokumentów, parametrów zdrowia, osobistych zdjęć – oznacza, że unikamy ryzyka ich wycieku podczas transferu czy wskutek włamania na serwer. Ostatecznie jednak to od producentów sprzętu i oprogramowania oraz (jak zwykle) od nas zależy, czy Edge AI sprawdzi się także na tym polu.
 

Okej, mam smartfona z NPU… czy to znaczy, że on jest jeszcze smartniejszy?

Pewnie! Choć trzeba wziąć poprawkę na kwestię skali. Owszem, da się lokalnie uruchamiać coraz bardziej zaawansowane modele językowe, lecz są one w naturalny sposób ograniczane przez pamięć i wydajność danego urządzenia. Innymi słowy, póki co nie schowamy najpotężniejszego modelu językowego do plecaka czy kieszeni i dlatego najbardziej wymagające zadania nadal często będą realizowane „z dala od brzegu”. Ale też nie musimy strzelać z armaty do każdej muchy. Sztuczne miniinteligencje mogą bez trudu sprawdzić się wszędzie tam, gdzie nie trzeba chatbota, który odpowie na prawie każde pytanie. W przypadku dronów wystarczy energooszczędny, wyspecjalizowany system, który rozpoznaje przeszkody i pomaga dobrać trasę lotu, a w przypadku sprzętu AGD – na przykład inteligentny kontroler stanu technicznego urządzenia (chyba że moja lodówka zechce ponarzekać jednemu z popularnych chatbotów: „Klaudiuszu, on znowu niezdrowo się odżywia!”). Wracając zaś do smartfonów, jednym z obiecujących kierunków w tym obszarze jest rozwój działających lokalnie agentów AI, o których wspominałem w jednym z wcześniejszych wpisów.
 

Edge AI nie oznacza zatem kresu rozwiązań chmurowych, a raczej ich uzupełnienie. Pozostaje mieć nadzieję, że model ten, dzięki przeniesieniu części obliczeń na urządzenia końcowe, choć trochę odciąży centra danych. Według Międzynarodowej Agencji Energetycznej w 2025 roku zużyły one na świecie około 485 TWh energii elektrycznej – mniej więcej tyle, ile wynosi jej roczna produkcja w Niemczech. Edge AI zapowiada też coraz szersze zastosowanie sztucznej inteligencji w urządzeniach, od których oczekujemy dużej autonomii. A że producenci elektroniki upatrują w NPU kolejnego sposobu na skuszenie nas do zakupów? Nihil novi, zmieniają się tylko akronimy ;–)