Szósty odcinek naszej serii, oparty na merytorycznych fundamentach trzeciego wydania książki Auréliena Gérona „Uczenie maszynowe z użyciem Scikit-Learn, Keras i TensorFlow”, zabiera nas w miejsce, gdzie sztuczna inteligencja przestaje tylko rozpoznawać świat, a zaczyna go… tworzyć. To chyba najbardziej „ludzki” i jednocześnie najbardziej niepokojący etap rozwoju AI. Wchodzimy w świat modeli generatywnych i uczenia przez wzmacnianie, gdzie algorytmy nie dostają gotowych odpowiedzi, lecz uczą się na własnych błędach lub próbują naśladować proces kreacji.

Sztuka tworzenia z niczego, czyli autokodery i GAN-y

Jak to możliwe, że matematyczny model potrafi wygenerować twarz osoby, która nigdy nie istniała? Jednym z klasycznych podejść, które Géron rozkłada na czynniki pierwsze, są autokodery. To fascynujące konstrukty, które najpierw ściskają dane do absolutnego minimum (tzw. wąskiego gardła), a potem próbują je odtworzyć. To trochę jak próba opisania obrazu za pomocą pięciu słów, a potem poproszenie kogoś innego, by na podstawie tych słów go namalował. Jeśli rekonstrukcja jest wierna, znaczy to, że model zrozumiał istotę danych.
 

Zupełnie inną dynamikę mają GAN-y, czyli generatywne sieci przeciwstawne. Ich koncepcja przypomina mi zabawę w policjantów i złodziei. Mamy generator, który produkuje „fałszywki”, i dyskryminator, który próbuje je wykryć. Obie sieci szkolą się nawzajem: generator staje się coraz lepszym „fałszerzem”, a dyskryminator coraz bardziej czujnym „detektywem”. Ta nieustanna rywalizacja prowadzi do powstania obrazów o niesamowitym poziomie realizmu. Choć, prawdę mówiąc, trenowanie GAN-ów to droga przez mękę - wystarczy chwila nieuwagi w ustawieniu parametrów, by cały system „osiadł” w jednym punkcie i zaczął produkować w kółko to samo.
 

Nowa fala: Modele dyfuzyjne i ich spokój

Wydaje mi się, że największym przełomem ostatnich lat, który Géron uwzględnił w tym wydaniu, są modele dyfuzyjne (DDPM). To one stoją za sukcesem narzędzi, które generują grafiki na żądanie. Mechanizm ich działania jest wręcz poetycki: bierzemy czysty szum i krok po kroku, bardzo powoli, usuwamy z niego chaos, aż wyłoni się konkretny obraz.
 

W porównaniu do kapryśnych GAN-ów, modele dyfuzyjne są znacznie bardziej stabilne, choć wymagają ogromnej cierpliwości i mocy obliczeniowej. Z drugiej strony, patrząc na to, jak szybko ewoluują, można odnieść wrażenie, że tradycyjne metody generowania treści odchodzą powoli do lamusa. Ciekawe jest to, jak te algorytmy „rozumieją” strukturę świata - nie tylko kopiują piksele, ale wydają się łapać głębsze zależności między obiektami.
 

Uczenie przez wzmacnianie – marchewka i kij

Na koniec zostawiłem sobie coś, co dla wielu jest esencją „prawdziwej” inteligencji: uczenie przez wzmacnianie (*Reinforcement Learning*). To zupełnie inna bajka niż to, o czym pisaliśmy wcześniej. Tutaj nie mamy etykiet ani gotowych wzorców. Mamy agenta, który zostaje wrzucony do nieznanego środowiska i musi sobie radzić.
 

  1. System nagród: Za każde dobre działanie agent dostaje „punkt”, za błąd - karę.
  2. Eksploracja vs eksploatacja: To odwieczny dylemat. Czy agent powinien próbować nowych, ryzykownych ścieżek, czy trzymać się tego, co już zna i co przynosi mu zysk?
  3. Biblioteka Gymnasium: Warto wspomnieć, że współczesne standardy, jak Gymnasium, pozwalają nam symulować te procesy w bezpiecznych, cyfrowych piaskownicach.
     

Swoją drogą, uczenie przez wzmacnianie to podstawa sukcesów AI w grach strategicznych czy sterowaniu robotami. To proces żmudny, czasem przypominający tresurę niesfornego zwierzęcia, ale efekt końcowy - gdy maszyna nagle „odkrywa” genialną strategię, na którą nie wpadłby żaden człowiek - jest absolutnie oszałamiający.
 

Refleksja nad twórczą maszyną

Patrząc na te wszystkie modele generatywne, można poczuć pewien dyskomfort. Czy to jeszcze jest „uczenie maszynowe”, czy już jakaś forma cyfrowej wyobraźni? Aurélien Géron w swojej książce twardo stąpa po ziemi, pokazując nam, że pod maską tych „cudów” nadal kryje się calculus, algebra liniowa i optymalizacja.
 

Wydaje mi się, że największą lekcją płynącą z tych rozdziałów jest to, że granica między twórcą a narzędziem staje się coraz bardziej rozmyta. Ale - i to jest to istotne „ale” - to my nadal decydujemy, jakie nagrody przyznawać agentowi i jakie dane służą za wzorzec dla generatora. Odpowiedzialność pozostaje po naszej stronie, nawet jeśli algorytm wydaje się żyć własnym życiem.
 

Czy próbowaliście już kiedyś wytrenować własny autokoder do usuwania szumu ze zdjęć, albo chociaż bawiliście się w uczenie agenta prostego ruchu w wirtualnym środowisku? To jedne z tych doświadczeń, które najbardziej zmieniają optykę na to, co tak naprawdę potrafi dzisiejsza technologia.
 

W ostatnim artykule naszej serii zajmiemy się czymś, co spina to wszystko w całość - wdrożeniem i monitoringiem, czyli jak sprawić, by te wszystkie fascynujące modele nie zostały tylko ciekawostką w notatniku, ale faktycznie zaczęły działać „na produkcji”.