Projekt okładki i stron tytułowych
Małgorzata Smogorzewska

Wydawca
Dorota Siudowska-Mieszkowska

Koordynator ds. redakcji
Renata Ziółkowska

Redakcja
Paweł Wielopolski

Korekta
Bożena Sigismund, Janusz Sigismund

Koordynator produkcji
Mariola Iwona Keppel

Opinia merytoryczna
Prof. dr hab. Jerzy Korczak

Skład wersji elektronicznej na zlecenie Wydawnictwa Naukowego PWN
Katarzyna Ossowska/Woblink

Książka, którą nabyłeś, jest dziełem twórcy i wydawcy. Prosimy, abyś przestrzegał praw, jakie im przysługują. Jej zawartość możesz udostępnić nieodpłatnie osobom bliskim lub osobiście znanym. Ale nie publikuj jej w internecie. Jeśli cytujesz jej fragmenty, nie zmieniaj ich treści i koniecznie zaznacz, czyje to dzieło. A kopiując jej część, rób to jedynie na użytek osobisty.

Szanujmy cudzą własność i prawo.
Więcej na www.legalnakultura.pl
Polska Izba Książki

Copyright © by Wydawnictwo Naukowe PWN SA
Warszawa 2021

ISBN 978-83-01-21716-7

eBook został przygotowany na podstawie wydania papierowego z 2021 r., (wyd. I)
Warszawa 2021

Wydawnictwo Naukowe PWN SA
02-460 Warszawa, ul. Gottlieba Daimlera 2
tel. 22 69 54 321, faks 22 69 54 288
infolinia 801 33 33 88
e-mail: pwn@pwn.com.pl; reklama@pwn.pl
www.pwn.pl

Spis treści

WPROWADZENIE

NOTA BIBLIOGRAFICZNA

UCZENIE MASZYNOWE

Podstawowe pojęcia i koncepcje

Inteligencja maszyn

Uczenie maszynowe a programowanie

Metody nauczania maszynowego

Nauczanie ze wzmocnieniem jako fundament systemów autonomicznych

Agent, jego otoczenie, działania, obserwacje i nagrody

Uczenie się przez interakcje

Kluczowe metody i algorytmy nauczania ze wzmocnieniem

Wyzwania

Samouczące się, autonomiczne systemy we współczesnym świecie

Podsumowanie

WPŁYW SYSTEMÓW AUTONOMICZNYCH NA TECHNOLOGIE, PROCESY I BRANŻE

Technologie leżące u podstaw systemów autonomicznych

Wprowadzenie

Zmysły, percepcja i świadomość sytuacyjna

Komunikacja

Trenowanie, uczenie się i symulacje

Cyberbezpieczeństwo

Zarządzanie flotą

Platformy do tworzenia kompleksowych rozwiązań

Zastosowania systemów samouczących się w kluczowych procesach biznesowych

Zarządzanie aktywami

Produkcja

Logistyka

Marketing i sprzedaż

Technologie informatyczne i komunikacyjne

Podsumowanie

Potencjalny wpływ na branże

Produkcja, budownictwo i branża samochodowa

Transport

Rolnictwo

Sektor wydobywczy i energetyczny

Marketing

Handel detaliczny

Ubezpieczenia, usługi finansowe i bankowość

Opieka zdrowotna

Sektor publiczny

Podsumowanie

AUTONOMICZNE, SAMOUCZĄCE SIĘ SYSTEMY W GENEROWANIU WARTOŚCI

Praktyczne aspekty i dobre praktyki wdrożeń systemów autonomicznych

Inicjacja

Wdrożenie

Utrwalenie zmiany

Korzyści z wdrożeń systemów inteligentnych

Generowanie przychodów

Redukcja kosztów

Minimalizacja ryzyka

Model generowania wartości

Generowanie wartości przez systemy SI

AiR Management: metoda projektowania uzasadnienia biznesowego oraz strategii wdrożeń systemów autonomicznych

TRENDY ROZWOJU

Możliwy wpływ technologii autonomicznych na organizacje, rynki i ludzi

Rozproszona SI

Sieci poznawcze

Nowe kompetencje

Wpływ SI na rolę człowieka w organizacji

Horyzonty badań i inspiracje na przyszłość

Badania podstawowe

Badania stosowane

Zarządzanie i nauki o społeczeństwie

PODSUMOWANIE

ZAŁĄCZNIK

BIBLIOGRAFIA

O AUTORZE

PRZYPISY

WPROWADZENIE

Jednym ze źródeł przewagi konkurencyjnej ludzi nad zwierzętami są zdolności zaawansowanej komunikacji i abstrakcyjnego myślenia. Dzięki temu możemy nie tylko wspólnie (w zespołach) realizować złożone zadania, ale też przekazywać skumulowane przez lata doświadczenia i wiedzę swoim dzieciom i innym członkom społeczności. Wiedza ta jest z kolei kluczowym czynnikiem postępu: im więcej jej mamy i im lepiej ją wykorzystujemy, tym szybciej się rozwijamy.

Tysiące lat tradycji pozwoliły ludziom opracować wiele efektywnych metod transferu wiedzy, w szczególności nauczania. Mają one jednak wiele ograniczeń: są czasochłonne, a ich efekty zależą od poziomu zdolności i motywacji poszczególnych osób. Mimo to dynamika rozwoju społeczeństw, zarówno w wymiarze technologicznym, jak i ekonomicznym (dobrobyt) czy społecznym (poziom edukacji, zdrowie czy systemy wartości) jest ogromna.

Wyobraźmy sobie teraz struktury, które 1) dysponują możliwościami gromadzenia i przetwarzania zdecydowanie większych ilości danych z dużo szerszego spektrum różnych bodźców niż ludzie, 2) potrafią odzyskiwać z nich wartościową wiedzę i uczyć się na podstawie pozyskanego doświadczenia oraz 3) błyskawicznie i bezbłędnie transferować je do wszystkich członków swojej społeczności. W momencie gdy jeden z tysięcy elementów tej struktury posiądzie jakąś umiejętność, wszyscy inni członkowie będą mieli również do niej dostęp. Gdy zaś ktoś popełni błąd w określonej sytuacji i znajdzie sposób na jego eliminację – inni również opanują taką umiejętność. W jakim tempie będzie się rozwijać taka struktura? Jak szybko i w jakim kierunku wyewoluuje?

Sztuczna inteligencja (dalej: SI) od lat pobudza wyobraźnię, nie tylko pisarzy science fiction, ale też menedżerów. Z jednej strony budzi wiele nadziei, z drugiej strony jest często demonizowana. Optymiści widzą w niej szansę na coraz szybszy rozwój, coraz niższe koszty wytwarzania produktów czy poprawę bezpieczeństwa, pesymiści obawiają się likwidacji miejsc pracy, uzależnienia od technologii, osłabienia umiejętności poznawczych, przejęcia kontroli nad światem przez osoby dysponujące technologiami inteligentnymi, a potem przejęcia kontroli nad ludźmi przez samą SI. Badacze zaś poszukują nowych metod i struktur generowania wartości, zarówno w organizacjach, jak i ich sieciach.

Doświadczenia autora pokazują, że wielu menedżerów oraz właścicieli średnich i dużych firm jest otwarta (a nierzadko zdeterminowana) na wdrożenie takich rozwiązań, dysponuje odpowiednimi środkami, nie potrafi jednak stworzyć portfela projektów w racjonalny sposób wykorzystujących sztuczną inteligencję do wygenerowania wartości biznesowej w krótkim, średnim i dłuższym horyzoncie czasowym. Z kolei na rynkach lokalnych i globalnych funkcjonuje wielu dostawców oferujących takie systemy (lub komponenty niezbędne do ich stworzenia), zarówno dojrzałych firm, jak i wchodzących na rynek startupów. Sytuację komplikuje bardzo dynamiczny rozwój branży oraz metod i technologii leżących u podstaw systemów autonomicznych. Przypomina to nieco krajobraz zintegrowanych systemów informatycznych kilkadziesiąt lat temu: choć technologie były już wtedy dostępne i panował na nie popyt, to jednak brakowało sprawdzonych metod formułowania uzasadnień biznesowych i doświadczonych zespołów potrafiących je skutecznie wdrażać.

Aby odkryć i skutecznie wykorzystać potencjał jakiegoś systemu, trzeba albo go w pełni rozumieć, albo intuicyjnie domyślać się, jak działa. Pozwala to dostrzec zarówno możliwości (jawnie eksponowane, np. w ofercie dostawcy czy przypadkach użycia, oraz zupełnie nowe), jak i ograniczenia rozwiązania. Dzięki temu jest też łatwiej wyobrazić sobie w horyzoncie czasowym przebieg implementowania nowoczesnych rozwiązań i niezbędne ku temu zasoby (ludzkie, finansowe, infrastrukturalne). Głębsza intuicja, połączona z doświadczeniem i znajomością branży, pomaga też zidentyfikować możliwy wpływ danej technologii na rynki oraz przyszłe trendy.

Celem rozdziału 1 jest wprowadzenie czytelnika w podstawowe metody leżące u podstaw systemów autonomicznych. Na początku zostaną przedstawione metody sztucznej inteligencji i uczenia maszynowego, idee ich działania oraz potencjalne zastosowania. Potem szczegółowo zostaną przybliżone techniki umożliwiające inteligentnym systemom uczenie się przez interakcje z otoczeniem. Zbiór tych metod, określany jako nauczanie ze wzmocnieniem (Reinforcement Learning), leży u podstaw wielu współczesnych systemów inteligentnych – intuicja podstawowych idei z tego obszaru jest bardzo użyteczna w zrozumieniu możliwości i ograniczeń rozwiązań autonomicznych. Rozdział 1 zamyka zestawienie różnych definicji autonomii systemów stosowanych w praktyce, będąc w ten sposób wprowadzeniem do kolejnych części tej pracy.

Jak już zasygnalizowano, niniejsza książka jest próbą stworzenia w miarę możliwości uniwersalnego modelu generowania wartości organizacji na podstawie potencjału technologii autonomicznych. Decydenci (liderzy, menedżerowie, właściciele) firm, z którymi współpracowałem, mieli najczęściej dwie potrzeby: 1) identyfikacji zaawansowanych technologii, które w najlepszy możliwy sposób pomogłyby im osiągnąć już zdefiniowane w strategiach cele; oraz 2) wsparcia w modyfikacji tych strategii, tak by jak najlepiej wykorzystać potencjał AI i przygotować się na ewentualne zmiany (np. na rynkach czy w otoczeniu konkurencyjnym). Nawet dysponując wiedzą o różnych, opisanych np. w literaturze naukowej, modelach generowania wartości, osoba próbująca zaspokoić obie te potrzeby powinna znać praktyczne zastosowania technologii inteligentnych, jeśli nie w całej branży, to przynajmniej w zbliżonych organizacjach.

Jest to jeden z powodów, dla których tak dużą część niniejszej książki (cały rozdział 2) poświęcono realnym przykładom zastosowania SI w praktyce. W pierwszej kolejności przedstawiono najważniejsze technologie stosowane w systemach inteligentnych. Dalej zaprezentowano dziesiątki zastosowań SI w różnych obszarach funkcyjnych organizacji: logistyce, produkcji, marketingu, sprzedaży czy obsłudze klienta. Na końcu zaś opisano możliwy wpływ na różne branże.

Zgromadzony w ten sposób materiał faktograficzny stał się podstawą do identyfikacji najlepszych praktyk wdrożeń systemów inteligentnych, uporządkowania możliwych wartości, które mogą dostarczać, i propozycji metody opracowania strategii wdrożeń takich rozwiązań opartych na podstawie analogicznych procesów zarządzania zasobami ludzkimi. Wnioski te, przedstawione w rozdziale 3, pomagają osiągnąć główny cel niniejszego opracowania: pomóc menedżerom w uporządkowany i efektywny sposób odzyskiwać wartość z systemów inteligentnych oraz utrwalać odpowiednie zmiany w organizacjach.

W rozdziale 4 przedstawiono trendy rozwoju: możliwy wpływ technologii autonomicznych na rynki, koncepcje systemów rozproszonej SI (Distributed AI, DAI) i sieci poznawczych oraz, często pasjonujące, badania prowadzone w instytutach badawczych i laboratoriach firm. Część z tych idei może wyznaczyć trendy rozwoju technologii w przyszłości i pomóc ukształtować nową branżę systemów, które nie tylko są autonomiczne, ale też potrafią się w ciągły sposób uczyć i udoskonalać.

Mamy nadzieję, że książka ta pomoże liderom w racjonalnym sformułowaniu uzasadnienia biznesowego dla autonomicznych produktów i usług, decydentom i inwestorom w ocenie potencjału biznesowego nowych autonomicznych projektów, zaś przedstawiciele środowisk naukowych znajdą w niej inspirację do przyszłych badań.

NOTA BIBLIOGRAFICZNA

Osoby zainteresowane pogłębieniem wiedzy z zakresu metod i technik sztucznej inteligencji zachęcamy przede wszystkim do lektury podręczników z tego zakresu. Jednym z lepszych, gruntownych opracowań jest pozycja autorstwa Stuarta Russella i innych (2010). W tej wymagającej pozycji, z solidnym fundamentem matematycznym, autorzy opisali zarówno metody tzw. Good Old Fashioned AI (GOFAI), jak i najnowsze rozwiązania z obszaru uczenia maszynowego czy Deep Learning. Wartościowe intuicje z zakresu uczenia maszynowego można znaleźć też w opracowaniach Auréliena Gérona (2019), Iana H. Wittena i innych (2017) oraz Iana Goodfellowa i innych (2016). Fundamenty metod nauczania ze wzmocnieniem są szczegółowo przedstawione w pracy Richarda Suttona i Andrew Barto (2017), zaś implementacje praktyczne (wraz z algorytmami i fragmentami oprogramowania, ale też świetnym wglądem intuicyjnym) w książce Miguela Moralesa (2020) i Maxima Lapana (2020).

Rozdział 2 oparty jest w głównej mierze na studiach przypadku. W pierwszym kroku zidentyfikowano ponad pięćset firm oferujących lub wykorzystujących inteligentne, autonomiczne systemy, korzystając w tym celu z takich serwisów jak: index.co czy Crunchbase, oraz różnych raportów rynkowych (np. Gartnera czy dużych firm doradczych). W kolejnym kroku dokonano wstępnej analizy tych przedsięwzięć, co zaowocowało wyborem 186 z nich (por. Załącznik). Następnie przeanalizowano je pod kątem wykorzystywanych technologii, spektrum zastosowań i wartości oferowanej oraz uporządkowano w odpowiednie kategorie (obszary funkcyjne organizacji i branże). W podsumowaniu i uporządkowaniu wartości generowanych przez systemy inteligentne (rozdział 3) pomocne okazały się zaś treści prezentowane przez dostawców platform Data Science, takich jak: DataRobot, RapidMiner, H2O czy Dataiku.

Rozdział 4 zawiera wiele referencji do aktualnych badań naukowych z obszaru systemów autonomicznych i inteligentnych prezentowanych na konferencjach, takich jak np. Neural Information Processing Systems: NeurIPS. Pomocne okazały się też wyniki badań prezentowanych przez DeepMind (2020), publikowane w takich periodykach jak „Nature” czy „Science”.

UCZENIE MASZYNOWE

Podstawowe pojęcia i koncepcje

Inteligencja maszyn

Główną bohaterką tej książki jest sztuczna inteligencja (Artificial Intelligence, AI). Pierwszy człon tego określenia jest stosunkowo prosty do zdefiniowania: ‘sztuczna’ oznacza ‘stworzona przez człowieka’. Oczywiście sprawa komplikuje się przy próbie dookreślenia takich szczegółów jak: forma, fizyczna lokalizacja czy architektura tego tworu. W kolejnych rozdziałach książki pokażę, że obecnie systemy inteligentne są programami komputerowymi uruchomionymi na urządzeniach wykorzystujących krzemowe układy scalone. Mogą one pracować „samodzielnie”, korzystać z usług inteligentnych udostępnianych zdalnie (np. w modelu obliczeń w tzw. chmurze [Cloud Computing]) bądź też tworzyć z innymi obiektami struktury sieciowe.

Te na pierwszy rzut oka trywialne obserwacje nie są wcale takie oczywiste. Zaawansowane obliczenia komputerowe mogą być już realizowane przez komputery kwantowe (czyli zupełnie inne niż obecne układy scalone), dane zapisywane w kodzie DNA (a nie cyfrowych układach pamięci), zaś obliczenia uruchamiane w strukturach białkowych (i nie mówimy tu o mózgach zwierząt). Jak widać, jest wiele możliwych sposobów implementacji inteligencji – więcej o tym w opracowaniu Nicka Bostroma (2014).

Dużo trudniejsze do zdefiniowania jest pojęcie inteligencji. Ma ono wiele różnych definicji, w większości przypadków wywodzących się z psychologii. Od lat marzeniem człowieka było stworzenie struktur, które mogłyby go wspomóc czy zastąpić w rozwiązywaniu różnych życiowych problemów. Jednym ze źródeł przewag konkurencyjnych człowieka nad innymi zwierzętami była umiejętność korzystania z narzędzi – przedmiotów podnoszących jego potencjał, np. siłę czy szybkość. Z czasem narzędzia przerodziły się w maszyny – nadal wszystko sprowadzało się jednak do aktywności fizycznych.

Rozwój wyższych funkcji poznawczych, w szczególności formułowania złożonych celów, opracowywania strategii ich realizacji i planowania odpowiednich działań zainspirował człowieka do poszukiwania metod podnoszących jego potencjał również w tych obszarach aktywności (czyli już nie tylko fizycznych, ale też umysłowych). Pewnym „prototypem” maszyn w tym zakresie były twierdzenia i algorytmy matematyczne pomagające (dzięki abstrakcji) sprowadzać na pozór różne problemy do pewnej wspólnej ich klasy, po czym stosunkowo prosto je rozwiązywać (np. wykorzystanie praw geometrii w drążeniu tunelu Eupalinos w starożytnej Grecji). Kolejnym naturalnym krokiem była „implementacja” tych abstrakcyjnych do tej pory algorytmów w urządzeniach fizycznych: prostych (jak np. abakus) czy bardziej złożonych (jak maszyna różniczkująca Babbage’a) (por. Davis 1949).

Rozwój algorytmów poszerzał grupę problemów, które można było z ich wykorzystaniem rozwiązywać, co z jednej strony stymulowało wzrost zapotrzebowania na coraz doskonalsze maszyny obliczeniowe, z drugiej zaś generowało kolejne problemy. Stosunkowo szybko w pewnych bardzo wąskich obszarach (np. obliczeniach arytmetycznych) urządzenia mechaniczne osiągnęły większą sprawność od ludzi. Popularyzacja komputerów, w szczególności ich udostępnienie coraz szerszej grupie programistów, drastycznie poszerzyła spektrum problemów, które mogą rozwiązywać urządzenia stworzone przez człowieka – co zainspirowało ludzi do refleksji nad inteligencją maszyn.

Przed podjęciem próby zdefiniowania inteligencji przyjrzyjmy się bliżej problemom, których rozwiązania możemy oczekiwać od inteligentnych maszyn. Wykorzystamy w tym celu klasyfikację Norviga i Russella przedstawioną w ich fundamentalnym podręczniku z zakresu sztucznej inteligencji (Russell i inni 2010).

Zacznijmy od cech środowiska, w którym może działać nasza maszyna. W trakcie realizacji zadania środowisko może być statyczne lub dynamiczne[1]. Jeśli stan otoczenia zależy wyłącznie od działania maszyny, wtedy mówi się, że jest on deterministyczny; jeżeli zaś na stan otoczenia wpływają czynniki niezależne od jej decyzji, to jest to środowisko stochastyczne. Otoczenie może być też dyskretne (opisywane zmiennymi o skończonej liczbie wartości) lub ciągłe. Rozróżnienie to jest bardzo istotne z perspektywy obliczeniowej: w świecie o nieskończonej liczbie opcji wyboru system musi mieć zdolność do uogólniania. Na koniec nasza maszyna (często zwana też agentem) może w danym otoczeniu działać samodzielnie bądź mogą jej towarzyszyć inne „byty” (zarówno maszyny, jak i zwierzęta czy ludzie) – w takim przypadku mówimy o środowiskach wieloagentowych.

Kolejny podział jest związany z wiedzą o otoczeniu. Agent może znać reguły i prawa działające w danym świecie (jak np. w grach planszowych) bądź ich nie znać (jak w życiu). Innym aspektem wiedzy o środowisku jest dostęp do informacji o jego stanie: agent może mieć pełną wiedzę o stanie otoczenia, mieć jedynie cząstkową wiedzę bądź nie mieć żadnych informacji o jego stanie.

Ostatnia klasyfikacja jest związana z charakterem zadań, które może mieć do zrealizowania nasz agent. Mogą być one epizodyczne (mieć jakieś jasno określone zakończenie, jak w większości gier) bądź ciągłe (nie mieć naturalnego końca).

Jak widać, spektrum złożoności możliwych problemów jest bardzo szerokie: od realizacji epizodycznych zadań w jednoagentowych, deterministycznych, w pełni obserwowalnych i udostępniających swoje reguły światach po ciągłe zadania w otoczeniach stochastycznych, bez znajomości praw i zdolności postrzegania czegokolwiek.

Przedstawiona powyżej klasyfikacja jest dobrą podstawą do zdefiniowania inteligencji. Mając świadomość złożoności zagadnienia, na potrzeby kolejnych rozważań definiujemy ją jako zdolność do efektywnego zachowania w nowych sytuacjach. Bliższa analiza tej definicji pozwoli przybliżyć koncepcję autonomicznych, samouczących się systemów, których potencjał biznesowy jest przedmiotem kolejnych części tej książki.

Zacznijmy od analizy słowa „efektywność”, przyglądając się temu pojęciu z perspektywy działań systemów autonomiczych. Zakłada ono istnienie pewnej funkcji celu: system inteligentny najczęściej ma na celu realizację pewnej misji, której sukces jest możliwy do zdefiniowania. Miary sukcesu są najczęściej integralną częścią zadania i pomagają maszynie na bieżąco monitorować postępy zarówno procesu uczenia się, jak i stopnia realizacji misji.

Sposób sformułowania dobrej funkcji celu jest dużym wyzwaniem. Jedną z popularniejszych metod (przedstawioną bliżej w kolejnym punkcie) jest metoda prób i błędów: agent podejmuje decyzję o realizacji pewnego działania, po czym otrzymuje z otoczenia informację zwrotną zawierającą dane o nowej sytuacji oraz nagrodzie lub karze. Nagroda ta, określana terminem zaczerpniętym z psychologii jako „wzmocnienie”, jest jedną z podstawowych czynników wpływających na proces uczenia się. Niedoskonałość wielu metod nauczania w szczególności objawia się koniecznością realizacji bardzo wielu interakcji systemu z otoczeniem – czyli wielu prób i błędów. A to często jest i kosztowne, i niebezpieczne.

Z tego względu algorytmy często są trenowane w wirtualnych symulatorach. Twórcy takich symulatorów muszą nie tylko dobrze odwzorować realia danego środowiska, ale też precyzyjnie skonstruować system wynagradzania za różne zachowania, najczęściej łącząc stan otoczenia wynikający z działań podjętych przez agenta z określonymi przez misję warunkami. W praktyce jest to duże wyzwanie: system będzie działał tak, jak był motywowany podczas nauki – w efekcie wszelkie błędy w definicji funkcji nagrody niosą za sobą konsekwencje.

Osobnym, coraz częściej podejmowanym zagadnieniem jest też to, kto ma określać funkcję celu. Historia ludzkości pokazuje, że spełnienie marzeń może być tragiczne w skutkach. Może więc dla ludzi będzie lepiej, jeśli to sztuczna inteligencja sama określi to, co dla nich będzie dobre. Czyli, na poziomie operacyjnym, samodzielnie skonstruuje własną funkcję celu. Zagadnienie to jest przedmiotem badań dziedziny określanej jako odwrotne nauczanie ze wzmocnieniem: jej celem jest nauczenie systemu identyfikowania celów, wartości i nagród dla wskazanego podmiotu przez obserwację jego zachowań (por. Heidecke 2019). Mogą one nie tylko wpłynąć na metody projektowania SI, ale przedefiniować też pojęcie inteligencji. Z czasem może się okazać, że od takich systemów oczekujemy zarówno efektywnego rozwiązywania problemów, jak i trafnego rozpoznawania naszych potrzeb. Jeśli to się uda, parafrazując Paula Valery’ego, przyszłość nie będzie już taka, jak była kiedyś…

Wracając do definicji inteligencji, określiłbym ją jako zdolność do efektywnego zachowania się w nowych sytuacjach. Omówiłem już pokrótce efektywność – czas więc na zachowanie. Zachowanie oznacza nie tylko umiejętność podejmowania decyzji, ale też dostęp do tzw. aktuatorów: urządzeń fizycznych czy interfejsów komunikacyjnych umożliwiających interakcje z otoczeniem. W kolejnym punkcie, poświęconym podstawom nauczania ze wzmocnieniem, wprowadzamy tzw. agenta, ograniczając jego rolę wyłącznie do sterowania. Nasza definicja inteligencji rozszerza to pojęcie o możliwość wywierania wpływu na otoczenie.

Wywieranie wpływu to jednak niejedyny typ zachowań niezbędnych do efektywnej realizacji misji. Równie ważne, jeśli czasem nawet nie ważniejsze, jest efektywne pozyskiwanie danych, informacji i wiedzy z otoczenia oraz wykorzystywanie ich do podnoszenia swojej efektywności. Zdolność do przekazywania doświadczeń i wiedzy nie tylko z pokolenia na pokolenie (przez np. procesy ewolucyjne), ale też w obrębie jednego pokolenia – i to w zakresie dużo szerszym niż zmiany genetyczne – jest kolejnym z czynników „przewagi konkurencyjnej” człowieka nad innymi stworzeniami. Dzięki temu jako społeczeństwa potrafimy szybko się uczyć, co w połączeniu z pamięcią (zarówno krótkoterminową, jak i historyczną) jest również podstawą rozwoju technologicznego. W efekcie kolejną pożądaną umiejętnością systemu inteligentnego jest zdolność do pozyskiwania informacji i wiedzy oraz posiłkowania się doświadczeniami nie tylko własnymi, ale też cudzymi.

Ostatnim elementem zachowań, które są kluczowe dla naszego pojmowania inteligencji, jest umiejętność samodzielnego uczenia się i samodoskonalenia. Inteligentne maszyny nie tylko powinny potrafić efektywnie wykorzystywać „mózg” dostarczony im z zewnątrz, ale też w miarę pozyskiwania nowych doświadczeń rozwijać się samodzielnie. Jest to przedmiotem uczenia maszynowego (którego podstawowe założenia przedstawimy w kolejnym punkcie) i badań z zakresu tzw. metauczenia się (Meta Learning; nauczanie maszyn identyfikacji optymalnych dla nich strategii uczenia się) czy też samonadzorowanego uczenia się (Self-Supervised Learning). To kolejne inspirujące obszary badań, które mogą mocno wpłynąć na przyszłość świata.

Ostatnim członem zaproponowanej definicji inteligencji jest nowa sytuacja. ‘Nowa’ jest dla nas synonimem złożoności i niepewności, zaś ‘sytuacja’ dotyczy otoczenia (środowiska, świata), w którym działa system inteligentny.

Jak już wspomniałem, spektrum tych problemów jest szerokie: od dobrze znanych, obserwowalnych i deterministycznych, po niezrozumiałe, nieobserwowalne i szybko- zmienne. W naszej definicji ‘nowe sytuacje’ dotyczą tego drugiego ekstremum, przy czym w naturalny sposób trudno jest tu jasno określić granice pomiędzy inteligencją a automatyzmem będącym rezultatem implementacji prostych algorytmów. Inteligentny agent powinien efektywnie realizować swoje zadania w sytuacjach dużej niepewności (środowiska stochastyczne, w których nie jesteśmy pewni konsekwencji swoich działań), szybkozmiennych (w których dynamicznie zmieniają się reguły gry) i tylko częściowo obserwowalnych („z ograniczoną widocznością”). Umiejętność działania w środowiskach ciągłych wydaje się przy tym błahostką (dla człowieka to naturalne środowisko: obrazy, które postrzegamy, nie składają się przecież z dużych „pikseli”, ruchy, które wykonujemy, są płynne itd.), niemniej w praktyce wymóg ten (podejmowanie decyzji w sytuacji nadmiaru danych) okazuje się również bardzo dużym wyzwaniem. Nasza definicja inteligencji maszyn jest poniekąd zbliżona do intuicji inteligencji ludzkiej. Często uważamy za inteligentne osoby potrafiące w efektywny sposób działać w zupełnie nowych sytuacjach – warunek nowości jest tu niezbędny do odróżnienia inteligencji od wyuczalności.

PRZYPISY

1 Możliwa jest również sytuacja, w której samo środowisko się nie zmienia, ale zmianie ulega zadanie – wtedy mówimy, że środowisko jest półdynamiczne.