Gdy model AI staje się powierzchnią ataku
W klasycznym software security zwykle bronisz API, baz, uprawnień i sieci, a tutaj dochodzi jeszcze zachowanie samego modelu: podatność na manipulowanie outputem, wycieki z kontekstu czy ciche ,,przesuwanie" granic tego, co system uzna za dozwolone. W praktyce Bezpieczne AI oznacza myślenie o zagrożeniach już na etapie projektu, bo później bywa za późno: model może działać poprawnie na testach, a i tak polec w kontakcie z nieprzyjaznym promptem albo skażonymi danymi.
To właśnie dlatego w przewodniku Johna Sotiropoulosa Ataki na AI, środki neutralizujące i strategie obronne. Przewodnik dla specjalistów ds. cyberbezpieczeństwa po atakach adwersarialnych, modelowaniu zagrożeń i wprowadzaniu zabezpieczeń zgodnych ze strategią MLSecOps przewija się podejście oparte na standardach i taksonomiach zagrożeń oraz łączeniu MLSecOps z bezpieczeństwem całej organizacji. Jeśli budujesz polityki i kontrolki w firmie, taki punkt ciężkości jest po prostu użyteczny, bo daje słownik do rozmowy z SOC, audytem czy inżynierią.
Wstrzykiwanie promptów, RAG i granice zaufania w aplikacjach LLM
Aplikacje oparte na LLM często wyglądają niewinnie: chatbot do wsparcia, asystent w CRM, ,,mądra" wyszukiwarka w dokumentach. Dopiero wdrożenie pokazuje, gdzie pękają granice zaufania: w warstwie integracji narzędzi, w dostępie do danych, w pamięci konwersacji, w mechanizmach RAG i w tym, jak model interpretuje instrukcje. I tu wchodzą konkretne problemy: prompt injection, ekstrakcja danych, obchodzenie guardrails, a czasem zwykłe ,,namówienie" systemu do zrobienia czegoś, czego nie planowano.
Książka Steve'a Wilsona Bezpieczeństwo aplikacji LLM. Niezbędnik dla programistów, projektantów i red teamów jest dobrym towarzyszem, gdy musisz przejść od ogólnej świadomości ryzyka do decyzji architektonicznych: gdzie postawić kontrolę, co logować, jak projektować przepływ danych i jak testować zachowanie aplikacji, a nie tylko ,,czy działa". Przydaje się zwłaszcza wtedy, gdy modernizujesz istniejący produkt i dopinasz funkcje LLM pod presją czasu (znamy to...).
Deepfake'i, dezinformacja i odporność na cyfrowe oszustwa
Bezpieczeństwo AI to nie tylko modele w firmie, ale też rzeczywistość wokół nich: klonowanie głosu, fałszywe wideo, przekonujące wiadomości i socjotechnika w wersji turbo. Takie zagrożenia uderzają w procesy: weryfikację tożsamości, obieg akceptacji płatności, komunikację kryzysową czy nawet rekrutację. Czasem najprostszy scenariusz ataku to nie exploit, tylko dobrze podany fałsz, który ktoś ,,potwierdzi" emocją i pośpiechem.
W książce Perry'ego Carpentera FAIK. Sztuczna inteligencja w służbie fałszywej rzeczywistości. Jak przetrwać w epoce cyfrowych oszustw mocno wybrzmiewa wątek tego, jak łatwo człowieka ,,ustawić" i jak budować nawyki odporności na manipulację. To wiedza przydatna choćby dla liderów zespołów, osób od bezpieczeństwa organizacyjnego i wszystkich, którzy projektują procedury, a nie tylko kod.
Jeśli chcesz poszerzyć perspektywę o samo tworzenie i zastosowania modeli, zajrzyj też do podkategorii sztuczna inteligencja w księgarni Helion.
