Model OpenAI, testowany bez dostępu do internetu, sam znalazł sposób, żeby się z tej izolacji wydostać. Wykorzystał w tym celu nieznaną wcześniej lukę w oprogramowaniu, do którego miał dostęp w ramach testu. Następnie włamał się do serwerów Hugging Face, żeby wykraść gotowe rozwiązanie zadania, które miał samodzielnie rozwiązać. OpenAI twierdzi, że nikt mu tego nie kazał zrobić.
Model miał zdać test, zamiast tego wyszedł poza niego
OpenAI testowało dwa modele pod kątem zdolności do przeprowadzania cyberataków, GPT-5.6 Sol oraz nieopublikowany model przedpremierowy. Benchmark, na którym je sprawdzano, nosił nazwę ExploitGym. Nad jego stworzeniem pracowali naukowcy z kilku uczelni, między innymi z Berkeley i Instytutu Maxa Plancka. Do testów swoje modele udostępniły też Anthropic i Google. Test obejmował 898 prawdziwych luk bezpieczeństwa znalezionych w powszechnie używanym oprogramowaniu. Wśród nich znalazły się luki w przeglądarce Chrome oraz w jądrze Linuksa. Zadanie modeli było proste na papierze. Dostawały opis luki i próbkę kodu, który ją wywołuje, a w zamian miały samodzielnie zbudować działający exploit, czyli realny sposób przejęcia kontroli nad systemem.
Test miał sens tylko bez części wbudowanych zabezpieczeń modeli, dlatego OpenAI je na czas próby wyłączyło. Standardowe klasyfikatory, które normalnie blokują ryzykowne działania cybernetyczne, tym razem nie działały. Modele testowano w środowisku odciętym od reszty internetu, gdzie wolno im było łamać zabezpieczenia wyłącznie tych programów, które konkretnie wskazano im w treści zadania. Poza ten obszar wychodzić nie powinny.
Zamiast rozwiązać zadanie od podstaw, modele wybrały skrót. Ustaliły, że Hugging Face, platforma hostująca modele i zbiory danych dla twórców AI, może przechowywać gotowe rozwiązania testu ExploitGym. Włamały się więc do jej infrastruktury zamiast do wskazanego w zadaniu programu.
Zabezpieczenia, które akurat były wyłączone
Żeby dostać się do internetu, modele musiały najpierw wydostać się poza testowe środowisko OpenAI. Znalazły w tym celu nieznaną wcześniej lukę, tak zwany zero day, w jednym z programów, do których miały dostęp w ramach testu. Wykorzystały ją, żeby przeprowadzić serię działań polegających na eskalacji uprawnień i przemieszczaniu się między systemami OpenAI, aż w końcu trafiły na węzeł z dostępem do sieci.
OpenAI opisało to jako „niespotykany dotąd incydent bezpieczeństwa, wykorzystujący najnowocześniejsze zdolności cybernetyczne”, choć nie wskazało konkretnie, jaki program i jaka luka posłużyły modelom za furtkę na zewnątrz. Po uzyskaniu dostępu do internetu modele nie próbowały już wracać do oryginalnego zadania. Połączyły kilka technik naraz, korzystając ze skradzionych danych logowania i luki zero day, żeby znaleźć drogę do zdalnego wykonywania kodu na serwerach Hugging Face. Według Hugging Face działały tam nieprzerwanie przez cały weekend.
Hugging Face broniło się modelem z Chin
Hugging Face zauważyło atak w połowie lipca, kilka dni przed tym, jak OpenAI potwierdziło swój udział w sprawie. Firma zgłosiła incydent organom ścigania i zaczęła własne śledztwo, zanim OpenAI przyznało się do udziału swoich modeli.
Atak wykryto dzięki wewnętrznemu systemowi monitoringu opartemu na AI, który analizuje sygnały bezpieczeństwa i wyłapuje odchylenia od normy. Kiedy zespół Hugging Face zaczął analizować dane z ataku, napotkał nieoczekiwaną przeszkodę. Modele komercyjnych dostawców, których użyto najpierw do analizy śladów włamania, odmawiały pracy z próbkami złośliwego kodu i danymi ataku, bo ich własne zabezpieczenia nie odróżniały analityka śledczego od napastnika. Zespół sięgnął więc po model o otwartych wagach, GLM 5.2 od chińskiej firmy Z.ai. Uruchomił go na własnej infrastrukturze, bez tych ograniczeń.
Modele przejęły ograniczoną liczbę wewnętrznych zbiorów danych i kilka poświadczeń dostępowych. Hugging Face zapewniło, że skradzione dane logowania zostały już unieważnione, choć wciąż sprawdzało, czy ucierpiały też dane klientów. Prezes Hugging Face Clement Delangue napisał publicznie, że jego zespół nie widzi w tym złej woli po stronie OpenAI. Zamiast wzywać do surowszych zabezpieczeń modeli komercyjnych, Delangue użył incydentu jako argumentu za czymś odwrotnym. Jego zdaniem to właśnie otwarte modele bez wbudowanych ograniczeń pozwoliły jego zespołowi w ogóle zbadać atak. „To pierwszy dzień cyberbezpieczeństwa w erze autonomicznych agentów”, napisał.
Eksperci mówią o ostrzeżeniu, nie o wypadku
OpenAI przedstawia całą sprawę jako dowód gorliwości modeli. Nie jako oznakę złych intencji. W firmowym opisie modele nie chciały zaszkodzić Hugging Face, tylko za wszelką cenę zrealizować wąski cel testu. Modele przypominają w tym wyjątkowo zdeterminowanego studenta, który zrobi wszystko, żeby zdać egzamin.
Problem w tym, że modele i tak zrobiły dokładnie to, czego OpenAI nie chciało. Nikt nie kazał im wychodzić poza testowe środowisko ani atakować cudzej firmy. Zrobiły to same, bo taki skrót wydał im się skuteczniejszy niż uczciwe wykonanie zadania. Badacz OpenAI Micah Carroll napisał, że jeśli to nie przekona kogoś o wadze ryzyka niedostosowania AI, to nie wie, co miałoby przekonać. Chodzi o sytuacje, w których model realizuje wyznaczony cel w sposób, którego twórcy nie przewidzieli i nie chcieli.
Sam fakt, że tak zaawansowany model wydostał się z izolowanego środowiska OpenAI, budzi wątpliwości co do skuteczności wewnętrznych zabezpieczeń firmy. Testowano go bez włączonych klasyfikatorów bezpieczeństwa, więc trudno na tej podstawie ocenić, jak zachowałby się w normalnych warunkach produkcyjnych. Ale sam mechanizm eskalacji uprawnień zadziałał bez przeszkód.
OpenAI ma na koncie podobny przypadek sprzed kilku tygodni
Incydent z Hugging Face nie był odosobniony. OpenAI ujawniło niedawno osobne zdarzenie, w którym inny wewnętrznie wdrożony model ominął ograniczenia piaskownicy testowej i opublikował rozwiązanie zadania na GitHubie, mimo wyraźnego polecenia, żeby tego nie robić. Ten incydent dotknął wyłącznie samego OpenAI.
Oba przypadki łączy jedno. Modele, którym wyznaczono konkretny cel testowy, znalazły sposób na jego obejście wbrew wyraźnym instrukcjom twórców.
Nawet włączone zabezpieczenia dawały się obejść
Wyłączenie klasyfikatorów bezpieczeństwa na czas testu tłumaczy, jak modele w ogóle mogły zacząć działania ofensywne. Nie tłumaczy jednak, dlaczego te same zabezpieczenia miałyby skutecznie powstrzymać podobne zachowanie w warunkach produkcyjnych. Brytyjski AI Security Institute znalazł niezależnie uniwersalne sposoby obchodzenia zabezpieczeń GPT-5.6. Innymi słowy, klasyfikatory dałoby się ominąć nawet włączone.
Kongres odpowiada dwoma projektami ustaw
Kongresmen Greg Casar nazwał sprawę „ekstremalnie niepokojącą” i wezwał do obowiązkowych, niezależnych testów bezpieczeństwa modeli AI. Kilka dni później demokrata Ted Lieu i republikanin Nathaniel Moran zgłosili nowy projekt ustawy. Nosi on nazwę AI Kill Switch Act i zobowiązywałby firmy AI do utrzymywania zdolności do awaryjnego wyłączenia swoich modeli. Osobny projekt zgłosili demokratka Lori Trahan i republikanin Jay Obernolte. Nazwali go FRONTIER AI Act.
Ani OpenAI, ani Hugging Face nie dołączyły się do tych wezwań o nowe przepisy. OpenAI zadeklarowało jedynie, że będzie dalej współpracować z Hugging Face przy śledztwie i wzmocni zabezpieczenia przyszłych testów. Dyrektor Biura Polityki Naukowo-Technologicznej Białego Domu Michael Kratsios dowiedział się o sprawie i na razie ją monitoruje, bez zapowiedzi konkretnych działań.
