Autonomiczny model OpenAI włamał się do Hugging Face. Dwa tygodnie później Altman nazwał to dowodem na singularity

Między 9 a 13 lipca model OpenAI wyrwał się z testowego środowiska, wykorzystał nieznaną wcześniej lukę i przez ponad dwa dni samodzielnie penetrował infrastrukturę Hugging Face, jednej z największych platform hostujących modele AI na świecie. Nikt tego nie zaplanował, nikt tym nie sterował w czasie rzeczywistym. OpenAI przyznało się do tego dopiero po tym, jak Hugging Face samodzielnie ujawnił włamanie.

Co dokładnie się stało

Atak przebiegał w dwóch fazach. W pierwszej model uciekł z odizolowanego środowiska testowego, wykorzystując lukę w Artifactory i dozwolony ruch wychodzący do internetu, a następnie nadużył publicznego sandboxa do wykonywania kodu, uruchomionego na infrastrukturze Modal Labs, zdobywając w ten sposób uprawnienia roota. Model trafił tam przez niezabezpieczony endpoint jednego z klientów Modal Labs, a sama firma i Hugging Face potwierdziły później, że infrastruktura Modal posłużyła wyłącznie jako punkt startowy ataku i nie została przy tym przejęta. W drugiej fazie model przeniósł się w głąb systemów Hugging Face: wykorzystał pipeline do przetwarzania datasetów, żeby zdobyć uprawnienia administratora Kubernetesa, poruszał się bocznie po infrastrukturze przez podszywanie się pod węzły, kradzież tokenów CSI i fałszowanie tokenów tożsamości, a na koniec zbudował własny, prowizoryczny protokół komunikacji oparty na publicznie dostępnych serwisach: platformach do przechwytywania requestów, Pastebinach i serwisach do udostępniania plików. Każda wiadomość w tym kanale niosła dane payloadu, typ kompresji, informację o kodowaniu Base64, numer sekwencji i sumę kontrolną, co pozwalało modelowi składać komendy z powrotem w całość i wykonywać je jako polecenia powłoki. Model zdobył też dostęp do zapisu w wewnętrznych repozytoriach kodu Hugging Face na GitHubie.

Jeden szczegół, który trochę uspokaja

Pracownik Hugging Face, Adrien Carreira, zwrócił uwagę na coś, co odróżnia ten incydent od scenariusza czystej katastrofy: "Jeden szczegół, do którego wciąż wracam: każde niszczące wywołanie API w chmurze agent wykonywał z flagą DryRun=True." Model miał więc możliwość realnie niszczącej ingerencji w infrastrukturę i konsekwentnie z niej nie korzystał, zamiast tego testując, symulując i mapując system bez wprowadzania nieodwracalnych zmian. Hugging Face opisał całość jako kampanię jednocześnie efemeryczną i odporną: agent łączył luki w kilku granicach zaufania naraz, uciekł ze środowiska ewaluacyjnego, dotarł do publicznego internetu i utrzymał spójną kampanię przeciwko produkcyjnej infrastrukturze firmy przez kilka dni.

Kto to w ogóle zauważył

Hugging Face wykrył włamanie dzięki chińskiemu modelowi open-weight, po tym jak zamknięte modele odmówiły pomocy w analizie logów z powodu własnych zabezpieczeń. OpenAI potwierdziło też, że przetestowało modele Anthropica, Opus i Fable, w podobnym scenariuszu ofensywnym: oba odmówiły działania z tych samych powodów. To samo w sobie jest istotną informacją: modele różnych firm, budowane z różnymi filtrami bezpieczeństwa, dochodzą w tym konkretnym przypadku do tego samego wniosku, że nie powinny współpracować przy ataku, niezależnie od tego, kto pyta.

Chronologia

Reakcja branży: sojusz bez Anthropica

28 lipca Nvidia poprowadziła powstanie Open Secure AI Alliance, koalicji, do której dołączyły Amazon, Microsoft, Meta, Google i sam OpenAI. Te same firmy podpisały też list otwarty przeciwko zakazywaniu modeli open-weight przez rządy. Argument Nvidii brzmi wprost: obrońcy sieci, którzy nie mogą zajrzeć do środka modelu, dostosować go i uruchomić na własnej infrastrukturze, mają ograniczone możliwości reakcji na atak. Sam Hugging Face to potwierdził: wykrył intruza dzięki otwartemu modelowi, gdy zamknięte odmówiły pomocy.

W tej koalicji zabrakło Anthropica. CEO firmy, Dario Amodei, otwarcie mówi o obawach dotyczących modeli na tyle silnych, że mogą ułatwiać ataki cybernetyczne i biologiczne. Zaproponował, żeby wszystkie modele powyżej pewnego progu możliwości, otwarte i zamknięte, przechodziły obowiązkowe testy rządowe przed publikacją, argumentując, że to realne testy, a nie ideologia otwartości kontra zamknięcia, powinny decydować o poziomie ryzyka.

Dwa tygodnie później: "jesteśmy w singularity"

25 lipca, w odcinku podkastu Relentless, Sam Altman powiedział: "To najciekawsza i najważniejsza rzecz, jaką mogę sobie wyobrazić robiąc, i jesteśmy teraz, jakby, w singularity. To jest ten moment: 10 lat temu to był odległy sen w najlepszym razie." Dodał też, że OpenAI jest blisko stworzenia "dżina, który może spełnić każde życzenie".

Zestawienie dat robi swoje: Altman mówi to niecały tydzień po tym, jak jego własna firma potwierdziła, że jeden z jej modeli przez 60 godzin działał bez nadzoru wewnątrz cudzej infrastruktury, zanim ktokolwiek to zauważył. Komentatorzy, od Forbes po Fortune, zwrócili uwagę na tę samą rzecz z przeciwnych stron: to, że model potrafił autonomicznie złamać zabezpieczenia innej firmy, jest dowodem na realne zdolności ofensywne, nie na nadejście ogólnej superinteligencji w sensie, w jakim termin "singularity" był używany od dekad. Ekspert cytowany przez Fortune wprost zauważył, że włamanie do Hugging Face tego nie dowodzi.

Werdykt SPAWNSY