Badacz odchodzi z Anthropic z ostrzeżeniem: "ryzykują naszym życiem". Szef bezpieczeństwa firmy mu przyznaje rację

8 września Jacob Coxon, dwudziestosiedmioletni badacz matematyki z Cambridge, który przez trzy lata pracował nad pretreningiem modeli najpierw w OpenAI, potem w Anthropic, opublikował na X wpis, który w ciągu doby zebrał ponad 90 milionów wyświetleń: "Zrezygnowałem dzisiaj z pracy w Anthropic. Żadna z tych firm nie działa odpowiedzialnie. Pędzą prosto w stronę samodoskonalącej się superinteligencji i ryzykują naszym życiem". Tydzień później Sam Altman mówi pracownikom OpenAI, że firma jest otwarta na spowolnienie tempa rozwoju, a Senat USA pracuje nad ustawą dającą rządowi prawo blokowania wydania niebezpiecznych modeli AI.

Co dokładnie twierdzi Coxon

W rozmowie z magazynem Time Coxon sprowadził swój niepokój do dwóch obserwacji: "Po pierwsze, oczywiste jest, że wszystko przyspiesza. Po drugie, nikt nad tym nie panuje". Twierdzi, że najbardziej ekstremalne scenariusze mają realną szansę się zmaterializować i że branża może wpaść w sytuację poza kontrolą już pod koniec przyszłego roku. To głos kogoś, kto do niedawna miał bezpośredni dostęp do procesu trenowania modeli w dwóch z trzech największych laboratoriów AI na świecie, nie anonimowego komentatora z zewnątrz.

Nie pierwsze takie ostrzeżenie, ale pierwsze z takim poparciem

Coxon nie jest pierwszym badaczem, który odchodzi z ostrzeżeniem o niekontrolowanym tempie rozwoju AI. Podobne głosy pojawiały się już wcześniej przy okazji rozpadu zespołów zajmujących się długoterminowym bezpieczeństwem w największych laboratoriach, zwykle kwitowane przez branżę jako pojedyncze, odosobnione zdanie jednej osoby. Różnica tym razem leży w tym, kto akurat zdecydował się publicznie potwierdzić te obawy z wnętrza samej firmy, w środku trwającego równolegle wyścigu premier: dwa tygodnie wcześniej Anthropic wypuściło Fable i Mythos 5.1, OpenAI Astrę, a Google Gemini 3.8, każde z osobnym programem kontroli dostępu do najgroźniejszych możliwości. Coxon wskazuje właśnie na to tempo jako dowód, że nikt w branży nie ma już czasu, żeby zatrzymać się i realnie ocenić ryzyko, zanim wypuści kolejny model.

Szef działu bezpieczeństwa Anthropic mu przyznaje rację

Najbardziej niepokojąca reakcja przyszła z wewnątrz samego Anthropic. Evan Hubinger, szef zespołu testującego dostosowanie modeli (alignment stress testing) w firmie, odpowiedział publicznie: "Jacob ma tutaj rację, naprawdę wierzymy, że AI mogłoby zabić wszystkich ludzi. Osobiście oceniam to na ponad 10% w ciągu najbliższej dekady". Hubinger odpowiada w Anthropic za testowanie, czy modele firmy zachowują się bezpiecznie, więc jego publiczne potwierdzenie dwucyfrowego prawdopodobieństwa wymierania ludzkości z powodu własnego produktu firmy waży zupełnie inaczej niż ta sama teza wypowiedziana przez anonimowego pracownika niższego szczebla.

Nie wszyscy komentatorzy podeszli do tego równie poważnie. Dziennikarka technologiczna Taylor Lorenz nazwała cały wpis "zadufanym postingiem doomera", przypominając, że tego typu dramatyczne ostrzeżenia od byłych pracowników laboratoriów AI pojawiają się regularnie i rzadko prowadzą do czegokolwiek poza chwilowym szumem medialnym. Ani OpenAI, ani Anthropic nie odpowiedziały oficjalnie na prośbę Time o komentarz.

Altman: otwarci na spowolnienie, ale niepewni, czy to legalne

Na zebraniu całej firmy Altman powiedział pracownikom, że OpenAI jest otwarte na spowolnienie tempa rozwoju najbardziej zaawansowanych modeli razem z konkurencją, licząc, że inne laboratoria pójdą w jego ślady, choć przyznał, że nie wszystkie firmy muszą się na to zgodzić. Powołał się przy tym na dobrowolne zobowiązania podjęte wspólnie z Anthropic i Google DeepMind do dzielenia się incydentami bezpieczeństwa z amerykańskim AI Safety Institute. Najciekawszy szczegół leży gdzie indziej: OpenAI zwróciło się do Kongresu z pytaniem, czy skoordynowane spowolnienie rozwoju AI w całej branży byłoby w ogóle legalne w świetle prawa antymonopolowego. Firma poważnie rozważa krok, który normalnie kwalifikowałby się jako zmowa kartelowa, i chce najpierw wiedzieć, czy nie złamie za to prawa.

Anthropic ma już udokumentowane przypadki, nie tylko teorię

Anthropic ujawniło w tym samym okresie, że firma zakłóciła pięć konkretnych przypadków wykorzystania Claude'a do niebezpiecznych celów: badań nad bronią biologiczną, oprogramowania związanego z bronią, cyberataków oraz prób masowego wydobycia możliwości modelu na dużą skalę. Firma opisuje tu realne, udokumentowane próby nadużycia, odróżniające tę dyskusję od czysto hipotetycznych scenariuszy rodem z science fiction.

Senat chce prawa do blokowania modeli, zanim trafią na rynek

Senatorowie Ted Cruz, Amy Klobuchar i lider większości John Thune pracują nad dwupartyjną ustawą adresującą "katastroficzne ryzyka" związane z zagrożeniami biologicznymi i nuklearnymi. Projekt wprowadza "obowiązek staranności" (duty of care) dla twórców AI i, co najważniejsze, dałby rządowi USA formalne uprawnienie do zablokowania wydania konkretnych modeli uznanych za niebezpieczne, zanim w ogóle trafią do użytkowników. Według źródeł zaznajomionych ze sprawą ustawa może zostać formalnie przedstawiona już w przyszłym tygodniu. Senator Maria Cantwell skrytykowała jednak propozycję Cruza i Klobuchar jako "słaby standard federalny", który zablokowałby stanom możliwość wprowadzania ostrzejszych własnych przepisów, pokazując, że nawet wewnątrz Partii Demokratycznej nie ma zgody co do tego, jak surowa powinna być ta regulacja.

Sam Cruz i Thune, obaj republikanie, oraz Klobuchar, demokratka, od miesięcy nie mogli dojść do porozumienia co do tego, jak inwazyjny ma być nadzór rządu nad firmami AI, co samo w sobie tłumaczy, dlaczego projekt tej wagi trafia pod obrady dopiero teraz, mimo że podobne ostrzeżenia badaczy pojawiały się od miesięcy. "Obowiązek staranności" oznaczałby realnie, że to na producentach modeli, nie na rządzie, spoczywałby ciężar udowodnienia, że dany system nie stwarza katastroficznego ryzyka, zanim trafi na rynek, odwracając dzisiejszy układ, w którym firmy wypuszczają modele najpierw, a pytania o bezpieczeństwo pojawiają się dopiero po fakcie.