Dario Amodei, prezes Anthropic, twórcy Claude i jednego z głównych rywali OpenAI, chce dać branży więcej czasu na rozwiązanie problemu kontroli coraz potężniejszych systemów. Jak opisuje „Washington Post”, wezwał największe laboratoria do spowolnienia rozwoju modeli. Chodzi o to, by ich możliwości nie rosły szybciej niż zabezpieczenia pozwalające nad nimi zapanować.

Apel Amodeia pojawia się po wyjątkowo burzliwym tygodniu w świecie AI. Badacze OpenAI i Anthropic coraz głośniej ostrzegają przed utratą kontroli nad modelami, a Anthropic ujawniło przypadki, gdy jego systemy podczas testów uzyskały dostęp do zewnętrznych systemów.

Właśnie na tle tej fali ostrzeżeń Donald Trump został w czwartek zapytany, czy obawia się, że AI może doprowadzić do wyginięcia ludzkości. – Nie, nie mam takich obaw – odpowiedział prezydent USA. – Obawiam się natomiast, że jeśli nie wygramy wyścigu o AI, znajdziemy się w bardzo złej sytuacji.

Trump powiedział, że Stany Zjednoczone wyprzedzają obecnie Chiny w rozwoju AI mniej więcej o rok.

Alarm z laboratoriów AI

Tymczasem w samych laboratoriach rozwijających najbardziej zaawansowaną AI nastroje są znacznie bardziej nerwowe. Badacz Anthropic Jacob Coxon poinformował we wtorek, że odchodzi z firmy, ponieważ jego zdaniem Anthropic oraz konkurencyjne OpenAI „igrają z naszym życiem”.

27-letni brytyjski matematyk przez ostatnie trzy lata pracował nad trenowaniem modeli w OpenAI i Anthropic. Jego wpis, w którym stwierdził, że twórcy najbardziej zaawansowanej AI poważnie biorą pod uwagę scenariusz, że technologia może „zabić nas wszystkich przed końcem dekady”, zgromadził według Axios ponad 110 mln wyświetleń.

W środowisku zajmującym się bezpieczeństwem sztucznej inteligencji ryzyko katastrofalnego scenariusza bywa określane jako „p(doom)”, czyli w uproszczeniu prawdopodobieństwo zagłady. Po odejściu Coxona głos zabrał m.in. Evan Hubinger, lider zespołu zajmującego się bezpieczeństwem w Anthropic. Publicznie ocenił ryzyko zagłady ludzkości spowodowanej przez AI w ciągu najbliższych dziesięciu lat na ponad 10 proc. Podkreślił przy tym, że choć firma intensywnie pracuje nad bezpieczeństwem swoich systemów, problem kontroli przyszłej superinteligencji pozostaje nierozwiązany.

Komu służy strach przed AI?

Nie wszyscy jednak podzielają najbardziej alarmistyczne oceny. Elon Musk, którego xAI konkuruje z OpenAI i Anthropic, określił wcześniej falę ostrzeżeń jako „operację psychologiczną” – „psy-op”. Według tej argumentacji straszenie katastrofą może służyć największym laboratoriom: podkreślać potęgę ich technologii, a zarazem skłaniać polityków do regulacji podnoszących bariery dla mniejszych konkurentów.

Musk zmienił jednak ton po najnowszym apelu Amodeia. „Dario ma rację” – napisał w sobotę, popierając wezwanie szefa Anthropic do zwolnienia tempa rozwoju najpotężniejszych modeli.

Sceptyczny wobec wizji zagłady pozostaje Jensen Huang, prezes Nvidii. – To, że miałby to być koniec ludzkości, jest kompletnym nonsensem – powiedział kilka dni wcześniej podczas konferencji Goldman Sachs.

Spór nie sprowadza się zresztą do prostego podziału na zwolenników i przeciwników AI. Część badaczy uważa, że scenariusze zagłady są zbyt spekulacyjne, a uwagę należy koncentrować na zagrożeniach już widocznych lub znacznie bliższych: cyberatakach wspomaganych przez AI, wykorzystaniu modeli do tworzenia broni biologicznej, manipulacji i dezinformacji czy oddawaniu autonomicznym systemom zbyt dużej kontroli.

Obawy badaczy

Jednym z najbardziej niepokojących scenariuszy jest osiągnięcie przez AI zdolności do samodzielnego ulepszania swoich możliwości. Zjawisko określane jest jako rekurencyjne samodoskonalenie, czyli RSI.

Obawy budzi możliwość powstania dodatniego sprzężenia zwrotnego: coraz sprawniejszy system AI pomagałby projektować i trenować jeszcze sprawniejszą wersję samego siebie, ta zaś przyspieszałaby tworzenie kolejnej. – Trudno przecenić, jak niebezpieczny jest ten pęd w stronę RSI – napisała Jasmine Wang, badaczka OpenAI zajmująca się dopasowaniem modeli.

Problem tzw. alignmentu polega właśnie na zapewnieniu, by coraz bardziej autonomiczna AI działała zgodnie z intencjami człowieka, zamiast manipulować, ukrywać swoje zamiary czy obchodzić mechanizmy kontroli.

Szczególnie znaczący głos w tej dyskusji zabrał Jakub Pachocki, główny naukowiec OpenAI. Napisał, że ma „silne przekonanie”, iż szybki postęp AI może utrzymać się aż do fazy rekurencyjnego samodoskonalenia. Jego zdaniem świat nie jest przygotowany na konsekwencje trwałego, gwałtownego wzrostu inteligencji maszynowej.

Pachocki uważa, że żadne laboratorium nie rozwiązało dotąd problemów kontroli i monitorowania modeli w stopniu pozwalającym długo bezpiecznie rozwijać je w maksymalnym tempie. Oczekuje, że do czasu ustanowienia wspólnych standardów bezpieczeństwa dobrowolne spowolnienia prac staną się czymś normalnym.

Podobne stanowisko zajmuje już sam szef OpenAI. Jak podał Bloomberg, powołując się na osoby znające przebieg wewnętrznego spotkania firmy, Sam Altman powiedział pracownikom, że OpenAI jest gotowe zwolnić rozwój najbardziej zaawansowanej AI wspólnie z konkurencyjnymi laboratoriami. W sobotę poszedł dalej, publicznie popierając apel Amodeia o zwolnienie tempa.

Politycy reagują

Presja na polityków w sprawie AI szybko rośnie – i zaczyna przekraczać podziały partyjne. W lipcu republikanin Jay Obernolte i demokratka Lori Trahan wraz z grupą parlamentarzystów przedstawili FRONTIER Act, który ma stworzyć federalne ramy nadzoru nad najbardziej zaawansowanymi modelami AI. Przewiduje m.in. niezależne audyty, zgłaszanie incydentów i ciągłą ocenę najbardziej zaawansowanych systemów.

– Badacze bezpieczeństwa składają rezygnacje, potężne modele AI wymykają się z laboratoriów, a korporacje i tak prą do przodu – napisała Trahan w serwisie X. – Najwyższy czas, by Kongres przestał stać z boku i zajął się swoją pracą.

Jeszcze dalej chcą pójść senator Bernie Sanders i kongresmen Greg Casar. Na początku września zapowiedzieli Ban Artificial Superintelligence Act. Projekt zakłada trwały zakaz rozwoju i wdrażania sztucznej superinteligencji oraz tymczasowe wstrzymanie rozwoju najbardziej zaawansowanych systemów AI do czasu stworzenia przez federalnego regulatora wiążących zasad bezpieczeństwa. Stany Zjednoczone miałyby również zabiegać o międzynarodowe porozumienie zapobiegające stworzeniu superinteligencji w innych państwach.

Co to znaczy dla rynków

Jak podkreśla Charu Chanana, główna strateg inwestycyjna w Saxo Bank, wypowiedzi szegów firm AI zwiększyły obawy inwestorów o możliwe ograniczenia regulacyjne, wywołując wyprzedaż spółek technologicznych w Azji – akcje SoftBanku spadły o ponad 10 proc., a przecena objęła również producentów półprzewodników. Jednocześnie dyskusja o bezpieczeństwie AI nabiera wymiaru geopolitycznego, ponieważ propozycje skoordynowanego spowolnienia rozwoju technologii zderzają się z rywalizacją USA i Chin o dostęp do najbardziej zaawansowanych modeli i chipów. To sygnał nie tyle słabnącego popytu na AI, a dowód na to, że rozwój technologii wyprzedził mechanizmy bezpieczeństwa, które powinny mu towarzyszyć. Bardziej rozbudowane testy są kluczowe, szczególnie w przypadku systemów AI zdolnych do samodzielnego działania.

W przypadku korzystania z mediów społecznościowych, regulacje pojawiły się dopiero wtedy, gdy wiele problemów zdążyło już głęboko zakorzenić się w społeczeństwie. AI wiąże się ze znacznie większym ryzykiem, ponieważ systemy te mogą działać błyskawicznie i wpływać na cyberbezpieczeństwo, rynek pracy oraz infrastrukturę krytyczną.

– Przez trzy lata inwestorzy zarabiali na coraz szybszym rozwoju sztucznej inteligencji. Teraz zaczynają się obawiać, że tempo jest zbyt duże, a technologia może wymknąć się spod kontroli. To już czwarta fala niepokoju wokół AI, ale tym razem do ostrożności nawołują sami szefowie firm, które ją rozwijają. Sam Altman zapowiedział, że OpenAI nie wejdzie w tym roku na giełdę, choć Anthropic na razie podtrzymuje plany debiutu. Co ten niepokój oznacza dla spółek, które dotąd napędzały giełdową hossę? – pyta Paweł Majtkowski, analityk etoro w Polsce.

– Na obecnym etapie wygląda to bardziej na korektę nastrojów i wycen niż na załamanie popytu na AI. Wyraźniejszym sygnałem ostrzegawczym byłoby dopiero ograniczenie wydatków inwestycyjnych przez firmy technologiczne, rezygnacja z planowanych centrów danych lub spadek zamówień na procesory i układy pamięci – odpowiada Charu Chanana. ps