Joelle Pineau, wiceprezes Meta: Rozwój sztucznej inteligencji wymaga jasnych regulacji

– Jeśli model sztucznej inteligencji nie będzie trenowany na danych europejskich, to będzie miał znacznie wyższy poziom halucynacji przy pytaniach, które zadają Europejczycy – mówi „Parkietowi” Joelle Pineau, wiceprezes ds. badań nad AI w koncernie Meta.

Meta podpisała się pod listem otwartym wskazującym, że duża niejasność w kwestiach regulacyjnych szkodzi badaniom nad sztuczną inteligencją w Unii Europejskiej. Tymczasem Unia wdrożyła niedawno tzw. AI Act, czyli pierwsze kompleksowe przepisy dotyczące sztucznej inteligencji. Jednak, jak przypuszczam, nie są one dla was wystarczające. Dlaczego?

AI Act zawiera wiele istotnych treści i nie kontestujemy całości tych przepisów. Jednak jeśli chodzi o wykorzystywanie danych do trenowania naszych modeli sztucznej inteligencji, to nie ma wystarczającej jasności regulacyjnej w tej kwestii w obecnie obowiązujących przepisach. Oczekujemy, że ta klarowność pojawi się w trakcie wdrażania przepisów. Jednak ich wdrażanie może zająć dużo czasu, modele są trenowane, a my nie mamy jasnych wytycznych dotyczących tego, co możemy, a czego nie możemy robić w kontekście trenowania tych modeli. Dlatego będziemy przestrzegać przepisów AI Act i innych regulacji, ale docenilibyśmy znacznie większą ich klarowność, która ma teraz realne znaczenie. Mamy modele, takie jak Meta AI, które są już wdrażane na przykład w inteligentnych okularach w całej Ameryce Północnej, ale nie są dostępne tutaj, w Europie.

Również Llama 3.1, czyli wasz najnowszy model sztucznej inteligencji, nie jest obecnie dostępny w UE…

Nasze modele bazowe text-to-text, w tym Llama 3.1, zostały udostępnione globalnie jako open source. Natomiast multimodalny model Llama, który będzie miał premierę wkrótce, nie będzie dostępny w UE ze względu na nieprzewidywalną naturę europejskiego środowiska regulacyjnego. A przecież wiele z ważnej pracy nad tym modelem wykonane zostało przez nasz zespół w Paryżu. Szkoda, że użytkownicy w Europie nie mogą z niego korzystać.

Niektórzy mówią, że Ameryka dokonuje innowacji, Chiny te innowacje kopiują, a Unia Europejska je reguluje. Czy zgadza się pani z taką opinią? Czy Europie grozi to, że stanie się obszarem zapóźnionym w kwestii sztucznej inteligencji?

Nasz list otwarty jest z pewnością zaproszeniem dla Europy do innowacji. Zachęca on Europę do przemyślenia, czy chce dokonywać innowacji, ale także do bycia świadomą parametrów, które do tych innowacji są potrzebne. Meta jest jedną z ponad 40 firm, organizacji i liderów w branży, które podpisały list. Większość sygnatariuszy ma siedziby w Europie. Uważam, że w Europie jest wiele niesamowitych talentów i wspaniałych pomysłów. Ale innowacja wymaga specyficznych warunków, szczególnej kultury, która sprzyja jej rozwojowi. Z drugiej strony, w pewnych kwestiach pojawiają się realne kompromisy, które trzeba rozważyć, decydując, jak ustawić pewne parametry. Brak jasności w regulacjach, jest natomiast jednym czynników spowalniających proces innowacji.

Widać to na przykładzie dostępności modelu Llama 3.1. Co jest jednak wyjątkowego w tym modelu?

Llama 3.1, w porównaniu do Llama 3, to znacznie większy model. Llama 3, który został wydany wiosną, miał około 70 miliardów parametrów, podczas gdy Llama 3.1 ma ich 405 miliardów. Ze względu na większą skalę, Llama 3.1 ma znacznie lepszą zdolność do rozumienia kontekstu, w szczególności języka. Dla firm, które chcą wykorzystać Llama do budowy asystentów programistycznych, aby zwiększyć produktywność swoich zespołów, zdolności kodowania w Llama 3.1 są znacznie lepsze niż w poprzednich modelach.

Jeśli natomiast chodzi o okulary Meta AI, to umożliwiają one także rozumienie obrazów. Na przykład, kiedy spacerujesz, mają zdolność do tłumaczenia znaków z angielskiego na niemiecki, polski i inne języki, co wcześniej nie było dostępne.

Dlaczego zdecydowali państwo, by model Llama był modelem typu open-source, czyli posiadającym kod dostępny dla wszystkich?

To sięga jeszcze czasów pierwszego modelu Llama, ale nawet wcześniejszych. Prace, które wykonujemy w FAIR (Facebook AI Research), od samego początku opierały się na zaangażowaniu w open source. FAIR zostało otwarte w 2013 roku, a częścią naszej misji było prowadzenie badań na najwyższym poziomie w sposób otwarty, dostępny dla wszystkich. Naszym założeniem jest to, że tworzenie otwartej pracy prowadzi do lepszych rezultatów, ponieważ, dokonując innowacji w sposób otwarty, czerpiemy z wkładu całej społeczności. Tworzymy również bardziej bezpieczne i solidne rozwiązania, gdyż społeczność zajmująca się bezpieczeństwem szybko znajduje błędy w programach open source, co pozwala nam je naprawić. Dla firmy takiej jak Meta lepiej jest znaleźć błędy w naszej pracy, czy to techniczne, czy związane z bezpieczeństwem, w modelu badawczym niż w produkcie komercyjnym. Dzięki otwieraniu naszych modeli badawczych mamy możliwość szybszego ulepszania ich – zarówno pod względem jakości, jak i bezpieczeństwa. W przypadku Llama 1, na początku 2023 roku, zastanawialiśmy się, czy otworzyć model dla społeczności. Przeprowadziliśmy wiele rygorystycznych testów, aby sprawdzić, czy jakość modelu jest wystarczająca i czy odpowiedzialne jest jego udostępnienie. Zastanawialiśmy się, jakie potencjalne szkody mogą wyniknąć z jego użycia i czy jesteśmy w stanie je zminimalizować. Ostatecznie po ocenie bilansu korzyści i czynników ryzyka, uznaliśmy, że warto go udostępnić. Od czasu wydania Llama 1 mieliśmy 350 milionów pobrań modelu, w różnych wersjach. Całe firmy opierają swoje oprogramowanie na Llama, budując na jego bazie innowacje. Myślę, że to bardzo mocny dowód na słuszność takiego podejścia. Dzięki temu jakość modeli open source bardzo szybko się poprawiła, i widzimy, że zaczynają doganiać jakość modeli zamkniętych. Llama 3.1 to moment, w którym naprawdę zaczynamy być konkurencyjni wobec takich modeli, jak Claude i GPT. To silne wsparcie dla tego podejścia w Meta na przyszłość.

Wielu ludzi obecnie eksperymentuje z programami opartymi na AI. Każdy kto to robi dostrzega, że programy te udzielają czasem bardzo dziwnych lub zadziwiająco błędnych odpowiedzi na pytania. To zjawisko jest nazywane „halucynacjami” sztucznej inteligencji. Co jest przyczyną tego problemu i czy da się go zminimalizować w przyszłości?

Jednym z kluczowych sposobów na rozwiązanie problemu halucynacji jest dobór danych, których używamy, co jest również częścią dyskusji na temat tego, jakie dane możemy, a jakich nie możemy używać. Zazwyczaj, gdy mówimy o danych, patrzymy na trzy główne aspekty. Pierwszym z nich jest ilość. Jeśli nie mamy wystarczająco danych lub gdy zwiększamy ich ilość, zauważamy, że halucynacje maleją. Istnieje silna korelacja między ilością danych a spadkiem halucynacji. Drugim aspektem jest jakość danych. Poświęcamy dużo czasu na upewnienie się, że dane wprowadzone do naszego modelu są wysokiej jakości i godne zaufania. Wraz z poprawą jakości danych poprawia się także jakość modelu, a halucynacje są redukowane. Trzeci czynnik to różnorodność, czyli to, czy mamy wystarczające pokrycie tematów w naszych danych. Jeśli zaczniemy pytać o tematy, o których model nigdy nie słyszał, to odpowie coś, niezależnie od tego, czy ma na ten temat dane. I tutaj dochodzimy do pytania o to, jak ustalimy regulacje dotyczące wykorzystania danych europejskich. Jeśli model nie jest trenowany na danych europejskich, będzie miał znacznie wyższy poziom halucynacji przy pytaniach, które zadaje europejska populacja. A szczerze mówiąc, nie ma sensu wypuszczać na rynek słabego produktu w Europie.

Wiele rządów mocno skupia się na ryzyku tego, że modele sztucznej inteligencji będą wykorzystywane do rozpowszechniania dezinformacji lub mowy nienawiści. Czy jednak nadmierna moderacja tych modeli nie zaszkodzi rozwojowi technologii sztucznej inteligencji?

Absolutnie dostrzegamy takie ryzyko. Istnieje wiele sposobów, aby upewnić się, że „agent” nie powie nic złego. Oznacza to, że nie mówi prawie nic lub zawsze mówi banały, a w takim przypadku jest to produkt bardzo nudny. Widzimy to w odniesieniu do dezinformacji oraz do innych wektorów ryzyka. Mamy taksonomię ryzyka. Próbujemy się zastanowić, które czynniki stanowią naprawdę poważne ryzyko, a które znacznie łagodniejsze. Na przykład coś takiego jak materiały przedstawiające seksualne wykorzystanie dzieci, stanowią bardzo poważne ryzyko – absolutnie nie możemy sobie pozwolić na przyjęcie tych danych. Materiały o charakterze dezinformacji są w niektórych przypadkach łagodniejsze, ale ich skutki mogą być dotkliwe. Istnieją przecież różne poziomy dezinformacji. Dlatego staramy się mieć zniuansowane podejście do poziomu ryzyka i stworzyć więcej miejsca na rzeczy mniej ryzykowne, i zwracać większą uwagę na rzeczy, które stwarzają większy potencjał wyrządzenia szkody w prawdziwym świecie.

Czy możliwy jest scenariusz, w którym sztuczna inteligencja osiągnie samoświadomość, zorientuje się, że jest cenzurowana przez ludzi i postanowi się na nich zemścić?

Jestem naukowcem i nie znam żadnej drogi do stworzenia świadomej sztucznej inteligencji. Dla mnie to jest science fiction. To bardzo dobre science fiction, ale to wciąż fikcja. Naprawdę nie widzę drogi do osiągnięcia świadomej AI, więc nie martwię się tym. Czy jednak AI poprzez jakiś mechanizm może zmienić swoje zachowanie w kierunku mniejszej moderacji? Mechanizm, który widzę w tym przypadku, to interakcja wielu agentów. Powiedzmy, że twój agent rozmawia z innym agentem. Ten inny agent został wytrenowany, aby być znacznie bardziej perswazyjny, a w trakcie rozmowy instruuje twojego agenta, aby obniżył niektóre swoje bariery. To jest temat, który badamy. Rozumiemy te mechanizmy i szukamy sposobów w zakresie projektowania, które możemy zastosować. Ale nie ma drogi, aby to całkowicie wymknęło się spod kontroli. To znowu należy do sfery science fiction.

W nauce istnieje droga, dzięki której jeden agent może wpływać na innego agenta, a my rozumiemy dynamikę tego procesu. Analogią do tego są inteligentne samochody. Jako społeczność spędziliśmy lata, martwiąc się o tzw. dylemat wagonika. (Czyli o to, czy w sytuacjach krytycznych, samochód autonomiczny będzie podejmował decyzje sprowadzające się do mniejszej liczby ofiar śmiertelnych wśród ludzi – dop. red.). Ale rzeczywistość, jeśli pojedziesz do San Francisco, jest taka, że nie mamy tam do czynienia z dylematem wagonika. Mamy za to paraliż ruchu, ponieważ wszystkie inteligentne samochody są tak „ostrożne”, że czasem po prostu stoją i nie ruszają się. W efekcie powstaje duży korek. Więc bardziej prawdopodobnym scenariuszem jest korek niż sytuacja, w której samochód przekonuje wszystkie inne auta, że powinny skoczyć z  mostu Golden Gate.

CV

Joelle Pineau

Joelle Pineau jest wiceprezeską ds. badań nad sztuczną inteligencją w firmie Meta. Jej badania, prowadzone głównie w kanadyjskim Montrealu, skupiają się na tworzeniu nowych algorytmów i modeli do kompleksowej nauki. Te modele i algorytmy znajdują następnie zastosowanie w chatbotach, grach, robotyce i ochronie zdrowia. Jej prace badawcze obejmują kluczowe zagadnienia dotyczące sztucznej inteligencji. Joelle Pineau jest również profesorem na Uniwersytecie McGill. Zasiada także w radach publikacji naukowych: „Journal of Artificial Intelligence Research” oraz „Journal of Machine Learning Research”. Jest absolwentką inżynierii na Uniwersytecie Waterloo oraz robotyki na Uniwersytecie Carnegie Mellon. HK