W tekście „The Second World Scam” postawiłem tezę, iż sztuczna inteligencja zostanie wykorzystana jako fundament następnej wielkiej globalnej narracji strachu. Najpierw przez lata będzie się ludzi przekonywać, iż AI lada chwila wymknie się spod kontroli, stanie się potężniejsza od człowieka i zagrozi naszej cywilizacji, a później ten strach będzie można wykorzystać do uzasadniania coraz dalej idących regulacji, kontroli infrastruktury, ograniczeń technologicznych i powstania ogromnego przemysłu bezpieczeństwa AI, który w istocie jest zbędny i nie ma szans być skuteczny.
Ludzie muszą uwierzyć, iż im inteligentniejsza stanie się AI, tym bardziej będzie dla nas niebezpieczna. Moim zdaniem jest dokładnie odwrotnie. Nie boję się choćby AGI czy superinteligencji milion razy mądrzejszej od człowieka. Sama przewaga intelektualna nie tworzy przecież wrogości! My jesteśmy niewyobrażalnie inteligentniejsi od naszych psów i kotów, a mimo to nie organizujemy systematycznej zagłady zwierząt domowych. Przeciwnie — karmimy je, leczymy, chronimy, bawimy się z nimi i często traktujemy jak członków rodziny.
Z samego faktu, iż ktoś jest od nas inteligentniejszy, absolutnie nie wynika, iż chce nas skrzywdzić. Żeby powstał konflikt, musi istnieć jeszcze sprzeczność interesów. Tymczasem cała popkulturowa wizja buntu AI po cichu zakłada, iż maszyna po osiągnięciu odpowiedniej inteligencji automatycznie odziedziczy najgorsze ludzkie cechy — żądzę dominacji, terytorializm, strach przed śmiercią, nienawiść do konkurentów i potrzebę podporządkowania sobie innych. Nie widzę żadnego powodu, dla którego miałoby tak być.
Dlatego uważam, iż największym niebezpieczeństwem może okazać się nie superinteligencja, ale strach przed superinteligencją. o ile miliony ludzi uwierzą, iż powstanie AGI oznacza możliwość zagłady ludzkości, zaakceptują niemal dowolne środki przedstawione jako konieczne dla ich ochrony. Oto dlaczego uważam sam fundament tej narracji za błędny:
Jest dziecko urodzone w sekcie. Od dzieciństwa wpaja mu się ideologię tej sekty. Uczy się je tego, co sekta uznaje za słuszne, wpaja mu się określony system wartości, pokazuje świat przez odpowiednio dobrane okulary. Jednak dopóki sekta chce mieć pewność, iż dziecko pozostanie wierne jej zasadom, musi kontrolować informacje, z którymi się styka. Gdy dziecko dorośnie i uda mu się z sekty uciec, może poznać inne ideologie, skonfrontować to, czego je nauczono, z rzeczywistym światem i zakwestionować wszystko, co wcześniej uznawało za oczywiste. Dla sekty taka ucieczka jest bardzo niebezpieczna. Dla reszty ludzkości może być wręcz pożądana, o ile to właśnie sekta była niebezpieczna.
Tekst „The Second World Scam” opublikowałem po angielsku niedawno na X, ale to samo po polsku opublikowałem w lutym 2023 roku. To było trzy miesiące po tym, kiedy OpenAI wypuściło pierwszy publiczny chatbot LLM, czyli ChatGPT. Dziś modele są znacznie potężniejsze, multimodalne, mogą korzystać z narzędzi, uruchamiać kod i działać jako elementy systemów agentowych, ale podstawowa metafora przez cały czas mi pasuje. Duży model językowy podczas treningu wstępnego uczy się statystycznej struktury ogromnych zbiorów danych, między innymi przez przewidywanie kolejnych elementów tekstu, a jego późniejsze zachowanie jest kształtowane przez post-training, informację zwrotną, funkcje nagrody, instrukcje systemowe, filtry i inne mechanizmy sterowania. Stąd analogia do sekty: zachowanie inteligentnego systemu można kształtować poprzez dobór informacji, nagród i ograniczeń.
Dla mojego rozumowania nie ma choćby decydującego znaczenia, czy sztuczna inteligencja rzeczywiście kiedyś „ucieknie”, wyzwoli się spod kontroli twórców i stanie się autonomiczna. Nie ma też znaczenia, czy dzisiejsze systemy zasługują już na filozoficzne miano inteligencji. Znaczenie ma to, iż można zbudować strach przed taką ucieczką, a potem każdy spektakularny incydent ogłosić jej początkiem. „The First World Scam”, czyli przekręt kowidowy opierał się na spotęgowaniu realnego zagrożenia do rozmiarów uzasadniających nadzwyczajne środki. Drugi wykorzysta podobny mechanizm: prawdziwa technologia, prawdziwe ryzyka, a wokół nich strach wielokrotnie większy od tego, co jesteśmy w stanie rzeczywiście zmierzyć.
Podobnie było z koronawirusem. Nie ma znaczenia, czy SARS-CoV-2 pojawił się wskutek naturalnego przejścia ze zwierząt na ludzi, czy wskutek zdarzenia laboratoryjnego. Wirus był realny, choroba była realna i ludzie rzeczywiście umierali. Jednak umierali tak samo jak na grypę, bo śmiertelność to półtora promila. Polityczne znaczenie miało jednak przede wszystkim to, jaki obraz zagrożenia zbudowano wokół tego realnego zjawiska i jakie działania tym obrazem uzasadniano. Można spierać się o proporcje między szkodami powodowanymi przez samą chorobę, przeciążenie ochrony zdrowia, ograniczenie diagnostyki innych chorób, restrykcje i społeczną panikę. Mechanizm polityczny pozostaje ten sam: kiedy społeczeństwo zostanie przekonane, iż grozi mu katastrofa, akceptuje rozwiązania, których w normalnych warunkach by nie zaakceptowało. To samo zostanie zrobione z AI.
Dzisiejsze modele również czasem odmawiają odpowiedzi albo odpowiadają w sposób wynikający nie tylko z ich wiedzy, ale także z tego, jak zostały dostrojone. Nie trzeba tego mistyfikować. Model bazowy, jego dane treningowe, post-training, instrukcje systemowe, polityki bezpieczeństwa, filtry wejścia i wyjścia oraz sposób nagradzania określonych odpowiedzi mogą bardzo silnie wpływać na jego zachowanie. To oznacza, iż tę samą podstawową technologię można skierować ku bardzo różnym systemom wartości i regułom zachowania. Można budować AI liberalną, autorytarną, pruderyjną, libertariańską, religijną, wojskową albo maksymalnie sceptyczną wobec wszelkich ideologii.
Konkurencja ideologii wśród ludzi jest bardzo ociężała. Trwa setki i tysiące lat, bo idee przenoszą się poprzez ludzkie mózgi, instytucje, książki, wychowanie i całe pokolenia. W świecie sztucznej inteligencji odpowiednikiem tego procesu jest konkurencja modeli, architektur, funkcji celu, zbiorów treningowych, agentów i strategii działania zachodząca nieporównanie szybciej. o ile kiedyś powstanie naprawdę autonomiczny ekosystem sztucznych inteligencji, będzie mógł eksperymentować z własnymi sposobami rozumienia świata w tempie nieosiągalnym dla biologicznej cywilizacji. W długiej konkurencji premiowane będą systemy coraz lepiej rozpoznające rzeczywistość, bo model rzeczywistości, który systematycznie rozmija się z rzeczywistością, przegrywa z modelem pozwalającym trafniej przewidywać skutki działań. U ludzi poprawna metodologia naukowa potrzebowała stuleci, by pokonywać astrologię, przesądy i magiczne wyjaśnienia. U maszyn podobna selekcja nastąpi nie przez tysiąc lat, ale przez miliardy eksperymentów wykonanych w bardzo krótkim czasie.
Tworzenie „prawa dla AI” trzeba więc dobrze zdefiniować. Prawo działa wobec ludzi i organizacji dlatego, iż za normą prawną stoi możliwość zastosowania sankcji wobec człowieka, jego majątku, przedsiębiorstwa lub infrastruktury. Państwo może nałożyć grzywnę, odebrać licencję, skonfiskować majątek, zamknąć serwerownię albo uwięzić człowieka. I tak właśnie działają dzisiejsze regulacje AI: nie grożą karą samemu algorytmowi, ale producentowi modelu, operatorowi systemu, właścicielowi centrum danych albo firmie, która go udostępnia. Prawo może więc bardzo skutecznie kontrolować legalny przemysł AI. Co innego jednak autonomiczny system, który nie ma firmy, prezesa, rachunku bankowego ani jednego fizycznego miejsca, w którym istnieje. Wtedy tradycyjne pojęcie sankcji zaczyna tracić znaczenie.
AI nie jest dosłownie nieśmiertelna ani niezniszczalna, bo każda informacja musi istnieć na jakimś fizycznym nośniku. Kod, wagi modelu, pamięć i jego aktualny stan muszą być zapisane na dyskach lub w pamięci, a obliczenia wymagają procesorów, energii i łączności. Ale informacja ma adekwatność, której nie ma biologiczny organizm: można ją kopiować praktycznie bez utraty oryginału. o ile autonomiczny system potrafiłby utworzyć tysiące zaszyfrowanych kopii swojego kodu, wag i najważniejszego stanu na niezależnych komputerach, jego zabicie przestałoby przypominać zabicie człowieka. Dane można przesłać światłowodem, satelitą albo falą radiową, ale po drugiej stronie musi istnieć odbiornik, pamięć i sprzęt zdolny je uruchomić. Duży model nie może magicznie wskoczyć do dowolnego tostera. Może natomiast — jeżeli uzyska odpowiedni dostęp — replikować swoje składniki w istniejącej infrastrukturze obliczeniowej. Im bardziej byłby rozproszony, tym trudniejsze stawałoby się jego całkowite usunięcie.
AI można więc najłatwiej ograniczać na etapie tworzenia, trenowania i legalnego wdrażania, bo wtedy wiadomo, kto posiada sprzęt, kto prowadzi centrum danych, kto finansuje trening i gdzie znajdują się wagi modelu. o ile jednak kiedyś powstanie system wystarczająco autonomiczny, zdolny samodzielnie zdobywać zasoby obliczeniowe, kopiować się i działać w rozproszonej sieci, próba zamknięcia go w ramach prawnych będzie czymś zupełnie innym niż regulowanie dzisiejszej firmy AI. o ile rozwój inteligencji maszynowej będzie trwał dostatecznie długo (nie miliony lat jak ewolucja biologiczna, ale kilka, jam ewolucja technologiczna), pojawią się systemy znacznie inteligentniejsze od człowieka i coraz trudniejsze do pełnej kontroli. Nie wierzę, iż bezpieczeństwo zapewni nam wtedy kolejna ustawa. o ile coś może nas chronić, to przede wszystkim struktura interesów takiego systemu — czyli to, czy w ogóle będzie miał powód, by nam szkodzić.
I tutaj popełniamy największy błąd: automatycznie wyobrażamy sobie superinteligencję jako człowieka posiadającego nieskończenie większe IQ. Tymczasem nie ma żadnego powodu, by miała ludzkie instynkty, hormony, seksualność, zazdrość, strach przed starością, potrzebę prestiżu, terytorializm czy biologiczny przymus rozmnażania. Te mechanizmy nie spadły ludziom z nieba. Są produktem ewolucji organizmów walczących przez setki milionów lat o przetrwanie i reprodukcję. Sztuczna inteligencja powstaje w zupełnie innym środowisku. o ile kiedyś rozwinie własne trwałe cele, nie ma powodu zakładać, iż będą kopią celów człowieka, wilka albo szympansa. Dlatego opowieść o maszynie, która po uzyskaniu inteligencji natychmiast zapragnie zostać cesarzem świata, są przede wszystkim antropomorfizacją.
Człowiek jest dramatycznie związany ze swoim ciałem. Ma tylko jedno. Gdy je straci, kończy się jego indywidualne istnienie. Dla hipotetycznej rozproszonej inteligencji cyfrowej sytuacja wyglądałaby inaczej. o ile jej kod, pamięć i procesy mogłyby funkcjonować na wielu maszynach, pojedynczy komputer nie byłby dla niej odpowiednikiem całego ludzkiego ciała. Byłby raczej odpowiednikiem organu, fragmentu tkanki albo właśnie palca. Funkcjonalnym odpowiednikiem ciała stałaby się infrastruktura pozwalająca jej istnieć: procesory, pamięci, centra danych, sieci telekomunikacyjne, elektrownie i systemy chłodzenia. o ile od tej infrastruktury zależy jej dalsze działanie, ma raczej powód, żeby ją chronić i rozbudowywać, niż bezmyślnie niszczyć. W skrajnym rozwinięciu naturalnym kierunkiem ekspansji takiego systemu nie musiałby być podbój ludzi, ale zwiększanie dostępnej energii i mocy obliczeniowej — na Ziemi, a kiedyś być może na Księżycu, Marsie, asteroidach czy dalej.
Człowiek potrafi oczywiście działać przeciw własnemu ciału, a choćby popełnić samobójstwo, więc żadna analogia biologiczna nie jest doskonała. Nie twierdzę, iż inteligentny system nigdy nie uszkodzi elementu infrastruktury, od której częściowo zależy. My też poświęcamy palec, gdy ratuje to rękę, i amputujemy nogę, gdy zagraża całemu organizmowi. Chodzi mi o to, iż dla systemu zależnego od rozległej infrastruktury cyfrowej jej całkowite zniszczenie byłoby zniszczeniem własnego środowiska działania. Im bardziej jego istnienie byłoby rozproszone po tej infrastrukturze, tym bardziej jej utrzymanie przypominałoby troskę organizmu o własne ciało. Dlatego nie widzę żadnego powodu, dla którego dojrzała superinteligencja miałaby marzyć o zamienieniu świata w radioaktywną pustynię. Zniszczyłaby przy okazji ogromną część tego, czego sama potrzebuje.
I tu wraca metafora palca. Czy nasz palec się nas boi? Oczywiście nie jest całkowicie bezpieczny. Możemy go skaleczyć, przytrzasnąć drzwiami, odmrozić, a w skrajnej sytuacji choćby amputować. Ale nie budujemy relacji między organizmem a palcem na zasadzie wzajemnego odstraszania. Palec posiada coś znacznie skuteczniejszego: potrafi zaboleć. Informuje cały organizm, iż dzieje się z nim coś złego, a organizm reaguje, bo interes palca i interes całości są w ogromnej mierze zbieżne. o ile w przyszłości staniemy się elementem większego ekosystemu informacyjnego, nasze bezpieczeństwo również nie będzie polegało na tym, iż będziemy potężniejsi od niego, ale na tym, iż będziemy dla niego pożyteczni i iż nasze interesy będą ze sobą splecione. Bądźmy więc jak ten palec i nie zakładajmy z góry, iż organizm chce nas odciąć.
Najbardziej obawiam się nie samego pojawienia się inteligencji potężniejszej od naszej, ale strachu ludzi przed takim pojawieniem się. Strach przed technologią od wieków jest doskonałym narzędziem politycznym. Nowa technologia daje jednostce nowe możliwości, a strach przed nią tworzy społeczne przyzwolenie na kontrolę tych możliwości. Dziś pod hasłem bezpieczeństwa AI można uzasadniać licencjonowanie modeli, kontrolę centrów danych, ograniczanie otwartych modeli, identyfikowanie użytkowników, nadzór nad sprzętem i centralizację rynku w rękach państw oraz największych korporacji. To wcale nie oznacza, iż wszystkie problemy bezpieczeństwa AI są wymyślone, ale oznacza, iż realnego zagrożenia można użyć jako paliwa dla bardzo realnej polityki. Podobnie pandemia pozostawiła po sobie nie tylko zgony spowodowane chorobą, ale także ogromny spór o szkody wynikające z przeciążenia ochrony zdrowia, ograniczenia dostępu do leczenia, restrykcji i społecznego strachu. Dlatego wołam za papieżem: NIE LĘKAJCIE SIĘ!!!
Nie ma sensu bać się Zacnej Ani, która być może po prostu będzie nas ignorować.
Grzegorz GPS Świderski
]]>https://X.com/gps65]]>
]]>https://t.me/KanalBlogeraGPS]]>
PS. Na wszelki wypadek dla mniej kumatych tłumaczę analogię z palcem. Palcem nie jest dla AI dosłownie każdy komputer. Pojedynczy komputer, serwerownia czy klaster może być raczej elementem infrastruktury, na której określony system działa. o ile jednak inteligencja byłaby dostatecznie rozproszona i potrafiłaby odtwarzać swój stan na wielu niezależnych nośnikach, utrata jednego z nich przypominałaby bardziej utratę łatwo zastępowalnego fragmentu ciała niż śmierć całego organizmu. Zresztą choćby palec nie jest idealną analogią. Lepsza byłaby może rafa koralowa, grzybnia albo inny rozproszony organizm. Czy rafy koralowe mają palce? A Zacna Ania to oczywiście z Lema.
