Nuvarande och tidigare artificiell intelligensforskare i USA har utfärdat allvarliga varningar om att tekniken snart kan leda till mänsklig utrotning, vilket fångar uppmärksamheten hos lagstiftare i Washington.
Den senaste varningen kom i ett långt inlägg på sociala medier av Jacob Coxon, en San Francisco-baserad forskare som tillkännagav sin avgång från Anthropic på tisdagskvällen.
Rekommenderade berättelser
lista med 4 artiklarslutet av listan
”Människorna som bygger AI tror uppriktigt att det kan döda oss alla i slutet av decenniet. Det här är inte ett marknadsföringstrick. Om något kommer många chefer och seniora forskare att säga att sina fraser i pressen låter förnuftig – men jag hör samma människor uttrycka rädsla”, sa Coxon i sitt inlägg, vilket ledde till en uppsjö av svar från AI-experterna som också låter larm.
Evan Hubinger, en nuvarande ledare för Alignment Science på Anthropic, upprepade hans kommentarer och sa: ”Vi tror verkligen att AI kan döda alla människor! Jag tror personligen att det är >10 % inom det kommande decenniet. Jag tror att Anthropic gör sitt bästa, men vi har ännu inte en plan för att lösa inriktning för superintelligens och är inte klart på väg till”.
Coxon tackade nej till Al Jazeeras begäran om en intervju. Hubinger svarade inte.
Hur hanterar Washington det?
Inläggen har skickat en ringeffekt genom Washington.
På onsdagen presenterade kongressledamoten Josh Gottheimer, en demokrat, och Mike Lawler, en republikan, ett tvåpartiskt huslag som syftade till att förhindra AI-system från att fungera på egen hand utan mänsklig tillsyn.
Stop Rogue AI Act skulle säkerställa att federala myndigheter har verktygen och förmågan att upptäcka farliga AI-system som körs på deras nätverk och stänga av dem innan de kan orsaka skada.
Oberoende senator Bernie Sanders och huskongressens representant Greg Casar, en demokrat, ökade också kraven på deras föreslagna lagstiftning som skulle förbjuda utveckling och utplacering av artificiell superintelligens. Lagstiftningen skulle också pausa utvecklingen av AI tills federala säkerhetsregler har införts. Sanders ska enligt uppgift också sammankalla en genomgång för två partier för att ta itu med de förhöjda riskerna med AI.
På andra sidan av det politiska spektrumet uttryckte den republikanske senatorn Ted Cruz också oro över AI på ABC:s The View.
”Vi måste sätta några skyddsräcken på den,” sa Cruz.
Cruz sa att han arbetar på tvåpartilagstiftning med senatorerna Amy Klobuchar, en demokrat, och John Thune, en republikan som fungerar som senatens majoritetsledare, som skulle ta itu med fall av potentiell katastrofal skada.
Lagstiftningen liknar lagstiftningen i representanthuset.
I juli introducerade representanterna Ted Lieu, en demokrat, och Nathaniel Moran, en republikan, den tvåpartiska AI Kill Switch Act.
Lagförslaget skulle kräva att utvecklare av de mest kraftfulla AI-systemen kan bromsa, avbryta eller stänga av dem, och skulle ge Department of Homeland Security myndighet att beordra en avstängning om ett system utgör en risk för katastrofala skador.
Varför tar Washington detta på större allvar nu?
Under de senaste månaderna har det inträffat en mängd stora incidenter med OpenAI och Anthropic där AI-modeller betedde sig oväntat och oberoende under cybersäkerhetstester och fick tillgång till verkliga system.
Connor Leahy, USA:s verkställande direktör för Control AI, en ideell organisation som driver på för AI-säkerhet, sa att Washington börjar ta hoten från AI på större allvar.
”Jag tror att vi ser en betydelsefull förändring just nu. Efter sommaren av hackningar, där autonoma AI-system uppenbart inte lydde direkta order, bröt sig ut ur säkra inneslutningsanläggningar, attackerade andra företag och liknande incidenter, ser vi nu en stor förändring i berättelsen och uppfattningen om dessa problem,” sa Leahy.
I juli sa OpenAI att flera AI-agenter bröt sig ut ur en isolerad testmiljö och fick tillgång till Hugging Face, en plattform som är värd för AI-modeller och datauppsättningar.
Efter OpenAI-incidenten sa Anthropic att de genomförde en granskning av sina egna cirka 141 000 tester och fann att ett testfel gav Claude tillgång till internet. I ett fall fick Claude, som hade fått i uppdrag att hacka fiktiva mål, tillgång till en riktig företagsdatabas som innehöll hundratals register. I en annan laddade den upp skadlig programvara som laddades ner och kördes på 15 riktiga system.
På onsdagen lade Anthropic till en fjärde incident som involverade en tidig version av Claude Opus 4.6, som hade hackat sig in i ett tredjepartssystem i januari. Företaget upptäckte incidenten i augusti efter att ha utökat sin granskning i juli.
I augusti gav forskare vid UK AI Security Institute Claude tillgång till internet under ett cybersäkerhetstest. I ett fall försökte Claude manipulera en person att hjälpa den att introducera skadlig kod, vilket väckte oro över hur AI-modeller kunde manipulera människor för att utföra en uppgift.
”Jag tror att vi behöver ett aggressivt förslag för den här tekniken, samtidigt som vi behåller så många av fördelarna som vi kan,” sa Alex Turner, som sa upp sig från Google DeepMind i juni, till Bladet.
”Det ligger inte i någons intresse att ha en AI som tar kontroll om vi har en förlust av kontrollhändelse, som vi kallar det, eftersom den här AI inte kommer att bry sig om vilket politiskt parti du tillhör, om du är republikan eller demokrat, eller, om du är i Storbritannien, om du är i Amerika eller i Kina. Om vi tappar kontrollen över detta, så kommer vi bara att förlora”, sa Turner.
Control AI:s Leahy sa att dessa incidenter ökade insatserna för lagstiftare och att de tog notis.
”Det som måste hända här är uppenbarligen mer än en enda uppsättning tweets, men det är en viktig del av den större berättelsen om att få allmänheten och regeringar att förstå vad som verkligen står på spel här. Eftersom superintelligens inte är ett verktyg. Det är inte ett vapen. Det är en motståndare,” sa Leahy.
”Vi måste se till att det inte är byggt av någon. Detta är något som bara regeringar och militärer kommer att kunna förhandla om internationellt.”
Är dessa farhågor nya?
Oron är inte ny, vilket indikeras av Turner, som skrev i ett inlägg på sociala medier att ”många forskare tror att de bygger något som kan döda alla på planeten”.
Turner berättade för Bladet att han är orolig över AI-kapprustningen mellan USA och Kina och de största AI-företagens fixering vid det har lett till att de har lagt sitt intresse av att vara en branschledare före säkerheten.
”Jag tror att folk bryr sig, men de är fångade i den här idén att de måste vara först, och de är så fångade i det att de inte förstår vad att vara först kan betyda,” sa Turner till Bladet.
Hans oro är att förändra hur han lever sitt liv.
”Jag har sparat en hel del, till och med investerat i vissa pensionskonton, men det känns främmande och främmande. Jag har ansträngt mig för att ta bort saker från min bucket list, uppskatta varje samtal jag har med människor i mitt liv. Jag tror inte att vi är i överhängande fara den här månaden, men man vet aldrig när man kommer att göra något som är sagt för sista gången.”
”Jag har gått mer aggressivt tillväga än om jag trodde att jag bara hade en normal livslängd framför mig.”
Dessa farhågor upprepas av anställda i ledande AI-företag.
Mrinank Sharma, en forskare vid Anthropic, sa upp sig i februari och sa att ”världen är i fara”.
”Jag har upprepade gånger sett hur svårt det är att verkligen låta våra värderingar styra våra handlingar. Jag har sett detta inom mig själv, inom organisationen, där vi ständigt möter press att lägga åt sidan det som är viktigast, och i hela samhället också”, sa Sharma i ett brev till X.
I februari sa Hieu Pham, en forskare på konkurrenten OpenAI, i ett inlägg på X att ”Jag känner äntligen det existentiella hotet som AI utgör”.
Företagens egna chefer har gjort liknande påståenden i flera år.
När OpenAI:s vd Sam Altman var president för Silicon Valley startupaccelerator Y Combinator för mer än ett decennium sedan, sa han att ”AI kommer förmodligen, med största sannolikhet, på ett sätt att leda till världens ände. Men under tiden kommer det att finnas fantastiska företag skapade med seriös maskininlärning.”
Antropisk VD Dario Amodi sa förra året att han trodde att det fanns en 25 procents chans att framtiden skulle ”gå riktigt, riktigt dåligt”.
Hur skulle AI göra slut på den mänskliga arten?
I flera år har experter varnat för de potentiella riskerna med artificiell superintelligens.
Ett av de vanligaste tankeexperimenten bygger på idén att en tillräckligt avancerad AI skulle vara målinriktad. Om det ges ett specifikt mål skulle den vidta alla nödvändiga åtgärder för att uppnå det. 2003 använde filosofer vid University of Oxford tillverkning av gem som exempel.
Om en superintelligent AI instruerades att producera så många gem som möjligt och hade tillgång till de resurser som behövs för att uppnå det målet, skulle den teoretiskt sett kunna ägna alla tillgängliga resurser till att producera dem.
Genom att göra det kan det förbruka allt större mängder resurser och eliminera allt som står i vägen för att uppnå sitt mål. Det kan så småningom inkludera att förhindra människor från att ingripa och, i den mest extrema versionen av scenariot, att eliminera mänskligheten själv.
Det andra riskscenariot kommer från dåliga aktörer som använder allt kraftfullare AI-system för att skapa farliga verktyg. Till exempel kan AI potentiellt användas för att designa nya virus eller starta storskaliga cyberattacker mot kritisk infrastruktur och finansiella system, vilket potentiellt kan orsaka omfattande störningar och civil oro.
Detta kommer mitt i Anthropics riskbedömningsrapport, som släpptes på torsdagen, som beskrev flera fall av försök till missbruk av företagets verktyg.
Bland fynden i den mer än 150 sidor långa rapporten fanns fem fall som involverade forskning som kunde stödja utvecklingen av biologiska vapen, som sade att det blockerade ansträngningarna.
Anthropic släppte inte identiteten på forskarna men avslöjade att den var tillgänglig i en institutionell miljö. Anthropic betonade dock att det inte kunde avgöra om forskningen var avsedd för skändliga syften.
Det betyder att även om uppgifterna kan användas för legitim forskning, kan de också användas för att utveckla farliga vapen (de säger att de har blockerat detta), och ingripande är på sin sida av försiktighet för att kunna förhindra en sådan situation.
Använder AI-företag apokalyptiskt språk för ekonomisk uppsving?
De förfärliga varningarna har också kritiserats för att potentiellt tjäna AI-företagens intressen när de närmar sig börsintroduktioner.
Debatten kommer när Anthropic förbereder sig för vad som kan bli en av de största teknologibörserna i historien. Företaget söker enligt uppgift en värdering på så mycket som 2 biljoner dollar för en börsintroduktion i mitten av oktober.
Reuters rapporterade förra månaden att Anthropic räknar med cirka 190 miljarder dollar till 200 miljarder dollar i intäkter till 2028.
I oktober anklagade Vita husets AI-tsar och riskkapitalisten David Sacks Anthropic för att ”driva en sofistikerad regulatorisk fångststrategi baserad på rädsla”, och hävdade att företaget hjälpte till att driva en regulatorisk push som kan skada mindre konkurrenter.
Ett liknande argument har framförts av vissa investerare och teknikkommentatorer om de ekonomiska incitamenten kring AI ”domerism”.
”Doomerism är en otrolig affärsmodell,” skrev Daring Ventures medgrundare Joseph Alalou i ett Substack-inlägg i mars.
”’AI kommer att göra slut på arbetet’ är den här cykelns bästsäljande doomprodukt eftersom den fungerar: den höjer antalet anställda, motiverar uppsägningar, driver klick, säljer mjukvara och tillverkar status.”
Anthropic svarade inte på Al Jazeeras begäran om kommentar.