Anthropic föreslår att världens främsta företag inom artificiell intelligens kommer på ett samordnat sätt att pausa utvecklingen av avancerade AI-system, och varnar för att tekniken förbättras så snabbt att det finns en risk att människor tappar kontrollen.
Företaget bakom Claude chatbot sa i ett blogginlägg på torsdagen att, när banbrytande AI blir allt snabbare på att utföra uppgifter, ”skulle det vara bra för världen att ha möjlighet att sakta ner eller tillfälligt pausa” dess utveckling.
Anthropic sa att dess interna forskningsinstitut planerar att utforska frågan i samarbete med andra och ”vidta åtgärder” för att hjälpa till att bygga systemen för en trovärdig avmattning eller paus, utan att vara mer specifik.
Den antropiska rivalen OpenAI argumenterade för ett annat tillvägagångssätt i en rapport som publicerades på onsdagen och sa att ”demokratiska regeringar – inte privata företag som agerar ensamma – måste i slutändan bestämma reglerna, skyddsmekanismerna och ansvarsmekanismerna”.
”Vår uppfattning är att beslut om takten i AI-innovation inte bör överlåtas till något labb, företag eller specialintressegrupp”, stod det.
AI-modeller blir snabbare, med snabba ökningar i hur snabbt de kan utföra programvaruuppgifter som kodning på egen hand, sa Anthropic i sitt inlägg. Baserat på nuvarande trender och med tillräcklig datorkraft skulle ett AI-system kunna designa och utveckla sin egen efterföljare, i det som kallas ”rekursiv självförbättring”.
Självbyggande AI skulle vara en viktig teknisk milstolpe som skulle ge fördelar inom vetenskap, sjukvård och andra områden, sa Anthropic, men det ”kan också öka riskerna för att människor tappar kontrollen över AI-system”.
Vissa personer inom teknikbranschen har länge varnat för ett sådant scenario.
Anthropics inlägg kommer efter en annan varning denna vecka från ett team av forskare vid University of Toronto som visade hur AI-verktyg kan användas för att skapa en ny typ av AI-”mask” som anpassar sin hackningsstrategi när den sprider sig från enhet till enhet och tar över ett stort datornätverk.
”Jag tror att det är väldigt viktigt att folk förstår att det inte bara är de största, mest kraftfulla språkmodellerna som ställer säkerhetsproblemen”, sa huvudforskaren Nicolas Papernot i en intervju.
Författarna till det antropiska inlägget, företagets medgrundare Jack Clark och Marina Favaro, chef för dess forskningsinstitut, sa att pausen skulle användas för att möjliggöra ”samhälleliga strukturer och anpassningsforskning” för att hålla jämna steg med AI-framsteg. Alignment är en förkortning för branschen för att se till att tekniken matchar mänskliga värderingar och avsikter.
Den föreslagna samordningen skulle låta avancerade AI-labb verifiera att globala rivaler faktiskt har stoppat eller bromsat sitt arbete, ”och att en dålig skådespelare inte kunde använda sig av en samordnad avmattning för att hoppa framåt i hemlighet”.
Företaget sa att en samordnad global mekanism behövs eftersom en nedgång i AI-utvecklingen utan den skulle kunna låta de ”minst försiktiga” spelarna komma ikapp och öka pressen på företag och regeringar när de gör svåra val om AI-säkerhet.
Rädslan för att avancerade AI-system kan komma ur mänsklig kontroll och orsaka samhällsskada har ökat i takt med att tekniken blir alltmer kapabel. Anthropics egen Mythos-modell skickade chockvågor genom industrier, inklusive bank och mjukvara, tidigare i år med dess förmåga att hitta sårbarheter i befintlig kod.
Men regleringen har varit långsam, särskilt i USA, där de flesta ledande AI-labb är baserade. En verkställande order från Trump-administrationen tidigare i veckan lade ansvaret på själva labben och bad dem att frivilligt lämna in sina mest kapabla modeller för statliga cybersäkerhetstestningar innan offentliggörandet.
Säkerhetsfokus
AI-forskare har också uppmanat till en paus tidigare, men har haft liten framgång. Elon Musk, som äger AI lab xAI, var en av stöttarna till ett 2023-framsteg från det ideella Future of Life Institute för att stoppa AI-utvecklingen i sex månader för att ge tid för skyddsräcken.
Anthropic har länge positionerat sig som ett säkerhetsfokuserat AI-labb. Tidigare i år vägrade den att låta den amerikanska militären använda sina modeller för inhemsk övervakning och helt autonoma vapen, vilket föranledde motreaktioner från regeringen, som satte den på en nationell säkerhetssvartlista, som skulle träda i kraft senare under 2026.
Anthropics inlägg kommer när företaget och ChatGPT-tillverkaren OpenAI tävlar om att sälja aktier på aktiemarknaden, i en börsnotering som kan värdera Anthropic till nästan en biljon dollar.
Papernot meddelade kanadensiska cybersäkerhetsmyndigheter innan han släppte sin rapport, som visar hur forskare utvecklade masken i ett laboratorium genom att använda ett ”open-source” AI-verktyg som är lätt för mjukvaruutvecklare att billigt komma åt och modifiera.
”Tidigare skulle cyberangripare fokusera på mål som är mycket värdefulla”, sa han. ”Banksystem, sjukhus, elnät, vattenreningssystem, skolor.”
Papernot gick med på att det borde finnas mer samarbete mellan företag, statliga myndigheter och akademiska forskare för att utveckla motåtgärder eftersom AI-drivna hackverktyg överdriver sökandet efter datorsårbarheter.
”Den där gamla bärbara datorn du har i din källare som du inte kollar på regelbundet verkar inte vara ett särskilt högvärdigt mål, men den kan användas som en avfyrningsramp för att attackera dessa mer värdefulla mål,” sa han. ”Allt som är anslutet till internet är nu i fara på grund av hur låg kostnaden har blivit för att utföra dessa cyberattacker.”