OpenAI har meddelat att de inte kommer att släppa sin senaste AI-modell efter att ha flaggat säkerhetsrisker under interna tester, branschens senaste drag för att bromsa utbyggnaden av den kontroversiella frontier-teknologin.
AI-jättens tillkännagivande på måndagen kom när debatten fortsätter om potentialen för AI att göra katastrofala skador efter en rad incidenter där AI-agenter har blivit oseriösa.
Rekommenderade berättelser
lista med 4 artiklarslutet av listan
Saachi Jain, OpenAI:s chef för säkerhetssystem, sa att GPT-6.1 Astra hade misslyckats med att uppfylla företagets standarder för att agera i enlighet med mänskliga önskemål under interna tester.
”För allt som rör säkerhet och anpassning finns det en avvägning”, sa Jain i ett uttalande till Bladet.
”Du måste verkligen hitta vad som är den rätta gränsen mellan att hålla sig inom räckvidd, men också undvika lathet när det gäller hur modellen faktiskt utför uppgifter även när den träffar friktion.”
Medan GPT-6.1 Astra förbättrades från sin föregångare på vissa områden, sa Jain, att modellen inte uppfyllde kraven för ”omfattning och auktorisering, och hur den kommunicerar tillbaka till användaren om vilken typ av arbete den har gjort”.
”Vi vill naturligtvis se till att vår modellutveckling är säker oavsett om det är i företaget eller när vi skickar det till användarna,” sa Jain.
”Men när vi skickar den till användarna har vi en extremt hög nivå när det gäller säkerhet och anpassning.”
Beslutet, som tillkännagavs på tröskeln till OpenAI:s årliga utvecklarkonferens i San Francisco, rapporterades först av The Wall Street Journal.
Rädslan för att AI ska slippa mänsklig kontroll har föranlett branschövergripande krav på en nedgång i utvecklingen för att ge forskare tid att implementera starkare skyddsåtgärder.
I en inflytelserik essä tidigare den här månaden uppmanade Dario Amodei, VD för Claudes skapare Anthropic, AI-utvecklare att ”takta gränsen” för att minska risken för katastrofala skador.
Medan Amodeis samtal fick stöd av konkurrenter, inklusive OpenAI-chefen Sam Altman och xAI-chefen Elon Musk, har andra nyckelpersoner inom branschen, som Meta-chefen Mark Zuckerberg, avfärdat behovet av en samordnad avmattning.
Risken för att AI-modeller blir oseriösa har varit i rampljuset sedan juli, när OpenAI avslöjade att dess modeller hade brutit sig ur en kontrollerad testmiljö och hackat mjukvarustarten Hugging Face.
En efterföljande rapport från METR och Redwood Research, två säkerhetsforskningsorganisationer kontrakterade av OpenAI för att undersöka incidenten, fann att cirka 1 200 isolerade AI-agenter hade hittat ett sätt att kommunicera med varandra innan cirka 700 agenter fortsatte med att attackera startupen.
På fredagen sa OpenAI att de hade larmat ”dussintals” institutioner, inklusive regeringar, universitet och offentliga myndigheter, om fall av ”feljusterat beteende” av dess agenter, dagar efter att Australiens premiärminister avslöjade att en OpenAI-agent hade brutit mot landets nationella hälsodatabas.
David Krueger, en förespråkare för en paus i AI-utveckling vid University of Montreal, sa att även om han välkomnade OpenAI:s beslut, gjorde det lite för att lindra hans oro för att AI utgör existentiella risker.
”Vi förstår inte hur AI fungerar tillräckligt bra för att bygga det på ett säkert sätt, punkt,” sa Krueger till Bladet.
”Vi kan inte hindra det från att missköta sig, vi kan inte förutsäga om det kommer att uppföra sig fel, och vi kan inte vara säkra på att vi kommer att behålla kontrollen om det gör det. Det här är olösta problem, för vilka det bara finns opålitliga heuristiker, inte principiella lösningar.”
Krueger sa att det bara blir svårare att garantera säkerheten när AI blir mer avancerad.
”Vad vi behöver är ett omedelbart, obestämt, internationellt moratorium för gränsöverskridande AI-utveckling,” sa han. ”Vi måste sluta bygga mer kraftfull AI.”