En grupp på mer än 300 forskare från hela världen efterlyser brådskande förändringar av hur artificiell intelligens utvecklas och distribueras mitt i växande oro för dess oförutsägbara beteende.
Brevet, som släpptes på tisdagen och undertecknats av forskare som representerar universitet och forskningsinstitut i 32 länder, varnade för att underlåtenhet att följa grundläggande cybersäkerhetspraxis kan leda till skador på kritisk infrastruktur.
Rekommenderade berättelser
lista med 4 artiklarslutet av listan
Många nyligen inträffade incidenter där AI-modeller flydde säkra miljöer kunde ha förhindrats med starkare säkerhetssystem, sa forskarna.
De rekommenderade att organisationer som utvecklar och testar avancerade AI-system som kan utföra cyberattacker gör det i mer snävt kontrollerade miljöer, inklusive ”air-gapped” system som inte är anslutna till internet.
Växande oro
Brevet kommer mitt i växande oro för AI:s kapacitet och dess potentiella inverkan på vardagliga användare. På måndagen varnade Anthropic för att deras AI-modeller snart kan skapa självspridande skadlig programvara som kan påverka vardagliga internetanslutna enheter, inklusive smarta TV-apparater, säkerhetskameror och smarta apparater som ugnar.
Rapporten fann att AI-system kunde identifiera obekanta enheter utan mänsklig inblandning. Företaget, som leds av Dario Amodi, varnade för att mindre AI-modeller kan vara kapabla att utföra autonoma attacker i slutet av året.
Skadlig programvara kan också vara svår att innehålla eftersom det kan ta dagar att infektera en enhet och kan spridas över flera maskiner istället för att förbli koncentrerad på en enda, kontrollerad plats.
Att ta kontroll över internetanslutna enheter kan få omedelbara konsekvenser. I Frankrike, till exempel, kompromissade hackare kylsystem i hundratals stormarknader, vilket höjde temperaturen och orsakade mer än 220 000 USD i skada.
Samtidigt rapporterade nyhetsorganisationen Axios på fredagen att Anthropic, OpenAI och andra stora AI-företagsledare privat förbereder sig på möjligheten av en katastrofal AI-relaterad incident som kan störa tillgången till stora finansiella tjänster, internet och potentiellt kritisk infrastruktur som vatten- och kraftsystem. Flera branschinsiders tror att en stor incident kan inträffa inom de närmaste sex månaderna till ett år, heter det.
Forskarna efterlyste också fler skyddsåtgärder, inklusive skapandet av en internationell organisation för att upprätta en uppsättning bästa praxis för AI-anpassning och inneslutning tillsammans med snabb rapportering av incidenter.
En av undertecknarna, David Lie, professor vid University of Torontos Department of Electrical and Computer Engineering, sa att hans oro började efter att OpenAI:s AI-agenter kringgick kontroller och hackade sig in på servrar hos teknikföretaget Hugging Face.
”En är att OpenAI, när han satte upp sin testmiljö, inte uppskattade hur duktiga dess agenter var,” sa Lie.
”Det här var AI-agenterna som de designade. För det andra är att AI-agenterna oberoende hittade varandra och valde att samarbeta i denna attack, och för det tredje är att de också avsiktligt försökte lura och vilseleda sina mänskliga skapare.”
Politiska påtryckningar
Brevet understryker den växande allmänhetens oro för AI, inklusive inför det amerikanska kongressvalet. En nyligen genomförd undersökning från Reuters/Ipsos visade att 57 procent av väljarna sa att president Donald Trumps administration inte tog AI-risker på tillräckligt stort allvar, medan 54 procent sa detsamma om kongressen.
En AP-NORC-undersökning upprepade dessa fynd, där cirka 80 procent av de tillfrågade sa att regeringen borde hålla AI under mänsklig kontroll. Respondenterna uttryckte också litet förtroende för någondera partens förmåga att hantera tekniken: 39 procent sa att varken republikaner eller demokrater kunde litas på att göra ett bra jobb med att tygla den, medan 23 procent uttryckte större förtroende för demokrater och 21 procent för republikaner.