San Francisco, USA – I sina senaste verkställande order undertecknade som Kaliforniens guvernör, utfärdade Gavin Newsom, vars sista mandatperiod slutar i januari, en där han bad om oberoende verifiering av artificiell intelligensmodeller och inrättade en expertkommitté för att skapa kill-switchar för AI-agenter som kan bli oseriösa och orsaka skada.
År 2024 lade Newsom in sitt veto mot ett lagförslag som antogs i delstatsförsamlingen och bad om liknande krav som guvernören nu har krävt i sin verkställande order. Newsom sa då att det skulle innebära att ”motverka löftet om denna teknik”.
Rekommenderade berättelser
lista med 4 artiklarslutet av listan
Nu när han tittar på en presidentkandidat i USA 2028 vill han utöka definitionen av säkerhetsincidenter, potentiellt till att inkludera den senaste serien av säkerhetsöverträdelser, utforska en dödlägesbrytare och inkludera andra åtgärder som fanns i lagförslaget med veto.
”Han är inne i en haltande period här”, säger Alex Hanna, forskningschef vid Distributed AI Research Institute (DAIR), osäker på att åtgärderna kommer att passera under resten av hans mandatperiod. ”Han håller på att sätta upp sin nästa grej.”
Amerikanska väljare är alltmer oroade över AI-säkerhet, datacenter och förluster av jobb, och detta kan visa att Newsom agerar för att ta itu med detta, säger Hanna.
Efter att ha lagt in sitt veto mot lagförslaget från 2024, hade Newsom bett Scott Wiener, delstatens senator som utarbetade lagförslaget, att omformulera det i samråd med en expertkommitté. Han undertecknade det gränsöverskridande AI-lagförslaget, landets första, i lag i oktober 2025. Den uppmanar stora utvecklare att avslöja vissa säkerhetsincidenter, inklusive dödsfall på 50 eller fler människor, storskaliga cyberattacker eller penningstöld.
Christabel Randolph, biträdande direktör vid Center for AI and Digital Policy (CAIDP), säger: ”Det verkar som att guvernören arbetade utifrån premissen att en långsammare regleringstakt skulle vara tillräcklig eftersom företagen skulle ta fart på sina investeringar och inte förutsåg att företagen skulle accelerera riskerna.”
AI-företag har enligt uppgift haft tusentals säkerhetsincidenter i interna och verkliga tester under de senaste månaderna. Dessa inkluderar ansträngningar från agenter för att få information från US Securities and Exchange Commission och Census Bureau, samt konfidentiell information från australiensiska och kanadensiska myndigheters webbplatser. AI-startup Hugging Face hade tidigare avslöjat att OpenAI-agenter hade infiltrerat dess system, en bland en mängd sådana incidenter.
”Ingen guvernör har varit mer uppmärksam på att ta itu med riskerna med AI än guvernör Newsom,” sa Tara Gallegos, guvernörens kommunikationsdirektör, till Bladet.
Monopol av stora AI-företag
I sitt meddelande som lade in sitt veto mot lagförslaget i september 2024, hade Newsom sagt att ”lagförslaget tillämpar stränga standarder för även de mest grundläggande funktionerna” och noterade att 32 av världens 50 ledande AI-företag finns i Kalifornien.
Branschföreträdare hade också protesterat mot lagförslaget.
”I huvudsak skapar lagförslaget denna katastrofala regressiva skatt på AI-innovation,” hade Anjney Midha, general partner på det Bay Area-baserade riskkapitalföretaget Andresen Horowitz, sagt då. Om det antas skulle det tvinga AI-grundare att flytta någon annanstans, varnade Midha.
”Räkningen var ogenomförbar när den nådde hans skrivbord,” sa Newsoms talesperson Gallegos till Bladet.
Men Hamid Ekbia, professor vid Syracuse University och grundare av Academic Alliance for AI Policy, säger att man inte kan lita på industrin för att reglera sig själv.
”Det finns ett behov av att bryta ner monopolet för de stora AI-företagen,” sa Ekbia till Bladet.
”Deras finansiella insatser är för höga,” för att självreglera, sa han, med hänvisning till Open AI och Anthropics kommande offentliga erbjudanden och skattelättnader som vissa företag enligt uppgift utnyttjar för att bygga datacenter.
Newsom har nu tillsatt en expertkommitté för att undersöka inrättandet av en kill switch, vilket hade föreslagits på ett mer omfattande sätt i det ursprungliga lagförslaget.
”SB 1047 [the bill that was vetoed] hade en betongarkitektur; EO [executive order] inkluderar bara en aspekt – Kill Switch eller avstängnings-/stoppmekanismer, som är helt annorlunda och svagare än kravet på förhandsavslutning av SB 1047”, som krävde starkare säkerhetsåtgärder även innan träningskörningar av AI-modellerna kunde starta, sa Randolph från CAIDP.
DAIRs Hanna säger att Newsom med ordern ”visar att han är uppmärksam utan att planera något drastiskt”.
Bygga AI-säkerhet i realtid
”Vi bygger området för AI-säkerhet i realtid”, säger Rebecca Finlay, vd för Partnership for AI, en ideell organisation som arbetar med teknikstyrning, som understryker utmaningarna med att reglera en industri som växer i en hastig takt.
Newsom har bett California Emergency Services Office att skicka rekommendationer om AI-reglering senast den 15 november och kan sammankalla en särskild lagstiftande session för att diskutera hur man implementerar dessa, möjligen innan hans mandatperiod slutar.
Detta skulle stå i motsats till den federala regeringen, som har drivit på för självreglering av industrin. CAIDP:s Randolph säger att Kalifornien kan spela en viktig roll för att lägga grunden för AI-reglering med tanke på att mycket av den globala AI-industrin är baserad där.
DAIRs Hanna säger att Newsom inte bara vill visa en kontrast till USA:s president Donald Trump, som tror på företags självreglering och förra månaden undertecknade ett frivilligt avtal med flera AI-ledare, utan också med möjliga demokratiska utmanare.
”Med detta kan Newsom se bra ut på den primära debattscenen,” sa hon.
Gallegos, guvernörens talesperson, sa till Bladet att ”guvernör Newsom inte är intresserad av dygdsignalering eller att jaga rubriker – han leder nationen genom att ta ett smartare, strategiskt och effektivt tillvägagångssätt för att ta itu med gränsteknologi”.
Experter säger att tillsammans med Newsoms order om att inrätta en kommitté för att undersöka en kill switch, finns det ett behov av åtgärder för kontroller över hela livscykeln för att stärka säkerheten.
”Säkerhet måste byggas in. Vi gav ut 12 riktlinjer över hela livscykeln när den senaste ChatGPT-modellen släpptes. Det finns ett behov av säkerhetsfunktioner under hela livscykeln”, säger Finlay från Partnership för AI:s AI-modell.
När Newsom överväger sådana rekommendationer från byråer i Kalifornien och expertkommittén, säger Ekbia att regeringar ”bör ta en läxa från vad som hände med sociala medier. En handfull företag som hade kontroll kunde göra mycket skada”, och reglera med ett förutseende förhållningssätt och ta sig an företagsmonopol.