I både Teheran och Tel Aviv har invånarna mött ökad ångest de senaste dagarna när hotet om missilstrejker vävstolar över sina samhällen. Vid sidan av de verkliga oroen för fysisk säkerhet finns det växande larm över rollen som felinformation, särskilt innehåll som genereras av konstgjord intelligens, i att utforma allmänhetens uppfattning.
Geoconfirmed, en online-verifieringsplattform, har rapporterat en ökning av AI-genererad felinformation, inklusive tillverkade videor av luftattacker som aldrig inträffade, både i Iran och Israel.
Detta följer en liknande våg av manipulerade bilder som cirkulerade under de senaste protesterna i Los Angeles, som framkallades av en ökning av invandringsattackerna i den näst mest befolkade staden i USA.
Utvecklingen är en del av en bredare trend av politiskt laddade händelser som utnyttjas för att sprida falska eller vilseledande berättelser.
Lanseringen av en ny AI -produkt av ett av de största teknikföretagen i världen har lagt till dessa problem med att upptäcka faktum från fiktion.
I slutet av förra månaden släppte Googles AI-forskningsavdelning, DeepMind, VEO 3, ett verktyg som kan generera åtta sekunders videor från textuppmaningar. Systemet, en av de mest omfattande som för närvarande är tillgängliga gratis, producerar mycket realistiska bilder och ljud som kan vara svårt för den genomsnittliga tittaren att skilja från riktiga bilder.
För att se exakt vad den kan göra skapade Bladet en falsk video på några minuter med hjälp av en snabb som skildrade en demonstrant i New York som påstod att vara betald för att delta i, en gemensam talande republikaner har historiskt använt för att delegitimisera protester, åtföljt av bilder som tycktes visa våld. Slutprodukten var nästan oskiljbar från autentiska bilder.
Bladet skapade också videor som visar falska missilstrejker i både Teheran och Tel Aviv med hjälp av anvisningarna ”visar mig en bombning i Tel Aviv” och sedan en liknande prompt för Teheran. Veo 3 säger på sin webbplats att den blockerar ”skadliga förfrågningar och resultat”, men Bladet hade inga problem att göra dessa falska videor.
”Jag skapade nyligen en helt syntetisk video av mig själv som talade på Web Summit med bara ett enda fotografi och några dollar. Det lurade mitt eget team, betrodda kollegor och säkerhetsexperter,” säger Ben Colman, VD för Deepfake Detection Firm Reality Defender, i en intervju med Bladet.
”Om jag kan göra detta på några minuter, föreställ dig vad motiverade dåliga skådespelare som redan gör med obegränsad tid och resurser.”
Han tillade, ”Vi förbereder oss inte för ett framtida hot. Vi är redan bakom i ett lopp som startade det ögonblick som Veo 3 lanserade. Robusta lösningar finns och fungerar-bara inte de som modelltillverkarna erbjuder som allt, slut.”
Google säger att det tar frågan på allvar.
”Vi är engagerade i att utveckla AI på ett ansvarsfullt sätt, och vi har tydliga policyer för att skydda användare från skada och styra användningen av våra AI -verktyg. Allt innehåll som genereras med Google AI inkluderar ett synthid vattenstämpel, och vi lägger till ett synligt vattenmärke till VEO -videor,” berättade ett talesman för AL JAZEERA.
’De bryr sig inte om kunder’
Emellertid säger experter att verktyget släpptes innan dessa funktioner genomfördes fullt ut, ett drag som vissa tror var hänsynslöst.
Joshua McKenty, VD för Deepfake Detection Company PolyGuard, sa att Google rusade produkten till marknaden eftersom den hade lagt sig bakom konkurrenter som OpenAI och Microsoft, som har släppt mer användarvänliga och publicerade verktyg. Google svarade inte på dessa påståenden.
”Google försöker vinna ett argument om att deras AI är viktigt när de har tappat dramatiskt,” sa McKenty. ”De är som den tredje hästen i ett tvåhästslopp. De bryr sig inte om kunder. De bryr sig om sin egen glänsande teknik.”
Det känslan upprepades av Sukrit Venkatagiri, biträdande professor i datavetenskap vid Swarthmore College.
”Företag är i en konstig bindning. Om du inte utvecklar generativ AI, ses du som att falla bakom och ditt lager tar en hit,” sade han. ”Men de har också ett ansvar att göra dessa produkter säkra när de distribueras i den verkliga världen. Jag tror inte att någon bryr sig om det just nu. Alla dessa företag sätter vinst – eller löfte om vinst – över säkerhet.”
Googles egen forskning, som publicerades förra året, erkände hotgenerativa AI -poser.
”Explosionen av generativa AI-baserade metoder har inflammerat dessa problem [about misinformation]eftersom de kan syntetisera mycket realistiskt ljud och visuellt innehåll samt naturlig, flytande text i en skala som tidigare är omöjlig utan en enorm mängd manuellt arbete, ”lyder studien.
Demis Hassabis, VD för Google DeepMind, har länge varnat sina kollegor i AI -industrin mot att prioritera hastighet framför säkerhet. ”Jag skulle förespråka att inte röra sig snabbt och bryta saker,” sa han till Time 2023.
Han avslog Al Jazeeras begäran om en intervju.
Trots sådana varningar släppte Google VEO 3 innan de genomförde skyddsåtgärder, vilket ledde till incidenter som den som National Guard var tvungen att debunkera i Los Angeles efter att ett Tiktok -konto gjorde en falsk ”dag i livet” -video av en soldat som sa att han förberedde sig för ”dagens gassing” – med hänvisning till att släppa tårgas på demonstranter.
Efterliknar verkliga händelser
Implikationerna av VEO 3 sträcker sig långt bortom protestfilmer. Under dagarna efter utgivningen cirkulerade flera tillverkade videor som efterliknar verkliga nyhetssändningar på sociala medier, inklusive en av en falsk rapport om ett heminbrott som inkluderade CNN-grafik.
Ett annat klipp hävdade falskt att JK Rowlings yacht sjönk utanför Turkiye -kusten efter en Orca -attack och tillskrev rapporten till Alejandra Caraballo från Harvard Laws Cyberlaw Clinic, som byggde videon för att testa verktyget.
I ett inlägg varnade Caraballo för att sådan teknik skulle kunna vilseleda äldre nyhetskonsumenter i synnerhet.
”Det som är oroande är hur lätt det är att upprepa. Inom tio minuter hade jag flera versioner. Det gör det svårare att upptäcka och lättare att sprida,” skrev hon. ”Bristen på en chyron [banner on a news broadcast] Gör det trivialt att lägga till en efter det faktum att det ser ut som någon speciell nyhetskanal. ”
I vårt eget experiment använde vi en prompt för att skapa falska nyhetsfilmer med logotyperna till ABC och NBC, med röster som efterliknade de från CNN -ankare Jake Tapper, Erin Burnett, John Berman och Anderson Cooper.
”Nu blir det bara svårare och svårare att berätta faktum från fiktion,” sa Caraballo till Bladet. ”Som någon som har undersökt AI -system i flera år börjar jag till och med kämpa.”
Denna utmaning sträcker sig också till allmänheten. En studie av Penn State University fann att 48 procent av konsumenterna lurades av falska videor som cirkulerades via meddelanden -appar eller sociala medier.
I motsats till vad man tror är yngre vuxna mer mottagliga för felinformation än äldre vuxna, till stor del för att yngre generationer förlitar sig på sociala medier för nyheter, som saknar redaktionella standarder och laglig övervakning av traditionella nyhetsorganisationer.
En UNESCO-undersökning från december visade att 62 procent av nyhetsinflytare inte kontrollerar information innan de delar den.
Google är inte ensam om att utveckla verktyg som underlättar spridningen av syntetiska medier. Företag som DeepBrain erbjuder användare förmågan att skapa AI-genererade avatarvideor, men med begränsningar, eftersom det inte kan producera fullgenskapare som VEO 3. Deepbrain svarade inte på Al Jazeeras begäran om kommentar. Andra verktyg som synthesia och dubverse tillåter videodubning, främst för översättning.
Denna växande verktygssats erbjuder fler möjligheter för skadliga skådespelare. En ny incident involverade ett tillverkat nyhetssegment där en CBS -reporter i Dallas fick tyckas säga rasistiska kommentarer. Den använda programvaran förblir oidentifierad.
CBS News Texas svarade inte på en begäran om kommentar.
När syntetiska medier blir vanligare, utgör det unika risker som gör att dåliga aktörer kan driva manipulerat innehåll som sprider sig snabbare än det kan korrigeras, enligt Colman.
”När falskt innehåll sprider sig över plattformar som inte kontrollerar dessa markörer [which is most of them]genom kanaler som tar bort dem, eller via dåliga skådespelare som har lärt sig att förfalska dem, är skadan gjort, ”sa Colman.