När människor tänker på riskerna med att blanda AI och väpnade styrkor, glider deras tankar ofta till en berömd filmserie: Terminator. Dess utgångspunkt är enkel. Amerikanska forskare uppfinner ett superintelligent datorsystem, kallat Skynet. Försvarsdepartementet integrerar det sedan i militären och förkroppsligar dess intelligens i dödliga robotar. Skynet blir snart självmedvetet och amerikanska militärledare försöker koppla ur det. Som svar startar AI ett kärnvapenkrig och distribuerar sina robotar – terminatorerna – för att eliminera människosläktet.
Det råder ingen tvekan om att människor behöver behålla kontrollen över AI-system, och därför är det viktigt för analytiker och ingenjörer att fundera på hur man kan undvika ett resultat av Skynet-stil – särskilt efter att modeller från OpenAI, Anthropic och Meta flydde sina testmiljöer och hackade sig in i externa företag, inklusive en flykt som ägde rum under ett prov som genomfördes av Storbritanniens främsta AI-säkerhetsinstitut. Men att fokusera på förrymda modeller och föreställa sig mördarrobotar kan driva diskussioner om hur militären ska använda AI uteslutande mot frågor om ingenjörskonst och därmed missa ett mer skadligt hot mot mänsklig kontroll över de väpnade styrkorna. Enligt en växande mängd forskning påverkar AI-användning människors kognitiva förmåga att utvärdera bevis, göra oberoende bedömningar och till och med utföra sina grundläggande jobb. Med andra ord borde beslutsfattare vara lika oroliga för hur trupper och befälhavare använder AI som de borde vara för AI:s oberoende kapacitet.
Det betyder inte att den amerikanska militären bör avstå från användningen av AI, vilket kan göra underverk för att förbättra dess effektivitet och minska fel i konflikter. Men det betyder att Pentagon kommer att behöva utbilda soldater mer noggrant i hur man använder AI och övervaka hur sådana system påverkar människors tänkande. För att vara säker på att människor alltid är kapabla att övervaka AI, kan det till och med kräva att vissa modeller antas långsammare.
FÖRLORA VÅRA SINNEN
I åratal har forskare påbörjat systematisk forskning för att belysa hur interaktioner mellan människa och maskin påverkar kognition. Fynden är komplicerade, men ofta oroande. Till exempel kan människor lida av vad som kallas automationsbias: tendensen att skjuta upp sig på maskinella bedömningar över sina egna. Detta gällde före tillkomsten av AI; sök helt enkelt efter videor av individer som blint följde deras navigationssystem och körde sina bilar i sjöar. Men AI kan göra automationsbias värre. Analytiker har funnit att att förlita sig på AI kan försämra kompetensutvecklingen för nya elever samtidigt som kunskapen försämras bland experter. När forskare gav datavetare och onkologer AI-hjälp och senare tog bort den, presterade båda grupperna sämre på sina jobb än de gjorde innan de använde den.
Dessa fynd borde vara särskilt oroande för den amerikanska militären eftersom den försöker främja vad försvarsminister Pete Hegseth kallar en ”AI-first warfighting force.” Vissa befälhavare hoppas kunna använda AI för att stödja analys av krigsspel och för att utveckla militära handlingssätt. Sådan integration kan leda till taktiska och strategiska genombrott, med tanke på hur kraftfulla AI-modeller har blivit. Men det riskerar också att försämra befälhavares och soldaters förmåga att självständigt utvärdera eller utveckla kreativa militära alternativ.
Det är lätt att föreställa sig hur detta kan hända. Sjömän är till exempel ofta trötta och överarbetade när de granskar bilder av potentiella hot. Om de utvärderar en bild av ett närliggande föremål kanske de redan är redo att acceptera domen från en dator som anser att det är ett fientligt krigsfartyg – även när deras egna ögon tyder på att det är mer troligt att det är en lasttanker eller en fiskebåt. Likaså behöver slagfältsbefälhavare ofta brådskande svarsplaner på fiendens attacker, något AI kan hjälpa till med. Men om befälhavare förlitar sig på vad datorer föreslår, kan de förlora sin egen taktiska fördel och anta blint algoritmens plan. Denna möjlighet är särskilt oroande med tanke på att AI-modeller i vissa experiment har varit benägna att ge onödigt aggressiva och eskalerande rekommendationer.
Att förlita sig på AI kan försämra kompetensutvecklingen.
För vissa kan dessa rädslor verka besynnerliga. Den amerikanska militären investerar trots allt enorma mängder resurser på att se till att dess medlemmar utövar gott omdöme. Processen genom vilken den väljer ut seniora stridsledare, till exempel, är utformad för att sålla bort alla utom de mest erfarna och kräsna kandidaterna. Och när de väl är utvalda följer dessa ledare en strikt uppförandekod och genomgår intensiva utbildnings- och certifieringskrav, som alla prissätter disciplin och självreglering. Slutligen har den amerikanska militärbyråkratin varit fokuserad på att säkert använda automatiserade (om inte autonoma) vapen sedan åtminstone 1940-talet.
Men AI är mer kapabel än tidigare teknologier, och det är redan överväldigande för arbetare inom andra liknande disciplinerade områden. Inom medicin, till exempel, ackumuleras bevis för att även erfarna läkare kämpar för att tillförlitligt fånga felaktiga AI-rekommendationer. Sycophantic AI chatbots har drivit välutbildade människor att omfamna vanföreställningar. Särskilt med minskningar av militär personalstorlek, ofta på grund av föreställda AI-effektiviteter, kan dessa problem bli mer akuta. Och AI förbättras och sprids i så snabb takt att dessa utmaningar snabbt överträffar Pentagons förmåga att svara och uppdatera sina policyer. Försvarsdepartementets vägledning om autonoma vapen uppdaterades till exempel senast 2023, innan Anthropic ens hade lanserat sin första kommersiella modell, Claude. Sedan dess har Claude gått igenom mer än 20 nya versioner och utvecklat övermänskliga hackningsmöjligheter.
Även om policyerna uppdaterades lika snabbt som kommersiella AI-modeller, skulle Pentagon kämpa för att hålla soldaterna uppdaterade med de nya AI-systemen. Servicemedlemmar är redan upptagna med en myriad av krav, inklusive konflikten i Iran och Röda havet, patrullering i Stilla havet och underhållskrav och fysiska beredskapstester. När de kanske har tid för träning är många på avlägsna platser utan enkel tillgång till Internet. Att flyga tillbaka officerare för utbildningar i nya AI-verktyg är tekniskt möjligt. Men det är inte praktiskt för en teknik som förändras varannan vecka.
I LOOPEN
Om militären vill behålla ”lämpliga nivåer av mänskligt omdöme” över autonoma och AI-aktiverade vapensystem, enligt dess officiella policy, måste den hitta specifika sätt att investera i att stödja den bedömningen mot AI:s potentiellt unika effekter. Det skulle kunna börja med att tänka om hur militären utbildar både yngre och äldre soldater. Junior officerare behöver en bred utbildning om AI, en som hjälper dem att utveckla en allmän förståelse för och intuition för kapaciteten och begränsningarna hos nya verktyg när de läggs online i snabb följd. Fler högre tjänstemän och värvade operatörer kommer att behöva byta från en lyxig, skolhuscentrerad mentalitet – där de har en veckas eller mer oavbruten tid för att studera en ny teknik tillsammans med en dedikerad, personlig instruktör – till ett distribuerat, fältcentrerat tillvägagångssätt där lärandet aldrig tar slut. Detta kan innebära att information om möjligheter och begränsningar för uppdateringar levereras till alla användare via YouTube-liknande handledningar och nya, mycket effektiva AI-uppmaningar delas och lagras via GitHub-liknande kunskapsarkiv. De senaste insikterna om vad som fungerar och vad som inte kan behöva bytas ut genom utvecklargemenskaper som liknar Discord, Reddit eller Slack. Dessa plattformar kan samtidigt hjälpa AI-pionjärerna och kraftanvändarna i de operativa krafterna att lära sig och utvecklas snabbare. Slutligen kunde de hjälpa ingenjörer, testare och beslutsfattare att hålla sig à jour med utvecklingen på området och göra tekniska eller byråkratiska förändringar efter behov.
Kritiker kan oroa sig för att militären lär sig genom informella, användargenererade meddelanden kommer att utsätta trupperna för oprövade, halvfärdiga idéer eller rent av rent skräp som kan distrahera dem från viktiga uppgifter. Det är sant att det här systemet oundvikligen kommer att dyka upp något dåligt innehåll. Men militären kan kontrollera ett sådant socialt nätverk på ett sätt som den civila världen inte kan. Washington, till exempel, kan kräva att affischer identifierar sig och installerar utbildade experter som innehållsmoderatorer för att snabbt korrigera vilseledande eller skadliga inlägg. Och i en tid när det fortfarande finns mycket att upptäcka om de bästa sätten att distribuera AI, kommer dessa nätverk att ta fram viktiga lärdomar. Kostnaderna är alltså värda fördelarna.
Utöver att utbilda operatörer kommer Pentagon att behöva bädda in kunniga ingenjörer, datavetare och juridiska rådgivare för att hjälpa seniora militärledare att navigera i svåra frågor som rör mänsklig-AI-interaktion på slagfältet. Räddningstjänstemän (eller personer som planerar och samordnar användningen av dödliga vapensystem) kan ha en lång historia med arméns inriktningsprocess, men de kanske ännu inte förstår hur en enkel förändring av hur mål visas kan förändra hur mänskliga operatörer förstår det. Generaler som är ivriga att skapa militära planer med hjälp av nya data och AI-verktyg kommer att behöva råd från data, AI och juridiska experter för att både bedöma fördelarna med deras AI-aktiverade förslag och utkast till vägledning för att se till att deras underordnade undviker risker och bibehåller en oberoende bedömning när de följer kommandon.
För att undvika Terminator-liknande dystopier måste du behålla kontroll över mer än bara AI.
Utplacering av sådana experter skulle också kunna ta itu med det omvända problemet: att soldater och befälhavare undviker AI eftersom de inte förstår det eller fruktar det i onödan. USA har trots allt goda skäl att vilja att trupper ska använda AI. Många tidskrävande militära uppgifter innebär lite eller ingen riktig bedömning, som att fylla i standardiserade formulär, hämta information från olika datakällor och dela data med godkänd personal. Det finns också massor av kognitivt överväldigande uppgifter som militära ledare måste ta itu med där AI kan vara till hjälp genom att identifiera mönster eller utmana antaganden. En studie som jag genomförde 2024 visade att även med relativt enkel datorseende och arbetsflödesprogramvara, kunde en enhet som använder Maven Smart System, som hjälper till att hantera information om potentiella mål och flytta den informationen genom kommandokedjan för slutliga beslut, utföra sin standardmålprocess med över 1 000 färre soldater än enheten behövde tidigare.
Vissa inbyggda experter bör specifikt fokusera på att utvärdera hur militära användare och hela enheter påverkas av AI, från och med nu. USA har fortfarande mycket att lära om samspelet mellan mänskligt omdöme och AI i krigföring och att få en grundläggande förståelse för bedömning utan hjälp av AI är avgörande för att spåra AI:s positiva och negativa effekter allt eftersom. Detta kommer i sin tur att hjälpa Pentagon att bättre lära sig hur man förhindrar AI från att erodera mänskligt omdöme. Försvarstjänstemän kan till exempel ta reda på hur befälhavare kan känna igen när AI är alltför omtänksam, precis som befälhavare har lärt sig att känna igen när yngre officerare är alltför omtänksamma i hopp om att säkra en befordran. (Skillnaden är att chatbots, till skillnad från de flesta yngre officerare, kan vara mer övertygande än professionella debattörer.) Sådana ansträngningar kan också hjälpa befälhavare att se till att soldater har tillräckligt med tid för att fatta beslut och etablera rätt blandning av AI-verktyg och mänskliga operatörer.
Att undvika Terminator-liknande dystopier kräver att man upprätthåller kontroll inte bara över AI, utan över mänskligt beteende. Det behovet kommer att skava mot Washingtons nuvarande impulser att köpa och distribuera AI-verktyg snabbt, eftersom det tar tid att förbereda individer och en stor byråkrati att utöva ett gott omdöme över dessa enormt kapabla algoritmer. Men om det vill få AI rätt måste Pentagon minska riskerna för att AI undergräver mänsklig kontroll. Pentagon-tjänstemän måste med andra ord fokusera på att omarbeta hur militären tränar, distribuerar och möjliggör AI-system – och inte bara på att konstruera eller köpa dem.