Hem Samhälle Ekonomi AI-modeller förvränger nyhetshändelser nästan halva tiden, säger studien

AI-modeller förvränger nyhetshändelser nästan halva tiden, säger studien

AI-modeller förvränger nyhetshändelser nästan halva tiden, säger studien

AI-modeller som ChatGPT ger rutinmässigt en felaktig bild av nyhetshändelser och ger felaktiga svar på frågor nästan halva tiden, har en studie funnit.

Studien som publicerades på onsdagen av European Broadcasting Union (EBU) och BBC bedömde träffsäkerheten hos mer än 2 700 svar från OpenAI:s ChatGPT, Googles Gemini, Microsofts Copilot och Perplexity.

Rekommenderade berättelser

lista med 4 artiklarslutet av listan

Tjugotvå offentliga medier, representerande 18 länder och 14 språk, ställde en gemensam uppsättning frågor till AI-assistenterna mellan slutet av maj och början av juni för studien.

Totalt sett hade 45 procent av svaren minst en ”signifikant” fråga, enligt forskningen.

Sourcing var det vanligaste problemet, med 31 procent av svaren inklusive information som inte stöds av den citerade källan, eller felaktig eller ej verifierbar tillskrivning, bland andra frågor.

En bristande noggrannhet var den näst största bidragsgivaren till felaktiga svar, vilket påverkade 20 procent av svaren, följt av frånvaron av lämpligt sammanhang, med 14 procent.

Tvillingarna hade de viktigaste problemen, främst att göra med inköp, med 76 procent av svaren påverkade, enligt studien.

Alla de studerade AI-modellerna gjorde grundläggande faktafel, enligt forskningen.

De citerade felen inkluderar Perplexity som hävdar att surrogatmödraskap är olagligt i Tjeckien och ChatGPT som utnämner påven Franciskus till sittande påve månader efter hans död.

OpenAI, Google, Microsoft och Perplexity svarade inte omedelbart på förfrågningar om kommentarer.

I ett förord ​​till rapporten uppmanade Jean Philip De Tender, EBU:s biträdande general, och Pete Archer, chefen för AI på BBC, teknikföretag att göra mer för att minska fel i sina produkter.

”De har inte prioriterat den här frågan och måste göra det nu,” sa De Tender och Archer.

”De måste också vara transparenta genom att regelbundet publicera sina resultat efter språk och marknad.”