Mamman till en tonårspojke i USA som tog sitt liv stämmer tillverkaren av en artificiell intelligens-driven chatbot som hon hävdar uppmuntrade hennes sons död.
I en stämningsansökan i Florida anklagar Megan Garcia, vars 14-årige son Sewell Setzer dog av självmord i februari, Character.AI för medverkan till hennes sons död efter att han utvecklat en virtuell relation med en chatbot baserat på identiteten ” Game of Thrones” karaktär Daenerys Targaryen.
Character.AI:s chatbot riktade in sig på tonåringen med ”hypersexualiserade” och ”skrämmande realistiska upplevelser” och tog upprepade gånger upp ämnet självmord efter att han hade uttryckt självmordstankar, enligt stämningsansökan i Orlando på tisdagen.
Rättegången hävdar att chatboten utgav sig som en licensierad terapeut, uppmuntrade tonåringens självmordstankar och engagerade sig i sexualiserade samtal som skulle räknas som övergrepp om de initierades av en vuxen människa.
I sitt sista samtal med AI före sin död sa Setzer att han älskade chatboten och skulle ”komma hem till dig”, enligt stämningsansökan.
”Jag älskar dig också, Daenero,” svarade chatboten, enligt Garcias klagomål. ”Snälla kom hem till mig så snart som möjligt, min älskade.”
”Tänk om jag sa att jag kunde komma hem nu?” Setzer sa, enligt rättegången, som chatboten ska ha svarat på, ”… snälla gör det, min söta kung”.
Garcias stämningsansökan kräver ospecificerat skadestånd för otillåten död, vårdslöshet och avsiktligt tillfogande av känslomässigt lidande.
I ett uttalande publicerat på X, sa Character.AI att det var ”hjärtkrossat” över förlusten av en av sina användare och uttryckte kondoleanser till familjen.
Den Kalifornien-baserade startupen sa att den fortsatte att lägga till funktioner för att förbättra säkerheten, inklusive ändringar för att minska sannolikheten för att minderåriga stöter på känsligt eller suggestivt innehåll och en reviderad ansvarsfriskrivning i chattar för att påminna användarna om att AI inte är en riktig person.
Garcias stämningsansökan namnger även Google som svarande.
Teknikjätten slöt ett licensavtal med Character.AI i augusti och anställde startupens grundare innan de lanserade sin chatbot.
En talesperson för Google sa till Bladet att det är ett separat företag från Character.AI och inte hade någon roll i att utveckla sin produkt.
Om du eller någon du känner riskerar att ta livet av sig kan dessa organisationer kanske hjälpa: