OpenAI har meddelat planer på att införa föräldrakontroller för chatgpt mitt i växande kontroverser om hur konstgjord intelligens påverkar ungdomarnas mentala hälsa.
I ett blogginlägg på tisdagen sa det Kalifornien-baserade AI-företaget att det rullade ut funktionerna som erkännande av familjer som behöver stöd ”i att sätta friska riktlinjer som passar en tonårs unika utvecklingsstadium”.
Enligt ändringarna kommer föräldrarna att kunna länka sina chatgpt-konton till sina barn, inaktivera vissa funktioner, inklusive minne och chatthistorik och kontrollera hur chatboten svarar på frågor via ”åldersanpassade modellbeteenderegler”.
Föräldrar kommer också att kunna få meddelanden när deras tonårsshows tecken på nöd, sade OpenAI och tilllade att det skulle söka expertinmatning i att implementera funktionen för att ”stödja förtroende mellan föräldrar och tonåringar”.
OpenAI, som förra veckan tillkännagav en serie åtgärder som syftar till att förbättra säkerheten för utsatta användare, sa att förändringarna skulle träda i kraft inom nästa månad.
”Dessa steg är bara början,” sade företaget.
”Vi kommer att fortsätta lära och stärka vår strategi, vägledd av experter, med målet att göra chatgpt så användbart som möjligt. Vi ser fram emot att dela våra framsteg under de kommande 120 dagarna.”
Openais tillkännagivande kommer en vecka efter att ett par i Kalifornien lämnade in en talan som anklagade företagets företag i självmordet av deras 16-åriga son.
Matt och Maria Raine hävdar i sin kostym att Chatgpt validerade sin son Adams ”mest skadliga och självförstörande tankar” och att hans död var ett ”förutsägbart resultat av avsiktliga designval”.
OpenAI, som tidigare uttryckte sina kondoleanser över tonåringens bortgång, nämnde inte uttryckligen fallet i sitt tillkännagivande om föräldrakontroller.
Jay Edelson, en advokat som företräder Raine -familjen i sin rättegång, avfärdade Openais planerade förändringar som ett försök att ”förändra debatten”.
”De säger att produkten bara borde vara mer känslig för människor i kris, vara mer” hjälpsamma ”, visa lite mer” empati ”, och experterna kommer att räkna ut det,” sade Edelson i ett uttalande.
”Vi förstår, strategiskt, varför de vill ha det: Openai kan inte svara på vad som faktiskt hände med Adam. Eftersom Adams fall inte handlar om att Chatgpt misslyckas med att vara” hjälpsam ” – det handlar om en produkt som aktivt tränade en tonåring till självmord.”
Användningen av AI -modeller av människor som upplever allvarlig mental besvär har varit i fokus för växande oro mitt i deras utbredda adoption som ersättare eller vän.
I en studie som publicerades i psykiatriska tjänster förra månaden fann forskare att Chatgpt, Googles Gemini och Anthropics Claude följde kliniska bästa praxis när de svarade på högriskfrågor om självmord, men var inkonsekventa när de svarade på frågor som utgör ”mellanliggande nivåer av risk”.
”Dessa resultat tyder på ett behov av ytterligare förfining för att säkerställa att LLMS kan användas säkert och effektivt för att dispensera information om mental hälsa, särskilt i scenarier med höga insatser som involverar självmordstankar,” sade författarna.
Hamilton Morrin, en psykiater vid King’s College London som har genomfört forskning om AI-relaterad psykos, välkomnade Openais beslut att införa föräldrakontroller och säger att de potentiellt kan minska risken för överbelastning eller exponering för skadligt innehåll.
”Som sagt, föräldrakontroller bör ses som bara en del av en bredare uppsättning av skyddsåtgärder snarare än en lösning i sig själva. I stort sett skulle jag säga att teknikindustrins svar på mentalhälsorisker ofta har varit reaktiv snarare än proaktiv,” sa Morrin till Bladet.
”Det finns framsteg, men företag kan gå vidare när det gäller att samarbeta med kliniker, forskare och grupper för upplevelse av upplevelser för att bygga system med säkerhet i sin kärna från början, snarare än att förlita sig på åtgärder som lagts till efter att problem har tagits upp.”
Om du eller någon du känner riskerar självmord kan dessa organisationer kunna hjälpa.