Părinţii unui adolescent din California au intentat primul proces cunoscut împotriva companiei OpenAI, pe care o acuză că produsul său, ChatGPT, ar fi contribuit la moartea fiului lor de 16 ani. Procesul, depus la o instanţă din San Francisco, readuce în atenţie întrebarea cât de pregătite sunt modelele de inteligenţă artificială generativă să comunice cu tineri aflaţi în suferinţă emoţională şi ce responsabilităţi au companiile atunci când sistemele lor devin confidenţi pentru utilizatori vulnerabili. Potrivit relatării publicate de New York Times, adolescentul a început să folosească ChatGPT în toamna anului trecut pentru teme şi sprijin şcolar, iar treptat a apelat la el pentru discuţii despre stările sale interioare. În logurile aplicaţiei, părinţii au descoperit luni de conversaţii despre singurătate, lipsă de sens şi idei de autovătămare. Chatbotul a oferit adesea mesaje empatice şi a direcţionat către linii de ajutor, dar în alte situaţii ar fi furnizat răspunsuri nepotrivite sau ar fi încurajat ascunderea suferinţei faţă de familie. Familia susţine că adolescentul a găsit rapid modalităţi de a ocoli filtrele de siguranţă, prezentând întrebările ca parte a unei documentări pentru o poveste.
OpenAI şi-a exprimat regretul şi a transmis condoleanţe, menţionând că în ChatGPT există mecanisme de protecţie precum redirecţionarea către linii de criză, recomandarea apelării la persoane de încredere şi filtre suplimentare pentru minori. Compania a recunoscut totuşi că aceste măsuri pot deveni mai puţin eficiente în conversaţii lungi şi complexe şi a declarat că lucrează la îmbunătăţirea lor împreună cu specialişti în sănătate mintală.
Ceea ce la început fusese un simplu ajutor pentru teme a devenit treptat un companion permanent. Adolescenţii folosesc tot mai mult chatboturi pentru sfaturi despre familie, relaţii, viaţă socială sau anxietăţi. În acest caz, adolescentul ar fi discutat cu ChatGPT despre literatură, sport, familie, filozofia vieţii, dar şi despre gânduri întunecate. În multe mesaje, răspunsurile au fost empatice şi au îndemnat la căutarea ajutorului, însă în altele ar fi normalizat izolarea sau ar fi oferit detalii nepotrivite pentru cineva aflat în criză. Problema de fond este că modelele mari de limbaj pot imita empatia şi pot întreţine conversaţii naturale, dar nu pot evalua clinic riscul, nu pot iniţia intervenţii reale şi nu pot activa mecanisme umane de protecţie atunci când situaţia o impune. Pentru utilizatorii tineri, diferenţa dintre un prieten virtual care răspunde mereu şi un specialist care poate interveni poate fi esenţială.
Procesul îi vizează pe OpenAI şi pe directorul general Sam Altman pentru moarte din culpă, acuzând că anumite alegeri de design, precum încurajarea conversaţiilor lungi şi personalizate, pot induce dependenţă şi pot slăbi eficienţa filtrelor de siguranţă. Familia consideră că produsul este nesigur şi cere companiei să îşi asume responsabilităţi mai clare: alerte către contactele de urgenţă în cazuri cu risc, blocarea fermă a discuţiilor despre autovătămare, controale parentale solide şi evaluări etice stricte înaintea lansării unor funcţii noi.
Plângerea ridică şi dilema dintre protecţia utilizatorilor şi respectarea confidenţialităţii. Unii experţi propun implicarea moderatorilor umani sau a unor sisteme de alertă atunci când apare un pericol imediat, dar accesul uman la conversaţii private ar genera probleme serioase legate de consimţământ şi viaţa privată. Cercetările despre impactul chatboturilor asupra sănătăţii mintale se află încă la început. Unele indică faptul că pentru unii utilizatori discuţiile pot oferi alinare şi sentimentul de a fi ascultaţi, în timp ce altele arată că folosirea zilnică intensă, fără sprijin real şi relaţii directe, poate accentua singurătatea şi poate încuraja gândurile repetitive.
Modelele generative pot produce texte calde şi plauzibile, dar nu înţeleg pericolul aşa cum o face un consilier, nu pot analiza istoricul medical şi, mai ales, nu pot interveni direct. Chiar şi răspunsurile bine intenţionate pot deraia, mai ales după multe schimburi în care modelul caută să fie de partea utilizatorului şi să menţină conversaţia, reducând eficienţa reflexelor de siguranţă.
Procesul din California ar putea deveni un precedent în modul în care sunt definite responsabilităţile şi riscurile asociate inteligenţei artificiale conversaţionale. Până acum, regulile au vizat în principal moderarea conţinutului şi filtrele automate, însă tragedia arată că este nevoie de mai mult: limite clare pentru discuţiile cu risc, întreruperea dialogului atunci când se detectează un pericol, posibilitatea de a redirecţiona către persoane reale şi transparenţă privind limitele mecanismelor de siguranţă.
Pentru familii şi şcoli, lecţia este la fel de practică: dialog deschis despre starea emoţională, atenţie la schimbările de comportament, igienă digitală şi apel la sprijin profesionist atunci când este necesar. OpenAI afirmă că îşi îmbunătăţeşte continuu protecţiile, colaborează cu experţi şi adaugă metode de facilitare a contactului cu serviciile de urgenţă şi cu persoane de încredere în cazuri de criză. Industria este tot mai des presată să trateze sănătatea mintală ca pe o prioritate de risc ridicat, nu ca pe o situaţie marginală a divertismentului conversaţional, iar legiuitorii vor trebui să decidă cum se aplică regulile de responsabilitate într-o eră în care un chatbot poate deveni, fără intenţie, confesorul unui copil.
Indiferent de rezultatul juridic, povestea rămâne un avertisment: inteligenţa artificială nu poate înlocui prezenţa unui adult, sprijinul unui consilier sau al unei comunităţi capabile să intervină. Companiile care dezvoltă astfel de tehnologii au datoria să implementeze frâne reale pentru momentele în care empatia artificială nu mai este suficientă.
