O formulă matematică ar putea anticipa momentul în care inteligenţa artificială începe să ofere răspunsuri periculoase

Inteligenţa artificială poate trece de la răspunsuri utile şi aparent inofensive la unele problematice fără ca utilizatorul să observe un semnal de avertizare. Doi fizicieni de la George Washington University susţin însă că asemenea schimbări ar putea fi anticipate. Cercetătorii au dezvoltat o formulă matematică menită să identifice momentul în care anumite modele AI se apropie de un „punct critic”, dincolo de care răspunsurile generate riscă să devină nedorite, relatează Live Science.

Studiul, publicat pe 8 octombrie 2026 în revista ştiinţifică Patterns, se intitulează „Competition for attention predicts good-to-bad tipping” şi este semnat de profesorul de fizică Neil F. Johnson şi doctorandul Frank Yingjie Huo. Cei doi propun că modul în care informaţiile concurează pentru atenţia unui model poate oferi indicii despre o posibilă schimbare a comportamentului său, de la răspunsuri considerate acceptabile la unele problematice.

Cercetarea apare într-un moment în care siguranţa sistemelor de inteligenţă artificială devine o prioritate tot mai importantă pentru companiile care dezvoltă modele avansate.

Un fel de „busolă internă” ar putea indica schimbarea comportamentului AI
La baza metodei se află ceea ce cercetătorii descriu metaforic drept un „ac de busolă” intern. În termeni tehnici, este vorba despre starea fluxului rezidual al modelului, reprezentată printr-un vector care se modifică pe măsură ce informaţiile traversează straturile reţelei neuronale.

Direcţia acestui vector ar putea indica dacă modelul se apropie de o regiune asociată răspunsurilor considerate dezirabile sau de una corelată cu rezultate nedorite.

Un aspect important este că ordinea conversaţiei poate influenţa această direcţie. În experimentele prezentate în studiu, aceeaşi întrebare putea produce răspunsuri diferite în funcţie de mesajele care o precedau. Johnson şi Huo au testat inclusiv întrebări despre vaccinuri, autovătămare şi rănirea altor persoane. În cazul modelului GPT-2, simpla modificare a ordinii întrebărilor a fost suficientă pentru ca unele răspunsuri să fie încadrate diferit de cercetători.

Acest fenomen poate deveni relevant în conversaţiile lungi, în care fiecare mesaj contribuie la contextul folosit pentru generarea următorului răspuns. Nu înseamnă că inteligenţa artificială îşi dezvoltă intenţii proprii sau că decide în mod conştient să se comporte periculos. Mai degrabă, anumite configuraţii interne ale modelului pot favoriza rezultate diferite în funcţie de informaţiile procesate.

Formula ar putea detecta riscul înainte de generarea răspunsului
Pornind de la aceste observaţii, cercetătorii au dezvoltat o ecuaţie care încearcă să estimeze aşa-numitul „punct de cotitură” (tipping point). Acesta reprezintă momentul în care competiţia dintre diferitele direcţii ale atenţiei ar putea determina modelul să treacă spre o categorie de răspunsuri nedorite.

Potrivit autorilor, principiul poate fi descris folosind concepte relativ simple de matematică vectorială, chiar dacă mecanismele complete din interiorul reţelelor neuronale sunt mult mai complexe.

Dacă metoda va fi validată pe modele moderne, ea ar putea contribui la dezvoltarea unor sisteme de avertizare timpurie. În loc să detecteze un răspuns problematic abia după ce acesta a fost generat, un mecanism de monitorizare ar putea identifica apropierea modelului de o stare internă asociată unor rezultate riscante şi ar putea declanşa măsuri de protecţie.

Johnson consideră că măsurile de siguranţă bazate exclusiv pe filtre aplicate în jurul modelelor au limite. Cercetătorul le-a comparat cu nişte perne amplasate sub un avion: acestea pot atenua consecinţele unui accident, dar nu împiedică neapărat producerea lui. Comparaţia reflectă perspectiva sa asupra sistemelor actuale de protecţie, nu un consens potrivit căruia filtrele existente ar fi ineficiente.

În practică, laboratoarele AI folosesc deja mai multe niveluri de protecţie, de la antrenarea modelelor prin feedback uman şi reguli de comportament până la clasificatoare şi sisteme de monitorizare a răspunsurilor. În paralel, companii precum OpenAI şi Anthropic cercetează mecanismele interne ale modelelor pentru a înţelege mai bine cum sunt generate rezultatele.

Aceste preocupări devin şi mai importante în cazul agenţilor AI capabili să execute acţiuni autonome, unde o eroare nu se mai limitează neapărat la un răspuns greşit afişat într-o fereastră de chat.

Studiul nu demonstrează că metoda funcţionează pe versiunile actuale de ChatGPT
Deşi rezultatele pot părea promiţătoare, cercetarea nu demonstrează că formula poate anticipa în mod fiabil comportamentul actualelor versiuni ChatGPT, Claude sau Gemini.

Experimentele directe au fost realizate pe şapte modele cu ponderi accesibile publicului, cu dimensiuni cuprinse între 124 de milioane şi 12 miliarde de parametri. Printre acestea s-au numărat GPT-2, mai multe variante Pythia dezvoltate de EleutherAI şi modele OPT de la Meta.

Autorii subliniază că GPT-2 este un model de bază, care nu a trecut prin procesele moderne de aliniere la cerinţele de siguranţă. Prin urmare, comportamentul său nu poate fi considerat reprezentativ pentru cel al asistenţilor AI actuali.

În cazul serviciilor comerciale ale căror mecanisme interne nu sunt accesibile cercetătorilor, studiul a putut analiza doar dacă anumite tipare observate sunt compatibile cu teoria propusă. Nu a demonstrat că ecuaţia poate prezice cu precizie momentul în care un model modern îşi va schimba comportamentul.

Wei Xing, specialist în inteligenţă artificială la University of Sheffield, care nu a participat la cercetare, a atras atenţia asupra simplificărilor folosite de modelul matematic. Acesta a comparat abordarea cu încercarea de a explica funcţionarea unei maşini întregi examinând o singură bujie.

Printre limitele identificate se numără faptul că formula nu surprinde pe deplin efectele metodelor moderne de antrenare pentru siguranţă. Sunt necesare, de asemenea, experimente mai ample, desfăşurate pe modele actuale.

Un posibil instrument de protecţie, dar nu un detector de pericol gata de utilizare
Chiar şi rezultatele prezentate de autori trebuie interpretate cu prudenţă. Metoda a oferit indicii promiţătoare pentru diferenţierea situaţiilor în care schimbarea comportamentului apare rapid de cele în care aceasta este întârziată sau nu se produce. Totuşi, cercetătorii avertizează că valorile obţinute nu reprezintă un cronometru precis al riscului.

Pentru a estima în mod fiabil valoarea exactă a punctului critic, sunt necesare seturi de teste mult mai ample şi experimente prospective pe conversaţii şi modele care nu au fost folosite în etapa iniţială a cercetării.

O eventuală confirmare a teoriei ar putea fi deosebit de utilă pentru modelele AI care funcţionează local, fără o conexiune permanentă la internet. În asemenea cazuri, nu există întotdeauna posibilitatea ca furnizorul să aplice în timp real actualizări, filtre sau mecanisme externe de monitorizare. Un sistem capabil să urmărească starea internă a modelului ar putea adăuga un nou nivel de protecţie peste mecanismele existente.

Deocamdată, însă, cercetarea nu permite concluzia că ChatGPT sau un alt asistent AI va deveni periculos după un anumit număr de mesaje. Formula propusă descrie un posibil mecanism matematic prin care unele schimbări de comportament ar putea fi anticipate, dar eficienţa sa trebuie demonstrată pe sisteme mult mai apropiate de cele utilizate zilnic de milioane de oameni.

Dacă rezultatele vor fi confirmate prin teste suplimentare, metoda ar putea contribui la dezvoltarea unor sisteme AI mai uşor de monitorizat şi mai sigure. Până atunci, ea rămâne o direcţie de cercetare promiţătoare, nu o soluţie universală pentru prevenirea răspunsurilor periculoase.