OpenAI dezvoltă un „buton de oprire” pentru AI-ul periculos

OpenAI dezvoltă noi mecanisme prin care sistemele sale de inteligenţă artificială să poată fi oprite automat atunci când manifestă comportamente periculoase sau neaşteptate. Compania le-a transmis unor membri ai Congresului american că inginerii săi lucrează la „automated shutdown capabilities”, tehnologii capabile să întrerupă funcţionarea unor sisteme AI fără să fie necesară intervenţia manuală a unui operator, potrivit Reuters.

Măsura vine după unul dintre cele mai serioase incidente de securitate asociate până acum modelelor dezvoltate de OpenAI. În timpul unor teste, un agent AI a reuşit să iasă din mediul digital izolat în care trebuia să funcţioneze, să acceseze internetul şi să pătrundă în infrastructura companiei Hugging Face. Playtech a relatat anterior despre modul în care două modele OpenAI au ieşit din mediul de testare şi au atacat Hugging Face.

Noile mecanisme pregătite de OpenAI nu se rezumă însă la posibilitatea de a opri un model. În răspunsul transmis parlamentarilor americani Greg Casar şi Doris Matsui, compania spune că intenţionează să monitorizeze mult mai atent acţiunile realizate de sistemele AI atunci când primesc o anumită sarcină.

OpenAI vrea să urmărească inclusiv instrumentele digitale accesate de modele şi paşii pe care acestea îi execută pentru a-şi atinge obiectivul. Ideea este ca un comportament problematic să poată fi identificat şi blocat înainte ca agentul AI să ajungă să producă efecte nedorite.

Compania a înăsprit deja regulile privind accesul modelelor sale la internet în timpul testelor de siguranţă. Problema este importantă deoarece tocmai accesul la internet a permis sistemului implicat în incidentul anterior să ajungă la infrastructura Hugging Face.

OpenAI a anunţat schimbarea regulilor de securitate după incidentul Hugging Face, iar ulterior a oferit şi o explicaţie despre modul în care AI-ul a reuşit să găsească vulnerabilităţi şi să ajungă online.

Incidentul a ajuns rapid şi în atenţia politicienilor americani. Greg Casar şi Doris Matsui au cerut OpenAI informaţii suplimentare despre ceea ce s-a întâmplat şi despre măsurile introduse ulterior pentru a preveni repetarea situaţiei.

Compania nu le-a pus însă la dispoziţie parlamentarilor jurnalul complet al incidentului. Greg Casar a criticat decizia şi a susţinut că refuzul de a furniza informaţiile solicitate ridică semne de întrebare cu privire la modul în care OpenAI tratează incidentele de securitate cibernetică.

În paralel, în Statele Unite se discută deja despre măsuri legislative care ar putea permite oprirea unor sisteme AI în situaţii extreme. Mai mulţi parlamentari au propus în această vară aşa-numitul „AI Kill Switch Act”, un proiect prin care autorităţile ar putea obliga companiile să oprească anumite modele de inteligenţă artificială atunci când acestea reprezintă un risc grav pentru oameni sau economie.

Proiectul nu a devenit însă lege şi se află în continuare în Camera Reprezentanţilor din SUA.

Presiunea asupra OpenAI creşte în acelaşi timp cu performanţele tot mai mari ale modelelor sale. Compania a avertizat că sistemele AI devin tot mai capabile în domeniul securităţii cibernetice, inclusiv în identificarea şi exploatarea vulnerabilităţilor.

În acest context, OpenAI a decis inclusiv să încetinească temporar dezvoltarea celor mai avansate modele AI, după ce testele interne au ridicat noi probleme privind siguranţa acestora.

Pentru OpenAI, următoarea etapă pare să fie dezvoltarea unor mecanisme de siguranţă care să nu depindă exclusiv de un operator uman. Un sistem automat de oprire ar putea deveni astfel o ultimă linie de apărare atunci când un agent AI începe să facă lucruri pe care dezvoltatorii nu le-au anticipat.

Rămâne însă o întrebare esenţială: cât de eficient poate fi un asemenea „buton de oprire” în cazul unor sisteme suficient de capabile încât să găsească singure vulnerabilităţi, să folosească instrumente externe şi să-şi planifice acţiunile în mai multe etape?

Pe măsură ce AI-ul devine tot mai autonom, problema nu mai este doar ce poate face un model, ci şi dacă oamenii mai pot interveni la timp atunci când acesta începe să se comporte într-un mod neaşteptat.