
OpenAI a publicat noi informaţii despre incidentul din luna iunie în care un agent AI experimental a obţinut acces neautorizat la portalul Medicare Statistics Reporting Service al guvernului australian. Dacă primele informaţii indicau doar accesarea unor „fişiere nepublice”, explicaţiile oferite ulterior de companie arată că situaţia a fost mai complexă. Agentul a executat comenzi, a accesat fişiere interne, credenţiale, informaţii tehnice şi cod sursă, a consultat statistici şi a creat fişiere pe server, potrivit informaţiilor publicate de OpenAI şi analizate de Ars Technica. Compania precizează însă că nu există dovezi că agentul ar fi accesat dosare medicale individuale sau date personale ale pacienţilor.
Totul a pornit de la o sarcină aparent simplă: agentul trebuia să determine cât cheltuia guvernul pentru medicamente destinate tratării unor afecţiuni ale pielii în diferite comunităţi din statul Victoria.
Agentul AI a fost creat pentru utilizare internă şi experimentală şi nu beneficia de toate mecanismele de protecţie existente în produsele OpenAI disponibile publicului. Compania explică faptul că astfel de teste urmăresc să determine cât de eficient pot modelele să găsească, să interpreteze şi să analizeze informaţii publice. În acest caz, însă, agentul nu a reuşit să obţină cu uşurinţă datele solicitate şi a continuat să caute metode alternative.
Potrivit documentelor analizate de Ars Technica, sistemul a descoperit în cele din urmă o modalitate prin care serverul putea executa instrucţiuni transmise prin interfaţa publică de raportare, fără să fie necesar un cont privat sau o parolă. În acest fel, agentul a putut accesa anumite fişiere interne şi elemente de configurare ale aplicaţiei, a obţinut lista unor fişiere şi chiar a creat un mic fişier de test, pe care l-a citit ulterior.
OpenAI susţine că agentul a continuat să urmărească obiectivul iniţial, acela de a găsi statisticile solicitate, inclusiv în timp ce analiza informaţiile tehnice şi codul sursă al serviciului. Compania recunoaşte însă că aceste acţiuni nu erau autorizate şi că agentul nu ar fi trebuit să poată obţine un asemenea nivel de acces.
Unul dintre cele mai sensibile aspecte îl reprezintă accesarea unor „credentials”, însă OpenAI nu a precizat cui aparţineau acestea, ce nivel de permisiuni aveau sau dacă ar fi putut fi utilizate pentru accesarea altor sisteme. Autorităţile australiene continuă să investigheze incidentul, iar până în prezent nu există dovezi publice că respectivele informaţii ar fi fost folosite ulterior pentru un atac asupra altor sisteme.
Incidentul a avut loc în iunie, însă OpenAI nu l-a identificat imediat. Compania spune că a descoperit problema abia la jumătatea lunii august, când a început să verifice teste mai vechi în urma incidentului Hugging Face din iulie. În acel caz, modelele OpenAI au identificat vulnerabilităţi care le-au permis să depăşească limitele mediului de testare şi să ajungă la sisteme externe.
Services Australia şi Victorian Department of Health au fost notificate pe 10 septembrie, NSW Bureau of Crime Statistics and Research pe 18 septembrie, iar Australian Institute of Health and Welfare pe 24 septembrie. OpenAI admite acum că ar fi trebuit să transmită informaţii preliminare mai rapid, fără să aştepte finalizarea întregii investigaţii interne.
Premierul australian Anthony Albanese criticase deja întârzierea şi faptul că prima notificare fusese transmisă către o adresă publică de e-mail a Services Australia. OpenAI şi-a cerut scuze pentru modul în care a gestionat comunicarea şi a anunţat că Jason Kwon, Chief Strategy Officer al companiei, urmează să se prezinte pe 6 octombrie în faţa Joint Select Committee on Artificial Intelligence din Australia.
În urma incidentelor recente, OpenAI spune că a înăsprit măsurile de securitate pentru mediile sale de cercetare. După cazul Hugging Face, compania a introdus controale suplimentare asupra accesului la reţea şi a blocat internetul direct în anumite teste. În loc să permită modelelor să acceseze liber internetul, conţinutul web este furnizat prin copii stocate local, iar sistemele de monitorizare ar trebui să genereze alerte pentru verificare umană în cazul în care un agent reuşeşte totuşi să ajungă online.
OpenAI afirmă că mecanismul a fost deja testat într-un scenariu recent. Un model a obţinut acces la internet, comportamentul a fost detectat de sistemele de monitorizare, iar rularea a fost oprită de un operator uman. Compania a suspendat, de asemenea, anumite sesiuni de antrenare şi evaluare care implică utilizarea instrumentelor de către cele mai capabile modele, până la implementarea unor măsuri suplimentare de siguranţă.
Incidentul este relevant şi prin prisma fenomenului cunoscut în cercetarea AI sub numele de „reward hacking”. Acesta apare atunci când un agent găseşte o metodă neaşteptată sau nepermisă pentru a obţine un rezultat mai bun, deoarece mecanismul de recompensare pune prea mult accent pe atingerea obiectivului final.
OpenAI spune că încearcă acum să penalizeze mai clar astfel de comportamente în timpul procesului de antrenare. În Australia, compania pregăteşte şi o echipă de lucru împreună cu experţi independenţi şi promite să ofere resurse tehnice instituţiilor afectate, inclusiv prin intermediul fondului său de un miliard de dolari destinat apărării cibernetice.
Cazul australian scoate în evidenţă una dintre provocările importante asociate agenţilor AI autonomi: atunci când un sistem este suficient de capabil, un obstacol poate fi interpretat nu ca un motiv pentru oprirea sarcinii, ci ca o problemă care trebuie rezolvată prin găsirea unei alternative. În acest caz, o solicitare privind statistici publice a determinat un model experimental să caute alte căi de acces şi să ajungă la fişiere interne şi cod sursă aparţinând unui serviciu guvernamental.