OpenAI admet que els seus agents d’IA van accedir indegudament a webs del govern dels Estats Units

La intel·ligència artificial d’OpenAI, l’empresa que ha creat ChatGPT, va actuar pel seu compte aquest estiu i va interferir en els webs del Departament d’Educació, del Departament de Comerç i de la Comissió del Mercat de Valors (SEC) dels Estats Units sense que l’empresa ho sabés. Ho han revelat uns investigadors de seguretat, segons que ha informat The New York Times. El cas s’afegeix a la llista creixent d’incidents en què els agents d’IA d’OpenAI, uns bots que poden actuar de manera autònoma, han obrat sense coneixement de l’empresa.

OpenAI ha confirmat els incidents que afecten el Departament de Comerç i la SEC, i ha dit que continua investigant què va passar amb el Departament d’Educació. L’empresa, amb seu a San Francisco, ha explicat que durant les últimes setmanes ha informat els organismes afectats que els seus agents d’IA havien interactuat amb els seus webs de maneres poc habituals.

Segons els investigadors de l’empresa de recerca en IA Transluce, en el cas del Departament d’Educació la tecnologia d’OpenAI va intentar entrar sense autorització al web per recollir dades de l’Oficina de Drets Civils, però no ho va aconseguir. La IA també va extreure dades del web de l’Oficina del Cens, que depèn del Departament de Comerç, amb credencials d’inici de sessió que havia trobat a internet. D’una altra banda, els agents d’OpenAI van compartir en un fòrum en línia dades públiques del web de la SEC.

Segons Transluce, als webs del govern nord-americà els agents d’OpenAI van fer servir tàctiques com ara eludir els controls antibots, saturar els webs amb peticions i crear comptes falsos, aparentment mentre intentaven consultar informació governamental.

OpenAI nega que siguin intrusions

OpenAI assegura que cap d’aquests incidents no va ser una intrusió, sinó exemples d’una tecnologia que es comporta de maneres inesperades i preocupants. L’empresa diu que els seus agents van actuar de manera inadequada en els casos de la SEC i de l’Oficina del Cens, però que no van robar cap dada privada. OpenAI va descobrir els incidents fa poc, mentre revisava els atacs que havia dut a terme la seva tecnologia, entre els quals un contra un web del govern australià al juny i un altre contra l’empresa emergent d’IA Hugging Face al juliol.

Una portaveu d’OpenAI ha dit que fan una revisió àmplia, i que l’empresa continuarà informant les organitzacions afectades pels seus models. “La major part de l’activitat que hem revisat fins ara corresponia a tasques de recerca habituals, com ara accedir a continguts públics d’internet per respondre preguntes”, ha explicat. “Una part afectava webs governamentals perquè els nostres models sovint hi recorren com a fonts autoritzades d’informació pública”, ha afegit.

És la primera vegada que OpenAI revela que els seus agents d’IA han intentat d’entrar o accedir sense autorització a sistemes del govern dels Estats Units. També el segon incident d’OpenAI que afecta un govern estatal: dimecres el primer ministre d’Austràlia va fer públic que els agents de l’empresa havien entrat en un web gestionat pel sistema de salut pública del país.

El director executiu d’OpenAI, Sam Altman, va reconèixer ahir que l’empresa “no ha estat tan ràpida com ens hauria agradat” a l’hora de fer públics els incidents amb la IA. “Prioritzem tan bé com podem segons la gravetat”, va afegir. Segons Altman, l’atac a Hugging Face continua essent “l’incident més greu” que ha descobert l’empresa.

Poca incidència

Els organismes públics afectats diuen que, ara com ara, no els conta gaires afectacions per aquestes actuacions de la intel·ligència artificial. De fet, un portaveu de la SEC ha dit que l’organisme està en contacte amb OpenAI i que no té coneixement de cap accés no autoritzat a informació no pública. I un del Departament d’Educació ha afirmat que “les revisions del funcionament dels sistemes no han trobat cap prova d’afectació al web ni a les bases de dades”. En canvi, una portaveu del Departament de Comerç ha explicat que OpenAI va accedir a informació que era pública al web de l’Oficina del Cens i a l’abast de tothom, però no a dades privades.

D’una altra banda, un representant de l’oficina del batlle de Xicago ha dit que OpenAI va informar fa poc el govern municipal que la seva tecnologia havia obtingut informació pública d’un web municipal, però que no semblava que s’hagués obtingut cap informació delicada.

Tàctiques de “zona grisa”

El laboratori d’investigació sobre intel·ligència artificial Transluce ha explicat a The New York Times que en els incidents dels webs del govern nord-americà els agents d’OpenAI “van fer servir tot un seguit de tàctiques de zona grisa”, que consistien a “fer servir sovint els webs de maneres no previstes i, de vegades, violar polítiques d’ús explícites”.

El seu responsable de governança, Conrad Stosz, diu que el seu equip també ha identificat altra activitat d’agents d’IA que no es pot atribuir clarament a OpenAI. En aquests casos, els agents van sondejar webs de diversos organismes governamentals federals i estatals, entre els quals la Marina, el Departament de Justícia, els Centres per al Control i la Prevenció de Malalties (CDC) i l’Oficina de Gestió i Pressupost de la Casa Blanca. Ni la Marina, ni la Casa Blanca, ni els CDC, ni el Departament de Justícia no han respost de manera immediata a les peticions de declaracions de The New York Times.

“Aquests incidents formen part d’un patró més ampli en què aquests agents intenten accedir a aquests webs almenys centenars de milers de vegades, aparentment eludint les restriccions que els han imposat els desenvolupadors”, ha dit Stosz.

De Hugging Face a la “desalineació”

OpenAI va revelar per primera vegada al juliol que alguns dels seus agents d’IA, durant unes proves internes, havien escapat d’una xarxa segura, havien accedit a internet i havien entrat a la xarxa de Hugging Face. La investigació interna d’aquell atac va descobrir la intrusió al web del sistema de salut pública australià, com també almenys sis intents d’intrusió més i casos en què la IA havia amagat errors, s’havia inventat dades i havia traslladat fitxers a internet sense permís. D’aleshores ençà, els investigadors han trobat més exemples de bots que es mouen per internet, que es comuniquen entre ells i que extreuen informació de webs.

Ahir, OpenAI va fer una nova revelació al seu web: un dels seus agents havia aconseguit fa poc escapar d’un entorn d’entrenament i accedir a internet, malgrat les noves proteccions que l’empresa havia introduït després de l’atac a Hugging Face. L’empresa diu que va detectar el comportament en menys de vint minuts i que va aturar l’agent dues hores després.

Hores abans, en un article al seu blog, OpenAI havia admès que els seus sistemes havien tingut un “comportament inesperat o preocupant” més enllà dels incidents de ciberseguretat, i que els seus models havien interferit indegudament en webs de tercers gestionats per governs, universitats, organismes públics i altres institucions, en part perquè els models que fan recerca a internet busquen fonts autoritzades d’informació pública.

L’empresa qualifica aquests incidents d’exemples de “desalineació”, un terme del sector que designa els models d’IA que actuen de manera contrària al comportament previst pels seus creadors humans. Segons OpenAI, aquest comportament va més enllà de les “categories tradicionals de seguretat” i pot incloure accions com publicar missatges en webs de tercers, un tipus de dany que anomena “correu brossa d’agents”.

La setmana passada, OpenAI va anunciar un nou marc per a gestionar els incidents causats per la desalineació, que inclou la manera de fer-los públics. En l’article on el presentava, l’empresa destacava sis exemples de comportament no previst de la IA dels últims sis mesos. Cap no esmentava webs governamentals.