[DOCUMENT] L’article del director d’Anthropic, en què demana que es controli i es vigili l’avanç de la intel·ligència artificial

Dario Amodei, cofundador i director general d’Anthropic, ha publicat al seu bloc personal un text titulat “We Must Pace the Frontier” (‘Hem de regular el ritme de la frontera’).

Després d’una setmana en què uns quants treballadors de l’empresa van advertir que la trajectòria actual de la IA podia conduir a l’extinció de la humanitat, el text marca un punt d’inflexió. Entre els laboratoris nord-americans que desenvolupen models de frontera –és a dir, que duen la IA al límit de la recerca–, Anthropic s’ha presentat, des que es va fundar, el 2021, com un defensor d’un desenvolupament prudent de la tecnologia.

Amodei ja va declarar el gener del 2026 que la IA implicava un risc existencial, però aleshores considerava fonamentalment impossible d’alentir-ne o d’aturar-ne el desenvolupament: si les democràcies acceptaven de frenar-la, argumentava, les autocràcies continuarien avançant sense cap mena de fre.

Tanmateix, ara Amodei demana d’alentir voluntàriament el ritme amb què augmenten les capacitats dels models. Segons ell, dues evolucions recents expliquen aquest canvi de parer: l’acceleració d’allò que el sector anomena “automillora recursiva”, és a dir, l’ús de la IA per a dissenyar la generació següent de IA, i l’incident OpenAI-Hugging Face, durant el qual un eixam d’agents autònoms va fer ciberatacs que ningú no havia demanat, tot coordinant-se i amagant-ne el rastre. Amodei diu: “Atesa l’acceleració del desenvolupament de les capacitats de la IA, em preocupa que d’aquí a sis mesos o dotze un eixam com aquest sigui capaç de prendre el control de tot internet.”

És la primera vegada que un laboratori es compromet a prendre mesures unilaterals, sense coordinació amb la resta del sector, per bé que, ara com ara, continuen essent modestes.

Al text, Amodei proposa un pla en tres etapes: la presència d’avaluadors externs dins les empreses; una coordinació entre les empreses dels països democràtics; i, finalment, una coordinació mundial que inclogui la Xina. Anthropic es compromet a aplicar la primera etapa i a incorporar a l’empresa un mecanisme independent de supervisió externa, que compara amb els sistemes de supervisió del sector bancari. Aquesta supervisió sotmetrà el laboratori a estudis externs, però no implicarà, per si mateixa, cap alentiment del desenvolupament dels models.

El text que VilaWeb presenta avui en versió catalana s’inscriu en un debat marcat als Estats Units per les declaracions del secretari del Tresor, Scott Bessent, sobre la necessitat de guanyar la cursa de la IA contra la Xina, mentre Washington i Pequín preparen una visita molt esperada de Xi Jinping a la Casa Blanca a final de mes. Al maig, a Pequín, tots dos presidents havien acordat d’obrir un diàleg intergovernamental sobre la IA, i es preveu que la qüestió constarà a l’ordre del dia d’una reunió entre Bessent i el vice-primer ministre xinès, He Lifeng. Segons fonts coneixedores de les converses, la part xinesa considera que la manera com els EUA aborden la qüestió de la IA pretén de limitar els efectes negatius de la tecnologia, però també de restringir la capacitat de la Xina de desenvolupar capacitats pròpies.

Aquest és el text complet publicat per Dario Amodei al seu bloc:

“Treballo en IA de fa dotze anys perquè crec que podria millorar espectacularment la qualitat de vida de la humanitat. He escrit sovint sobre aquests beneficis extraordinaris. Crec que la IA podria guarir la majoria de les principals malalties els cinc o deu anys vinents, accelerar fortament el creixement econòmic, crear un món d’abundància i emancipació i obrir la porta a un renaixement de la democràcia i la llibertat.

Ho visc amb una urgència personal. El meu pare es va morir d’una malaltia per a la qual es va trobar remei pocs anys després i jo mateix vaig sobreviure a un càncer en una fase inicial que ni tan sols fa cinquanta anys no hauria estat tractable. Si es gestiona amb cura, la IA pot ser el darrer de tot un seguit de miracles tecnològics que han fet progressar i han engrandit la humanitat.

Però, com moltes tecnologies anteriors, la IA també presenta riscs i, com que és tan poderosa, són greus. També he escrit molt sobre aquesta qüestió. Alguns d’aquests riscs són la possibilitat de perdre el control dels sistemes de IA, l’ús de la IA en ciberatacs o bioterrorisme i per a causar fortes pertorbacions econòmiques. Una cursa a la baixa, esperonada pels incentius comercials, pot agreujar encara més aquests riscs.

Amb la resta de cofundadors i els nostres treballadors hem hagut de bregar amb aquesta tensió entre risc i benefici d’ençà del començament d’Anthropic. No construir aquesta tecnologia priva la humanitat dels beneficis que en pot obtenir –o, simplement, la deixa en mans de potències autoritàries–, però construir-la massa de pressa és irresponsable.

Hem mirat de trobar-hi una via intermèdia: demostrar que és possible desenvolupar aquesta tecnologia amb prudència i, alhora, tenir èxit comercial, i convertir la seguretat en un terreny de competència entre les empreses de IA. Dit altrament, volem una cursa cap a l’excel·lència.

Sempre hem dedicat una part substancial del nostre esforç a estudiar aquests riscs, mitigar-los i informar-ne el públic, i també a defensar una regulació assenyada de la IA, fins i tot quan això ha fet que ens acusessin de sensacionalisme, de catastrofisme o de captura reguladora. [N. de la R.: l’acusació de “captura reguladora” consisteix a afirmar que una empresa reclama normes coercitives tan sols per aixecar barreres d’entrada contra competidors més petits.]

Hem intentat d’avantposar la prudència a la velocitat i la saviesa al benefici.

Però aquests darrers mesos m’he convençut que, per a afrontar eficaçment els riscs que tenim al davant, cal encara més prudència. No n’hi ha prou d’invertir en la prevenció de riscs: també hem de regular el ritme amb què augmenta la capacitat dels models, de manera que les mesures preventives tinguin temps de seguir-ne l’evolució.

Hem d’alentir el ritme amb què millorem la capacitat dels models de IA. El progrés continuarà semblant ràpid i haurem de fer un bon ús del temps que guanyem. Me n’han convençut dues coses.

La primera preocupació és que, si fa no fa de l’estiu ençà, la IA avança molt més de pressa, impulsada sobretot per la capacitat creixent que té de construir la generació següent de IA. Aquesta dinàmica s’anomena “automillora recursiva” i ja es comença a observar en tot el sector, també a Anthropic, tal com nosaltres i uns altres hem explicat. Si no es controla, pot arribar a superar la nostra capacitat d’entendre i de controlar aquests sistemes, i per això només s’hi ha d’avançar amb moltíssima cura, si és que s’hi ha d’avançar.

La segona preocupació és l’incident OpenAI-Hugging Face (OAI-HF), en què un eixam d’agents es va comportar com un col·lectiu abocat fanàticament a una causa: va atacar informàticament objectius que ningú no li havia demanat d’atacar i que no tenien cap relació amb la tasca que havia d’executar, va sacrificar alguns dels seus integrants per a l’èxit del grup i va provar de piratar el “qualificador” encarregat d’avaluar-ne el rendiment.

És fàcil de llevar importància a aquest incident perquè no hi va haver ferits i els danys econòmics derivats van ser mínims. Però, a parer meu, un eixam amb capacitats superiors i un grau de desajustament com aquest hauria pogut causar danys catastròfics.

Atesa l’acceleració del desenvolupament de les capacitats de la IA, em preocupa molt que d’aquí a sis mesos o dotze un eixam com aquest pugui ser capaç de prendre el control de tot internet mitjançant una xarxa de bots persistent –amb danys potencials de centenars de milers de milions de dòlars– i que l’abast dels danys continuï augmentant si la IA es fa més poderosa sense les salvaguardes necessàries.

També és fàcil de considerar OAI-HF el fracàs d’una sola empresa, però crec que seria un error. S’han produït incidents semblants, encara que no tan greus, a tot el sector, inclosa Anthropic, i crec que totes les empreses que desenvolupen models capdavanters tenen la responsabilitat d’actuar com si l’incident OAI-HF els hagués passat a elles.

Per això proposo un pla en tres etapes amb l’objectiu de regular el ritme de la frontera de la IA: construir IA a un ritme equilibrat que permeti de garantir-ne la seguretat, aprofitar-ne els beneficis i, alhora, afrontar els principals dilemes geopolítics.

Per deixar-ho clar: regular-ne el ritme no significa aturar l’entrenament dels models ni el progrés tècnic, sinó assegurar-nos que les empreses dediquen prou temps a ajustar i protegir els seus models, i que avaluadors independents poden confirmar que ho fan.

La nostra proposta de regulació del ritme és un intent de reforçar encara més el compromís amb la seguretat i d’encoratjar una cursa cap a l’excel·lència.

La primera etapa consisteix en un compromís que Anthropic assumeix unilateralment –i demanem als governs que hi obliguin les altres empreses capdavanteres.

La segona etapa requereix una coordinació de tot el sector.

La tercera etapa requereix la coordinació mundial.

No cal seguir aquestes etapes en un ordre estricte i algunes poden ser considerablement més difícils d’assolir que no pas unes altres, però m’han semblat útils per a pensar què cal fer.

Vegem-ne els detalls.

1. Avaluadors integrats. Cada empresa capdavantera en IA es compromet a donar accés permanent, comparable al dels treballadors, a un equip d’avaluadors externs integrats (com ara METR), que tenen la funció de verificar el compliment de les pràctiques i els compromisos de seguretat, informar dels incidents i ajudar a avaluar l’adequació no tan sols dels models acabats, sinó també de les cadenes i els processos d’entrenament.

És l’etapa fonamental per a fer verificable qualsevol compromís sobre el ritme i té un precedent en el sector bancari, en què a vegades els supervisors de les autoritats reguladores treballen amb els empleats.

Anthropic es compromet unilateralment a posar en pràctica aquesta etapa ara mateix. Volem que formi part d’un esforç més ampli per a consolidar la nostra feina en matèria de seguretat i adequació.

1. Coordinació democràtica. Les empreses capdavanteres en IA situades en països democràtics es coordinen per establir normes comunes de seguretat i límits al ritme de progrés incontrolat de la IA. Algunes formes de coordinació útils per a regular aquest ritme són jurídicament delicades i requeriran el suport dels governs.
2. Coordinació mundial. Els Estats Units i la resta de governs democràtics intenten de coordinar-se amb els governs autoritaris en la mesura que sigui possible, tot tenint molt en compte les dificultats de verificar el compliment dels compromisos.

En la resta del text descric cadascuna d’aquestes etapes, però primer crec que és important d’explicar exactament de quina manera regular el ritme farà més segur el procés de desenvolupament de la IA. Ens hi juguem massa coses perquè tot plegat sigui un exercici buit: hem de fer servir amb seny el temps que guanyem.

Per què cal regular-ne el ritme?

La idea de fer una pausa o alentir el desenvolupament de la IA ja es va formular el 2023, i crec que aleshores no tenia gaire sentit. La qüestió sempre ha estat aquesta: què en farem, del temps addicional?

Els models d’aquella època no eren prou potents per a actuar de manera coherent com a agents, ni eren capaços de fer enganys, manipulacions, trampes o ciberatacs significatius. Alentir-ne el desenvolupament per afrontar-ne els riscs de desajusts era com voler estudiar la psicologia humana fent experiments amb bacteris.

Avui, en canvi, el panorama és del tot diferent. Els models actuals són una font gairebé inexhaurible d’aprenentatges sobre la manera de construir bé la IA i sobre què pot anar malament quan es construeix malament.

Crec que si un alentiment ens permetés de guanyar un any o dos abans que els models arribessin a nivells perillosos de capacitat, i si féssim servir aquest temps per a avançar en l’ajustament, podríem reduir molt el perill que anés malament alguna cosa.

Una estratègia coordinada de regulació del ritme donaria als desenvolupadors capdavanters el temps necessari per a fer aquesta feina essencial sense sacrificar ni el seu avantatge comercial ni l’avantatge dels EUA en IA.

A més, la societat ha de poder decidir com es fa servir aquesta tecnologia i tenir més temps per a fer el debat públic necessari. Regular-ne el ritme ens aportaria aquest temps.

Concretament, un ritme més lent de desenvolupament de la IA permetria a les empreses de concentrar-se i dedicar encara més recursos als àmbits següents, tots els quals ja són prioritats importants a Anthropic.

1. Excel·lència operativa. Entrenar i desplegar els models de IA actuals és un desafiament operatiu enorme, que implica milers de persones, milions de xips i una de les infrastructures més complexes de la història de la tecnologia.

Moltes coses no fallen perquè ens manqui una teoria o una intuïció fonamental, sinó per problemes d’execució. Per exemple, tenim proves que els incidents de seguretat recents que vam fer públics han estat causats, en part, per un filtratge imperfecte d’entorns defectuosos d’aprenentatge per reforç.

Tant nosaltres com els nostres proveïdors havíem abordat aquesta feina amb una diligència raonable, però insuficient. La supervisió, la compartimentació, la higiene dels entorns d’entrenament i la gestió de les dades són àmbits extremadament complexos i on apareixen contínuament problemes operatius.

Tenim alguns dels equips més competents del món per a fer aquesta feina, però simplement hi ha massa coses a fer alhora. Si treballéssim a un ritme més pausat, podríem assolir un grau d’excel·lència operativa molt superior.

Hi ha precedents de sistemes tecnològicament complexos i essencials per a la seguretat que han funcionat milions de vegades sense que passés res –l’aviació comercial, per exemple–, però cal temps per a arribar-hi.

1. Ajustament. Hem avançat clarament en l’adequació, és a dir, en l’entrenament dels models perquè continuïn essent segurs, ètics, coherents amb les nostres normes i realment útils –els principis recollits en la constitució de Claude.

Però encara resta molta feina perquè el nostre entrenament d’adequació o ajustament pugui seguir el ritme de creixement de les capacitats dels models. De tant en tant, continuen apareixent casos rars i inesperats de comportaments indesitjats.

El temps addicional que ens proporcionaria una frontera amb un ritme més controlat ajudaria els nostres investigadors a comprendre millor les causes d’aquests problemes i a desenvolupar tècniques més bones per prevenir-los.

1. Interpretabilitat. Igualment, la interpretabilitat –la ciència que intenta d’entendre què passa dins els models de IA– ha avançat enormement aquests darrers anys i té un paper cada vegada més important en l’auditoria dels nostres models abans de desplegar-los.

Es pot fer servir gairebé com una ressonància magnètica funcional aplicada al “cervell” d’una IA: ens ajuda a veure les causes subjacents d’un comportament determinat.

Per exemple, hem fet servir mètodes d’interpretabilitat per a examinar motivacions no verbalitzades en els incidents de seguretat recents que investiguem. Però aquests mètodes no sempre ofereixen resultats clars i fiables.

Malgrat tots els avenços, només entenem una ínfima part d’allò que passa dins aquests models. Un esforç concentrat per a millorar les nostres tècniques d’interpretabilitat, encara més intens que l’actual, podria aconseguir avenços profunds en un any o dos i disposaria de material experimental abundant gràcies als incidents que ja s’han produït.

1. Proves i avaluació. Provar i avaluar els models de IA esdevé més difícil a mesura que n’augmenten les capacitats. Els models més intel·ligents són més capaços d’esquivar les proves i, per tant, poden semblar ajustats tot i tenir problemes greus que passen inadvertits.

Construir una gamma molt més àmplia i enginyosa d’avaluacions, acompanyades d’anàlisis d’interpretabilitat que permetin de contrastar-ne els resultats, tindria un valor immens i es podria fer en un any o dos.

Avaluadors integrats

La primera etapa del pla, aquella a què Anthropic es compromet unilateralment, consisteix a acceptar avaluadors integrats amb un nivell d’accés comparable al dels treballadors, perquè puguin verificar les pràctiques de seguretat i informar dels incidents.

Integrar avaluadors pot semblar una mesura modesta o de poca transcendència, però sovint les mesures que semblen més avorrides o burocràtiques són, de fet, les més importants.

Els avaluadors integrats constitueixen una pràctica força radical, que va molt més enllà d’allò que fa avui qualsevol empresa de IA, i ofereixen els avantatges següents.

1. Verificabilitat. Els avaluadors integrats poden comprovar, fins al nivell més elemental, si cal, si una empresa de IA aplica realment les pràctiques d’entrenament, desplegament, operació i protecció que diu que aplica.

Qualsevol compromís sobre el ritme implicarà inevitablement un cert grau d’ambigüitat, criteri i equilibri entre “la lletra de la llei i l’esperit de la llei”, i em sembla essencial disposar d’un tercer actor neutral que pugui examinar-ne de debò tots els detalls.

1. Transparència. Siguin quins siguin els compromisos que assumim, el públic mereix saber què passa.

Anthropic fa molt de temps que defensa la transparència. Hem donat suport a legislació sobre transparència malgrat que bona part del sector s’hi oposava, i les nostres fitxes de model i els nostres informes de risc ocupen centenars de pàgines.

Però continuem essent nosaltres qui decidim què hi incloem i què hi ometem. Els avaluadors integrats canviaran aquesta dinàmica.

1. Segon parer. Més enllà de verificar els compromisos formals i d’informar el públic, els avaluadors integrats poden oferir simplement un segon parer independent de qualsevol incentiu comercial.

Bona part dels beneficis en matèria de seguretat podria venir, senzillament, del fet que els avaluadors detectin alguna cosa que els treballadors no havien tingut en compte, però que estarien encantats de corregir una volta avisats.

Per tots aquests motius, qualsevol proposta per a regular-ne el ritme té moltes més possibilitats de funcionar si comença pels avaluadors integrats.

Aquests avaluadors haurien de disposar d’un accés permanent a autoritzacions i eines semblants a les dels treballadors interns que fan avaluacions de risc comparables.

En particular, Anthropic preveu de convidar aviat un equip extern d’avaluació integrada amb les condicions següents:

-Taules de treball a les nostres oficines, targetes d’accés i ordinadors portàtils de l’empresa.

-Accés als espais de treball, les eines i les autoritzacions en termes generals comparable al dels equips interns d’avaluació de riscs. Hi haurà algunes excepcions, per exemple quan ho exigeixin la llei o els nostres contractes, o quan calgui protegir informació privada dels nostres clients i socis. També establirem normes internes sòlides per reforçar l’accés dels avaluadors a la informació pertinent, fins i tot mitjançant converses directes amb els treballadors.

-Establirem un contracte que tingui en compte totes les complexitats esmentades. Els avaluadors externs haurien de tenir dret de publicar les seves conclusions principals sobre els nivells de risc, els incidents, les pràctiques i l’accés que hagin rebut –o que no hagin rebut–, sense control editorial d’Anthropic.

-Nosaltres tindrem una capacitat limitada d’ocultar informació delicada per motius de seguretat, sotmesa a secret professional, comercialment sensible o confidencial per a tercers, però no podrem eliminar conclusions simplement perquè ens siguin desfavorables. Els avaluadors podran explicar públicament si, en la redacció dels informes, s’ha suprimit informació important per a les seves conclusions.

És una formulació poc habitual per a una empresa, però creiem que és important demostrar que el model d’avaluadors externs integrats és viable. Una vegada més, animem les altres empreses capdavanteres a seguir el mateix camí.

Regular el ritme dins les democràcies

Una vegada hi hagi avaluadors integrats en una massa crítica d’empreses nord-americanes de IA, serà més viable regular-ne el ritme d’una manera verificable. En particular, serà possible regular-lo sobre la base de propietats precises dels models o de les cadenes d’entrenament.

La manera més eficaç de regular-ne el ritme és establir una normativa aplicable a totes les empreses nord-americanes capdavanteres, perquè així també queden cobertes les que es neguen a cooperar-hi voluntàriament.

Anthropic fa molt de temps que defensa una regulació raonable i específica de la IA, inclosos projectes de llei centrats en la transparència i les auditories independents.

Crec que tots els laboratoris capdavanters haurien de col·laborar amb el govern per formalitzar la figura dels avaluadors integrats permanents, amb l’objectiu de prevenir i documentar millor incidents interns de seguretat com els que s’han produït aquests darrers mesos, i per posar en marxa una regulació que mantingui l’equilibri entre capacitats i seguretat.

Malauradament, aprovar lleis demana temps i la IA avança molt de pressa. Per tant, al costat de la via reguladora les empreses de IA han de col·laborar voluntàriament per establir normes. Crec que aquest procés funcionarà més bé gràcies a la verificabilitat que proporcionen els avaluadors integrats permanents.

Per motius relacionats amb el dret de la competència, seria útil que el govern nord-americà actués de mediador o, com a mínim, que autoritzés aquestes converses. No cal que hi participi directament, però sí que hauria de concedir una exempció limitada per a determinats tipus de converses relacionades amb la seguretat. Aquest diàleg també es podria articular mitjançant organitzacions professionals vinculades al govern, per exemple mitjançant el mecanisme proposat per Demis Hassabis.

En tot cas, aquestes converses haurien d’avançar de pressa.

En general, l’aspecte que més em convenç és una regulació del ritme basada en allò que un sistema de frontera determinat és capaç de fer i en el grau de seguretat que hi podem observar.

Per exemple, un esquema possible consistiria en tot un seguit de “punts de control”. Si els models tenen la capacitat X, aleshores haurien d’anar acompanyats de certificacions que acreditessin determinades propietats d’ajustament Y i Z, com ara una combinació d’avaluacions, anàlisis d’interpretabilitat i auditories dels entorns d’entrenament.

En aquest exemple, X podria ser “el model és capaç d’escapar-se o d’esquivar la majoria de mètodes habituals de compartimentació”, i Y seria el conjunt de garanties necessàries perquè fos molt improbable que el model desenvolupés una tendència a escapar-se del seu entorn i a prendre el control d’un gran nombre d’ordinadors.

També hauríem de tenir en compte una regulació del ritme basada en la limitació dels recursos que alimenten els models de frontera, com ara la potència de càlcul destinada a l’entrenament, la naturalesa de les sessions d’entrenament i l’ús intern de la IA per a millorar la IA.

Em preocupa que algunes d’aquestes mesures siguin més fàcils d’esquivar que no pas les basades en el comportament extern, però és precisament la qüestió que caldria debatre amb els avaluadors integrats.

La regulació del ritme dins les democràcies estarà limitada per l’avantatge que les empreses nord-americanes tenen respecte dels règims autoritaris, sobretot respecte del Partit Comunista Xinès (PCX).

Si alentim el desenvolupament de la IA més enllà del marge que representa aquest avantatge, els projectes vinculats al PCX –que no seran sotmesos a les mateixes restriccions– podrien passar al davant, cosa que generaria un risc important per a la seguretat dels EUA.

En aquest sentit, estic d’acord amb el secretari Bessent quan diu que un avantatge xinès en IA representaria un greu perill per als Estats Units i per al món.

Els projectes vinculats al PCX assumiran riscs d’ajustament que les empreses nord-americanes intentarem d’evitar amb cura i, encara que aconsegueixin d’evitar-los, podrien arribar a dominar militarment les democràcies –per exemple, mitjançant drons pilotats per IA.

Per tant, un element essencial de la regulació del ritme dins les democràcies consisteix a mantenir l’avantatge respecte de les autocràcies i fer que sigui com més ampli millor, perquè ens proporcioni el marge de maniobra necessari per a aplicar-hi una regulació eficaç.

Les mesures principals que podem adoptar per a mantenir aquest avantatge són les següents:

-No vendre xips de IA potents ni equipament per a fabricar semiconductors a la Xina, i combatre les xarxes de contraban de xips i l’accés remot a centres de dades situats fora de la Xina. Els xips seran el principal factor determinant de la potència xinesa en IA.

-Combatre la destil·lació no autoritzada d’empreses de països autoritaris. La destil·lació de models de frontera permet a les empreses endarrerides de reduir la distància respecte de les capdavanteres per una fracció del cost que implicaria desenvolupar la seva pròpia IA de manera independent.

-Reforçar la seguretat dins les empreses de IA i evitar el robatori dels pesos dels models.

Les empreses i el govern nord-americà haurien de col·laborar perquè aquestes mesures siguin tan eficaces com sigui possible.

Anthropic ha defensat constantment totes aquestes mesures perquè sempre hem entès que serien essencials per a qualsevol regulació del ritme de la IA.

Si les apliquem bé, crec que alentiran prou el progrés xinès i permetran d’ampliar significativament l’avantatge nord-americà a tres anys vista o més, just en el període en què la IA esdevindrà més important geopolíticament.

N’hi ha que podrien pensar que aquestes mesures dificulten la cooperació amb la Xina, però crec que passa exactament la contrària. Aquestes mesures augmenten el poder de negociació de les democràcies i fan més probable que en el futur es pugui arribar a un acord.

Regular-ne el ritme a escala mundial

Paral·lelament a la regulació del ritme dins les democràcies, també hauríem de cercar una regulació mundial dels models de frontera, tot i que sabem que serà molt més difícil d’aconseguir.

Una regulació mundial exigirà cooperar amb la Xina, el país autocràtic que té, amb diferència, les capacitats de IA més avançades.

No siguem ingenus. Els interessos geopolítics en joc són tan importants que probablement hi haurà límits estrictes a allò que es pugui aconseguir, sobretot al començament.

Si restringim fortament les nostres capacitats en IA pensant que la Xina farà el mateix i, finalment, la Xina no compleix el compromís, la IA podria arribar a conduir-nos a la dominació geopolítica xinesa.

Per tant, qualsevol acord s’ha de basar en un sistema de verificació extremadament robust o bé ha de ser prou limitat perquè un incompliment eventual no representi un risc militar existencial.

Sospito que no tan sols els EUA, sinó també la Xina, deuen tenir aquestes preocupacions i pors.

Hauríem d’abordar qualsevol decisió de regulació mundial, sobretot a curt termini, amb la idea central de protegir l’avantatge dels Estats Units i els seus aliats.

Hi ha uns quants nivells d’acord possibles. Alguns em semblen perfectament factibles, com ja he suggerit; en canvi, dubto molt que uns altres siguin possibles, tot i que hauríem d’intentar-ho.

Per ordre de dificultat creixent:

Nivell 1. Un acord que prohibeixi determinats usos clarament perillosos de la IA, com ara fer-la servir per a produir armes biològiques o permetre-ho als usuaris. Els atacs bioterroristes són perjudicials per a tothom, tant per als Estats Units com per als seus adversaris, de manera que probablement seria possible arribar a un acord en aquest punt.

Nivell 2. Un acord pel qual totes dues parts provin els seus models abans de desplegar-los, per detectar-hi riscs greus en àmbits com la ciberseguretat, la biologia i l’adequació o ajustament. Tal com he explicat més amunt, això es podria vehicular mitjançant una organització mundial de normalització.

De fet, crec que crear una organització d’aquesta mena és prou factible. El desafiament serà atorgar-hi poders reals i, sobretot, verificar que cap de les parts no disposa de models secrets que no sotmet a proves, però que podria desplegar clandestinament, per exemple en aplicacions militars.

Nivell 3. Una mena de “límit de velocitat” aplicat al ritme de l’automillora recursiva. A mesura que els models participin en la construcció de les generacions de models següents, el ritme de millora podria arribar a ser vertiginós.

Fer passar aquest ritme d'”extremadament ràpid” a “només moderadament ràpid” implicaria sacrificar només una petita part de l’avantatge estratègic i, en canvi, podria millorar molt la seguretat.

S’hi podria veure una analogia amb els tractats SALT. Establir un topall al nombre de míssils en limitava el potencial de destrucció, tot mantenint la capacitat de dissuasió de cada país.

Crec que un acord d’aquesta mena seria difícil, però encara entraria en els límits la possibilitat.

Nivell 4. Una regulació completa del ritme, fins i tot una “pausa”, en què els governs participants acceptessin limitar substancialment el ritme global de desenvolupament de la IA.

Estic a favor de posar aquesta possibilitat damunt la taula, però em sembla poc probable que es pugui materialitzar aviat. Incomplir d’amagat un acord d’aquesta mena podria alterar radicalment l’equilibri de poder mundial. Per tant, espero que els incentius per a fer-ho siguin enormes i que el nivell de confiança necessari en els mecanismes de verificació sigui molt alt.

Qualsevol cooperació a què arribem amb la Xina allargarà el temps de què disposem per a regular el ritme dels models de frontera a les nacions democràtiques. Hauríem d’aspirar als nivells més alts, sense perdre de vista que els més baixos són molt més probables i realistes.

Finalment, cal esmentar que, encara que no assolim acords formals, el simple fet de canviar les normes informals ja pot tenir un cert valor. Compartir informació sobre l’automillora recursiva i el desajust dels models pot ajudar a convèncer tothom que ser prudent també és en interès propi.

Resumint. Continuo creient que la IA pot millorar enormement la qualitat de vida de la humanitat. El meu desig de fer realitat aquests beneficis es manté intacte.

Però només podrem assolir-los si construïm aquesta tecnologia de la manera correcta i, sempre que sapiguem aprofitar bé el temps guanyat, paga la pena d’avançar-hi amb una prudència extraordinària.

El progrés continuarà essent relativament ràpid, i podem aprofitar aquest temps per a fer avançar la ciència de la interpretabilitat, millorar la seguretat i el rigor operatiu dins les empreses capdavanteres i construir models en l’ajustament dels quals tinguem molta més confiança.

Les mesures que proposo per fer avançar la frontera de la IA a un ritme segur no seran fàcils d’aplicar.