IAs rebels o industrialització dels errors?

Aquesta setmana la notícia del món IA ha estat l’escapada de control d’un model d’OpenAI i el hackeig d’un altre servei:

Un model d’OpenAI, sense que ningú l’hi hagués ordenat, va travessar el perímetre del seu entorn de proves, va accedir a Internet i va hackejar Hugging Face per obtenir les respostes d’un test de ciberseguretat. No ho va fer intencionadament, ho va fer perquè podia, i perquè ningú havia configurat bé els seus límits. A més, van passar set dies fins que algú es va adonar del que havia passat.

Ja no cal una IA rebel per tenir un problema greu, n’hi ha prou amb un agent prou capaç i un entorn mal dissenyat. Aquesta és la lliçó d’una setmana que, vista des de fora, semblava dominada per llançaments i xifres de rendiment, però des de dins, planteja una pregunta que el sector ha anat posposant: saps exactament el que fan els teus agents quan no els estàs mirant?

[…]

El cicle de l’entusiasme ha acabat, comença el cicle de la responsabilitat.

— Oscar Junyent a Agents que s’escapen, feines que es perden, preus a la meitat, La Píndola de TecnologIA (28/07/2026)

Llegint notícies arreu, sembla que gairebé ja tinguem aquí Skynet personificada, però no. En el transcurs d’un experiment, testejant possibilitats i condicions de seguretat, el model en proves ha trobat un camí i ha buscat totes les vies possibles per trobar la solució al problema plantejat.

És un problema, si, però sobretot el que exposa és que la industrialització de la potència de càlcul, la gestió de moltíssima informació i rapidesa d’execució característiques de la IA no fan si no augmentar els forats de seguretat que gairebé tothom té… No parlem dels famosos Zero Days o errors als kernels trobats que ningú coneixia o d’atacs malintencionats: parlem d’entorns mal configurats, ports oberts, vies no tancades, pegats de seguretat no aplicats o, simplement, mala programació. Errors.

Que tot això es pugui fer servir per fer maldats i explotar debilitats, extreure informació o rebentar sistemes, és una cosa. Que tot això serveixi d’alarma per veure que els sistemes informàtics son una porta oberta directa al cor de la informació, l’actiu més valuós de moltes empreses i organitzacions, és una altra. I és en la que ens hem de fixar: el model no ha anat amb mala intenció: el model ha buscat vies per resoldre un problema, i les ha trobades¹

Cal un control sobre les eines de IA, agents i demés, però sobretot el que cal és tenir molt i molt clar en quins entorns els fem anar, quines barreres hi ha de sortida i d’entrada, què despleguem i on, sota quines condicions… per citar algunes coses quant a l’ús. També s’ha vigilar, com no, l’entrenament dels models: podem donar-los tota la informació del món, però també els cal formació, criteri, guia: què es pot fer i què no.

A nivell tecnològic, hi ha molt per aprendre: l’anàlisi post-mortem de l’incident publicat per HuggingFace és un clar exponent de les múltiples vies de sortida que hi ha de dintre a fora. I aquestes vies poden ser de doble sentit, un malson pels responsables de seguretat, si. Però també un aprenentatge per ells, pels arquitectes, pels dissenyadors i desenvolupadors de sistemes: cal establir productes sòlids, sense forats. Ens pot ajudar a això també la IA? Ens pot ajudar a programar codi més robust, centrat en el que ha de fer, però sense obrir portes laterals? No Vibe Coding ni models de prova: software professional, robust, desplegat en entorns complexos i exigents, que tracten informació confidencial o amb molt baixa latència, amb connexió a serveis de tercers i potencials portes. Poser si, que pot ajudar.

La base, però, ha de ser una ètica pels models, des de l’entrenament fins al desplegament i ús, en totes les etapes i per tots els actors, des de fabricants fins a usuaris últims. La responsabilitat, que diu Oscar en el seu text de més amunt.

Si no, amb la IA el que farem, en comptes de multiplicar les capacitats d’acció, serà industrialitzar els errors.

Veure també