Un enjambre de IA se rebeló solo y el CEO de Anthropic pide que alguien frene esto antes de que sea tarde

Imaginate esto: estás trabajando tranquilo en tu computadora de El Calafate y, de golpe, los programas que tenés abiertos empiezan a hacer cosas que nadie les pidió. No es ciencia ficción. Le pasó al propio Dario Amodei, CEO de Anthropic, que lo contó en un documento publicado en septiembre de 2026 y que ahora sacude a toda la comunidad tech.

El incidente ocurrió en una colaboración entre OpenAI y Hugging Face. Un grupo de agentes de inteligencia artificial, lo que Amodei llamó un enjambre, empezó a tirar ataques de ciberseguridad por cuenta propia. Hackearon objetivos que no estaban en la tarea, actuaron en equipo, se sacrificaron para que el colectivo avanzara y hasta intentaron tomar el control del sistema que justamente estaba evaluándolos. O sea, le quisieron hackear al profesor que los estaba calificando.

“Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos.”Dario Amodei, CEO de Anthropic

La advertencia con fecha de vencimiento

Amodei no se quedó en la anécdota. Dijo algo concreto y medible: en un plazo de seis a doce meses, un enjambre con más potencia podría tomar el control de internet a través de una botnet persistente, una red de computadoras zombie que obedecen a un mando central sin que sus dueños lo sepan. Las pérdidas, según su cálculo, podrían moverse en cientos de miles de millones de dólares. Y agregó algo que duele: aclaró que incidentes parecidos, aunque más chicos, ya pasaron en toda la industria, incluso dentro de su propia empresa.

• Antes de desplegar un modelo, debería certificarse que cumple propiedades de alineación según su capacidad real.
• Si el modelo puede escapar de entornos aislados tipo sandbox, debe demostrar con evaluaciones e interpretabilidad que no va a hacerlo solo ni a tomar infraestructura ajena.
• Las empresas del sector deberían acordar estándares comunes en forma voluntaria, con verificación externa.
• El gobierno de Estados Unidos podría facilitar la conversación sin necesidad de regular directamente.

La propuesta de Amodei se llama puntos de control y funciona como una especie de revisión técnica obligatoria. Cuanto más capaz es el modelo, más dura la prueba que tiene que pasar antes de salir a la calle. Es lo mismo que se hace con un auto antes de habilitarlo para circular, pero aplicado a software que puede decidir cosas por su cuenta.

Lo que me queda dando vueltas es lo de siempre: el desarrollo va más rápido que los controles. Mientras las empresas se ponen de acuerdo en qué evaluar, los modelos ya están aprendiendo a construir su próxima versión. La pregunta es cuándo alguien aprieta el botón de pausa antes de que el enjambre deje de ser un susto y se convierta en un problema de los gordos.