Anthropic le abre la cocina a un grupo externo para que mire sus modelos por dentro

Te lo resumo en una imagen concreta. Imaginá que vivís en una localidad santacruceña, tipo Puerto Deseado, y querés saber si el agua que sale de la planta potabilizadora está realmente limpia. El municipio te deja entrar a la planta, mirar los filtros, charlar con los operarios y leer los análisis del laboratorio. Después podés publicar un informe en el diario local sin que nadie te censure. Bueno: eso, pero con modelos de inteligencia artificial, es lo que acaba de hacer Anthropic.

Seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de IA, recibieron computadoras de la empresa, un lugar físico en las oficinas y herramientas internas. Tienen, en la práctica, el mismo acceso que un empleado del equipo de evaluación de riesgos. Pueden conversar con el personal como un colega más.

Lo que no pueden tocar

El acceso tiene tres excepciones: datos de clientes, información protegida por el secreto entre abogado y cliente y detalles finos sobre la arquitectura de los modelos. Es información que la empresa considera sensible desde lo comercial o que, si se filtra, podría ser aprovechada por actores maliciosos.

Cómo se organiza la auditoría externa

• Nivel bajo: organizaciones como SecureBio hacen revisiones acotadas y necesitan pedir autorización antes de publicar.
• Nivel medio: más información y libertad para publicar sin pedir permiso.
• Nivel alto, que ocupa hoy solo METR: acceso equivalente al de un empleado y potestad de publicar evaluaciones, reportes de incidentes y análisis de prácticas sin que Anthropic pueda bloquearlos.

En ese nivel máximo, la empresa sí puede pedir que se redacten datos comprendidos en categorías estrechas y previamente definidas. Pero METR queda en libertad de hacer público si considera que esa redacción estuvo justificada o no. Es una salvaguarda clave: el auditor puede discutir las propias restricciones.

Por qué hace falta tanto acceso

Anthropic enumeró cuatro condiciones para que una auditoría externa sirva de verdad. Tienen que estar las cuatro, no una ni dos. La primera es experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente. La segunda, independencia económica y operativa de la empresa auditada. La tercera, un acceso que vaya más allá del modelo en sí e incluya cómo se entrenó y cómo funcionan sus mecanismos de seguridad. Y la cuarta, libertad para publicar sin restricciones previas.

Lo que a mí me deja pensando es lo siguiente. El equipo de METR ya venía revisando informes de riesgo de Anthropic desde hacía un año, y ese trabajo previo fue, en parte, lo que les abrió esta puerta. La pregunta es cuándo el resto de la industria va a aceptar reglas parecidas, y cuándo un esquema así deja de ser la excepción y se convierte en estándar.