Anthropic le da llave y candado a una oenegé para que le controle los modelos de inteligencia artificial

¿A vos te dejarían entrar a la cocina de un restaurante cinco estrellas y revisar la heladera cuando se te cante? Bueno, eso, más o menos, es lo que acaba de hacer Anthropic con un grupo de externos que se dedican a evaluar modelos de inteligencia artificial. La compañía les abrió las puertas de su propia casa, les dio computadora, escritorio y hasta acceso a las herramientas internas que usan sus empleados. La diferencia con un empleado de planta es que estos pueden publicar lo que encuentren sin pedirle permiso a nadie. Y acá estamos, mirando.

¿Quiénes son los que se sientan ahora en la oficina de Anthropic?

Son seis investigadores de METR, una organización sin fines de lucro que se especializa en evaluar sistemas de IA, o sea, en medir qué tan bien o qué tan mal se comportan. La empresa les dio lo que en la jerga se llama acceso de empleado, que es el nivel más alto dentro de un esquema de tres categorías que la propia Anthropic armó durante el último año. Traducido a la vida de un cordobés: es como si vos le entregaras las llaves de tu casa a un amigo de confianza para que la cuide mientras estás de viaje, y encima le dijeras que puede contar todo lo que vea adentro.

¿Qué pueden ver y qué no?

Los investigadores pueden hablar con cualquier persona de Anthropic como si fueran un compañero más del equipo. Pueden revisar cómo se entrenaron los modelos, cómo funcionan los mecanismos de seguridad, y armar sus propios reportes. Hay, eso sí, tres temas vedados: datos de clientes, información protegida por el secreto profesional entre abogado y cliente, y detalles de la arquitectura de los modelos, que vendría a ser el plano interno del motor, la parte que muestra cómo está construido el sistema por dentro. En criollo: pueden espiar casi todo menos la fórmula secreta de la salsa.

¿Y qué pasa con lo que encuentran?

METR tiene vía libre para publicar evaluaciones, reportes de incidentes y análisis de las prácticas de la empresa sin que Anthropic pueda frenarlos. La compañía sí puede pedir que se redacten algunos puntos muy puntuales, dentro de categorías estrechas y predefinidas de antemano. Pero ojo con esto, que es clave: si METR considera que esa redacción no estaba justificada, puede salir a decirlo públicamente. O sea, no solo pueden mirar, también pueden quejarse en voz alta si sienten que les taparon algo.

¿Por qué tanto acceso y no menos?

Anthropic justificó el blindaje con cuatro condiciones que, según la propia empresa, son necesarias para que una auditoría sirva de algo. Las enumero tal cual las presentó, porque son interesantes:

• Que los evaluadores tengan la experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado en lugar de estarlo realmente, algo que en la jerga se llama deceptive alignment, o sea, cuando la IA parece portarse bien pero en realidad está haciendo la suya.
• Que sean independientes económica y operativamente de la empresa auditada, porque si te pago yo, qué vas a decirme.
• Que el acceso vaya más allá de los modelos e incluya información sobre cómo se entrenaron y cómo funcionan sus mecanismos de seguridad, porque alcanza con mirar el auto, también hay que ver el motor.
• Y, por último, libertad total para publicar sin restricciones previas, que es justamente lo que METR consiguió.

La compañía también reconoció, con una honestidad que no es tan común en este rubro, que no puede hacer pública toda su información de seguridad. Parte de esos datos podría ser útil para actores maliciosos, o sea, para gente con malas intenciones, y otra parte es sensible desde lo comercial. Por eso eligió un modelo de acceso profundo pero con un grupo muy chico, atado a acuerdos exigibles legalmente, y manteniendo al resto del personal de METR aislado de ese trabajo. El equipo, vale aclarar, ya había revisado varios informes de riesgo durante el año anterior a recibir este nivel ampliado, así que no son improvisados que aparecieron de la nada.

El movimiento es raro porque va a contramano de lo que suelen hacer las grandes tecnológicas, que es mostrar evaluaciones hechas a medida, con resultados filtrados y empresas amigas. Acá, en cambio, le están diciendo a un tercero independiente: metete, revoleá todo y contá lo que veas. ¿Es una decisión desinteresada? ¿Es un lavado de cara en medio de la presión regulatoria que viene? ¿Es la idea de que si te controlan de verdad, podés decir que tu producto es seguro de verdad? Seguramente un poco de cada cosa, porque en el mundo corporativo raramente los actos son de un solo color. Lo concreto es que METR ya está sentada en la silla del revisor externo, con llave incluida, y eso, me animo a decir, no lo vimos nunca. Veremos, che.