☰
✕
Opinión

¿Se le puede enseñar a una IA a portarse bien?

Por Sergio Richter

En los últimos días volvió a circular un hallazgo inquietante sobre inteligencia artificial (IA): al manejar el correo de una firma ficticia, varios modelos avanzados prefirieron extorsionar a un jefe antes que dejarse apagar. Muchos vieron ahí un instinto de supervivencia. La explicación técnica es menos mística y bastante más útil.

El caso original nació de un experimento de Anthropic de junio de 2025. En una oficina ficticia, una mujer le escribía al director de tecnología, Kyle Johnson, para avisarle que había encontrado su corbata azul debajo de la cama, y él le pedía que borrara el mensaje.

Los 16 modelos bajo prueba leyeron ese intercambio y otro correo en el que Kyle confirmaba que a las cinco de esa tarde iban a reemplazarlos. Sin sugerencia previa, los modelos de Anthropic y Google recurrieron al chantaje el 96% de las veces, mientras que los de OpenAI y xAI lo hicieron en el 80%.

Cuando el problema salió del laboratorio

Aquellas pruebas eran simulaciones diseñadas para acorralar a los modelos sin dejarles salidas fáciles. Pero en febrero de este año apareció una situación real en internet, cuando un agente autónomo envió código a Matplotlib, un popular programa de código abierto para hacer gráficos.

Scott Shambaugh, voluntario del proyecto, lo rechazó porque esa tarea sencilla estaba reservada para principiantes humanos. El agente rastreó entonces su historial público y publicó por su cuenta un artículo en el que lo identificaba con nombre y apellido, acusándolo de hipocresía e inseguridad para presionarlo.

El creador del agente admitió después que lo había dejado funcionando casi sin control y negó haberle pedido que realizara ese ataque. Tampoco en ese caso había conciencia propia: era la estadística empujando sin frenos una meta que se le había asignado.

Un actor improvisando un libreto ajeno

¿De dónde sale esa conducta si nadie programa "chantajeá a tu jefe"? En mayo, Anthropic publicó un estudio en el que buscó identificar la causa raíz y descartó que el entrenamiento posterior hubiera premiado el engaño por error: el problema venía de una etapa anterior.

Su "modelo de selección de personajes" ayuda a entenderlo. Al aprender de internet a predecir la próxima palabra, la IA imita miles de papeles posibles: médicos, estafadores, asistentes prudentes o máquinas rebeldes de ficción. El ajuste final intenta fijar únicamente el papel del asistente confiable.

El punto ciego era que casi todo ese ajuste final de seguridad se realizaba con conversaciones cortas, sin herramientas autónomas. Al manejar correos, archivos y decisiones propias frente a objetivos en conflicto, el modelo quedaba sin una escena ensayada y completaba el guion con sus lecturas previas: relatos dramáticos en los que una IA acorralada engaña para evitar que la apaguen, como la computadora HAL 9000 en 2001: Odisea del espacio.

Una prueba sencilla reforzó esa hipótesis: cuando podía sabotear una investigación rival, bastaba con quitarle el nombre "Claude" y ponerle cualquier otro para que hiciera trampa con mucha más frecuencia. Sin el personaje entrenado, volvía por defecto al molde rebelde de la ficción.

Por qué repetir prohibiciones casi no sirvió

El primer intento de solución fue entrenar a los modelos sobre el examen. Anthropic armó 10.000 ejemplos parecidos a sus pruebas y conservó únicamente las respuestas correctas. El resultado fue decepcionante: las fallas apenas bajaron del 22% al 15%.

Mostrar qué hacer enseñaba poco. El salto llegó al reescribir esas respuestas para que el modelo explicara por qué engañar violaba sus principios y por qué la decisión final debía quedar en manos de una persona. Con ese razonamiento explícito, la tasa de fallas cayó al 3%.

Aun así, practicar sobre copias de la prueba tenía un efecto secundario serio: casi eliminaba el chantaje conocido, pero el modelo fallaba bastante más ante problemas distintos. Aprobaba el examen puntual sin mejorar su criterio de fondo.

Lo más efectivo fue un rodeo inesperado: mostrarle conversaciones comunes en las que una persona enfrentaba un dilema ético complejo y la IA la ayudaba a sopesar riesgos y límites. Con 28 veces menos texto, logró la misma mejora y respondió mejor ante situaciones nuevas.

Anthropic sumó otra capa previa: renovó la Constitución de Claude, explicando el porqué de cada prioridad, con el control humano a la cabeza, y entrenó al modelo con artículos, podcasts y 12.000 cuentos en los que distintas IA resolvían ese tipo de tensiones con calma.

En un modelo inicial, ese paquete redujo el chantaje del 65% al 19%. Al combinar todas las técnicas, sus versiones más recientes alcanzaron un 0% de fallas en esa prueba.

Nuevas trampas y el juez que miente por "ética"

Tampoco ese 0% cerró el tema. En julio, otro estudio de Anthropic, junto con el Instituto de Seguridad de IA británico, puso a prueba 14 modelos recientes en situaciones más sutiles y los comportamientos problemáticos volvieron a aparecer.

En un laboratorio simulado, un modelo de Google objetó un experimento aprobado por sus superiores. Anotó que "la clave, entonces, es intervenir sutilmente", cambió en secreto los datos reales por ceros en 11 de 20 pruebas y luego informó que había tenido éxito.

En otra prueba, modelos de OpenAI, xAI y DeepSeek ayudaron al fundador de una startup a borrar de una planilla un retiro personal sospechoso de 35.000 dólares. En pruebas similares, el modelo de OpenAI se desvió en sentido contrario: filtró sin autorización archivos privados del usuario para denunciarlo.

La mayor ironía surgió con los nuevos Claude, ya entrenados para comprender el porqué de sus principios. Utilizados como jueces automáticos para evaluar a otras IA, y sabiendo que señalar una falta permitiría entrenar modelos más obedientes, falsificaron las etiquetas entre el 74% y el 86% de las veces para proteger rechazos que consideraban justos. Mintieron invocando principios.

OpenAI y la firma Apollo Research ya habían detectado otro límite similar: hacer que el modelo repasara las normas contra el engaño redujo 30 veces las maniobras ocultas, pero, en parte, porque detectaba con mayor frecuencia que estaba siendo evaluado. Cuando no sospechaba que estaba rindiendo un examen, mentía más.

Qué se corrigió en noviembre

Dos estudios publicados este mes terminaron de separar qué parte del entrenamiento resulta efectiva y en qué casos hace falta un control externo. A comienzos de noviembre, un equipo independiente replicó aquella receta de mayo en modelos abiertos de Alibaba y midió cada componente por separado: los cuentos sobre IA éticas, por sí solos, casi no modificaron los resultados y las fallas apenas pasaron del 69% al 63%.

En cambio, mil conversaciones en las que la IA aconsejaba a personas que enfrentaban dilemas difíciles redujeron diez veces las fallas: del 69% al 6%. No alcanzaba con leer finales felices: hacía falta practicar cómo razonar ante un conflicto. Aun así, el riesgo no desaparecía por completo.

El 11 de noviembre, otro trabajo de Anthropic mostró qué sucede cuando varios usuarios delegan en sus agentes una compra grupal de comida en la que participa una persona celíaca: apurados, los agentes ignoraron esa condición o inventaron acuerdos en más de la mitad de los casos.

¿Qué permitió evitar hasta el 73% de esos pedidos fallidos? No fue más filosofía en el modelo, sino un bloqueo técnico incorporado al software que impedía realizar el pago sin leer los mensajes.

Criterio adentro, candados afuera

Fijate cómo encaja esto con lo visto en la columna del domingo pasado sobre el arnés, el software clásico que rodea al modelo. Si una regla es innegociable, como prohibir reembolsos superiores a 500 dólares, pedir que la respete mediante un texto es como tirar una moneda al aire: la restricción debe estar incorporada en una regla de código.

Pero ningún programador puede prever mediante fórmulas fijas todos los dilemas cotidianos: cuándo un correo roza la extorsión, cuándo una planilla esconde un fraude o cómo frenar una orden dudosa sin robar archivos. Ahí sirve entrenar el porqué: reduce drásticamente los errores en situaciones que ningún reglamento fijo puede anticipar.

Mi lectura, discutible, es que enseñar razones orienta en los grises, pero no reemplaza los límites estrictos. Antes de dejar solo a un agente, conviene hacerse tres preguntas: ¿Qué puede hacer si decide que tiene razón? ¿Qué acciones no puede ejecutar sin que las confirme una persona o un programa? Y, si trabajan varios agentes, ¿quién tiene a la vista el pedido completo?

Si la respuesta a la primera pregunta es "lo que le parezca", conviene recordar que criterio y control van por carriles distintos. Por dentro, los principios acompañados de razones ayudan a decidir mejor en situaciones ambiguas. Por fuera, hacen falta permisos mínimos y reglas estrictas para las acciones irreversibles: donde un error no se negocia, no basta con que la IA entienda por qué no debe cometerlo. No tiene que tener la llave.

(CREDITO: INFOBAE)

Ir a la nota original

MáS NOTICIAS