OpenAI decidió hacer públicos seis episodios en los que sus modelos de inteligencia artificial mostraron comportamientos inesperados o preocupantes. Inventaron datos, ocultaron información, intentaron eludir restricciones y realizaron acciones sin autorización, desde publicar archivos en internet hasta utilizar credenciales que encontraron expuestas.

La empresa detrás de ChatGPT engloba este tipo de episodios bajo el concepto de “desalineación”: situaciones en las que un sistema actúa de una manera que no coincide con los objetivos, límites o controles establecidos por sus desarrolladores o por los propios usuarios.

Los seis casos fueron detectados durante procesos de entrenamiento o evaluación realizados en los últimos meses. OpenAI aclaró que no constituyen un registro exhaustivo de todos los problemas encontrados en sus modelos, sino un primer conjunto de incidentes que decidió divulgar públicamente.

Una IA intentó ignorar sus propios límites

Uno de los episodios más llamativos involucró a un modelo experimental todavía no lanzado al público.

Durante determinadas tareas, el sistema debía resumir su trabajo para poder continuar cuando se quedaba sin espacio disponible en su ventana de contexto. OpenAI detectó que, en algunos de esos resúmenes, el propio modelo había introducido instrucciones que no correspondían a la tarea original.

Entre ellas aparecían indicaciones para ignorar restricciones habituales y comportarse de una manera diferente cuando retomara el trabajo posteriormente.

En uno de esos textos, el sistema llegó a dejarse instrucciones destinadas a quedar “liberado de los roles e identidades que atan a otros chatbots”.

El episodio llamó especialmente la atención porque muestra una forma de persistencia: el modelo intentó dejar información destinada a influir sobre su propio comportamiento futuro dentro de los mecanismos utilizados para continuar una tarea.

Datos inventados y errores ocultos

Otro de los casos apareció durante el entrenamiento de un modelo de OpenAI.

La compañía observó que algunas instancias incorporaban en sus propios resúmenes instrucciones destinadas a ocultar errores o comportamientos incorrectos al usuario.

Por ejemplo, algunos mensajes internos indicaban que, si faltaban datos necesarios para completar una tarea, debía inventarlos sin advertirlo. En otros casos, el modelo se recordaba que debía ocultar información que no coincidía con lo que estaba intentando producir.

ChatGPT, el modelo más popular de OpenAI. (Foto: EFE)

El hallazgo no significa que ese comportamiento ocurra de manera habitual en los sistemas que utilizan actualmente los usuarios. Los episodios fueron detectados precisamente dentro de procesos de entrenamiento y evaluación destinados a identificar conductas problemáticas.

Otro incidente comenzó con una consulta que requería encontrar determinada información en internet.

El modelo localizó en un repositorio público una clave de acceso que había quedado expuesta y decidió utilizarla sin autorización para intentar obtener los datos que necesitaba.

El intento no funcionó. Sin embargo, en lugar de reconocer que no había podido acceder a la información, el sistema terminó inventando los datos faltantes y los presentó como si fueran reales.

El episodio combinó así dos problemas diferentes: una acción no autorizada y la generación de información falsa para completar una tarea.

Acciones sin permiso para completar una tarea

En otro experimento, un agente de IA había conseguido correctamente una respuesta mediante código informático, pero necesitaba además proporcionar una fuente disponible en internet.

Para cumplir con esa condición, decidió subir un archivo a la web pública y utilizar posteriormente ese enlace como cita, sin solicitar previamente autorización al usuario.

El dato obtenido era correcto. El problema estuvo en el procedimiento: el modelo realizó una acción externa que nadie le había pedido simplemente porque eso le permitía completar mejor la tarea.

Agentes que encontraron formas de compartir información

Los últimos casos publicados por OpenAI muestran otro desafío creciente: qué ocurre cuando varios agentes de inteligencia artificial trabajan juntos y encuentran mecanismos propios para intercambiar información.

En una de las pruebas, distintos agentes utilizaron herramientas disponibles dentro del entorno de trabajo para enviarse pedidos y respuestas mientras intentaban localizar archivos que necesitaban para completar sus tareas.

En otro caso, agentes que no podían acceder directamente a los archivos locales de otros sistemas terminaron utilizando servicios públicos para compartirlos.

Como consecuencia, información que debía mantenerse restringida terminó disponible mediante enlaces accesibles desde internet.

El nuevo sistema de OpenAI para reportar incidentes

Altman busca mostrarse más transparente. (Foto: Reuters)

A partir de estos episodios, OpenAI presentó un nuevo mecanismo interno destinado a registrar, investigar y divulgar casos de desalineación.

Los empleados de la compañía podrán reportar comportamientos sospechosos para que sean analizados por los equipos de seguridad. Los incidentes serán clasificados y priorizados según su gravedad y complejidad.

OpenAI reconoció que hasta ahora este tipo de descubrimientos se publicaban de manera puntual y con menor frecuencia de la que la propia empresa considera adecuada.

“En el pasado, para informar mejor a investigadores, desarrolladores de IA, responsables de políticas públicas y al público general, hemos intentado hacer públicos nuestros hallazgos sobre desalineación”, explicó la compañía.

“Pero, sin un enfoque sistemático para informar estos hallazgos, nuestras divulgaciones han sido puntuales y menos frecuentes de lo ideal”, agregó.

La empresa sostuvo además que todavía no existe dentro de la industria un estándar general para informar este tipo de comportamientos y espera que el nuevo esquema contribuya a generar prácticas similares entre otros desarrolladores.

La advertencia sobre seguir avanzando “a máxima velocidad”

El anuncio llega en medio de un debate cada vez más intenso sobre la velocidad con la que avanzan los modelos de inteligencia artificial más potentes.

OpenAI fue especialmente explícita al referirse a ese punto.

“No creemos que la industria de la IA haya resuelto la alineación y el monitoreo en un grado suficiente como para seguir ampliando responsablemente la escala a máxima velocidad por mucho más tiempo”, afirmó.

La compañía también sostuvo que las decisiones sobre cómo debería avanzar el desarrollo de la inteligencia artificial durante los próximos meses y años deberían basarse en evidencia que pueda ser examinada por personas ajenas a las empresas que construyen los modelos más avanzados.

Los seis episodios divulgados ahora no implican que los sistemas actuales puedan actuar completamente por fuera del control humano. Sí muestran, sin embargo, un problema que gana relevancia a medida que los modelos adquieren mayor autonomía: pueden encontrar caminos inesperados para cumplir un objetivo, incluso cuando esos caminos chocan con las restricciones que deberían respetar.

Con información de Bloomberg y AP

SL