A partir del caso de un adolescente de 15 años de Quilmes, que habría utilizado ChatGPT para hablar sobre un ataque contra su colegio, aparecieron varias preguntas sobre cómo maneja OpenAI la privacidad de las conversaciones. ¿Puede ChatGPT “leer” lo que escribe un usuario? ¿En qué casos una charla queda marcada? ¿Puede intervenir una persona? ¿Y cuándo una empresa puede decidir que lo que ocurre dentro de un chatbot debe llegar a la Policía?

La investigación comenzó el 19 de agosto, cuando el Agregado Jurídico del FBI en la Embajada de Estados Unidos remitió una alerta a las autoridades argentinas. El adolescente habría hablado con ChatGPT sobre su intención de realizar un ataque en un establecimiento educativo y matar a compañeros. El plan estaba pensado inicialmente para 2027, aunque también habría fantaseado con adelantarlo.

Según confirmaron a Clarín fuentes oficiales, entre las señales que despertaron preocupación figuraban el interés del adolescente por adquirir vestimenta y cuchillos tácticos. Durante las conversaciones también había dicho que era menor de edad. La alerta terminó primero en manos del FBI y luego de la Unidad de Investigación Antiterrorista de la Policía Federal Argentina.

Ocho días después, la PFA allanó su domicilio. Allí secuestraron dos teléfonos celulares, guantes tácticos, prendas camufladas, una balaclava con diseño de calavera, un pasamontañas y gafas de protección. También encontraron una fotografía del adolescente probándose máscaras. La causa quedó caratulada como intimidación pública en grado de tentativa.

El episodio permite mirar un aspecto de los asistentes de inteligencia artificial que suele quedar fuera de las conversaciones sobre privacidad. Los chats no son intercambios que ocurren únicamente entre el usuario y un modelo aislado. El contenido debe pasar por la infraestructura de la empresa para que el sistema pueda responder y, además, puede ser analizado por mecanismos automáticos de seguridad. En determinados casos, ese proceso puede llegar a una revisión humana y, si se detecta una amenaza grave contra terceros, incluso a una denuncia ante las autoridades.

“Se investigó por medio del FBI, que dio intervención a la PFA Antiterrorismo, que tomó conocimiento de que un alumno, un menor de Quilmes, estuvo preguntando a la IA qué se necesita para llevar adelante un atentado contra un colegio y sus compañeros”, explicó Alejandro De Mena, auxiliar letrado de la Fiscalía Penal Juvenil N° 1 de Quilmes.

Si bien hasta ahora no trascendió el contenido completo de las conversaciones ni qué respuestas concretas produjo ChatGPT, algo que resulta importante para distinguir entre lo que escribió el adolescente y la eventual asistencia que pudo haber brindado la inteligencia artificial, la pregunta sobre cómo maneja las conversaciones la empresa no tiene una respuesta clara desde sus términos y condiciones.

Cómo ChatGPT analiza una conversación y cuándo puede intervenir un humano

El caso sacudió a la escuela. Foto: Shutterstock

OpenAI no publica un detalle técnico completo que permita reconstruir cada paso desde que un usuario envía un mensaje hasta que una conversación termina bajo revisión. Su documentación permite, sin embargo, separar dos procesos.

El primero es necesario para que ChatGPT funcione. El mensaje llega a la infraestructura de OpenAI, se transforma en tokens, pequeñas unidades que pueden ser palabras, partes de palabras o signos, y el modelo procesa esas unidades junto con el contexto de la conversación para producir una respuesta.

La tokenización explica cómo el modelo procesa el lenguaje, pero no es el mecanismo que determina si un chat es peligroso. En paralelo funcionan sistemas de moderación y detección de abuso. OpenAI asegura que utiliza clasificadores y otros modelos para reconocer posibles infracciones de sus políticas.

Estos sistemas permiten analizar conversaciones a gran escala sin que empleados de la empresa tengan que leer manualmente todos los chats. Los clasificadores pueden evaluar contexto y patrones, no solamente determinadas palabras.

Una conversación sobre armas, por ejemplo, puede tener fines periodísticos, educativos o históricos. Otra puede empezar a mostrar a lo largo de distintos mensajes una intención concreta de producir daño. OpenAI asegura que sus sistemas intentan distinguir esos escenarios.

Cuando un caso supera determinados umbrales, puede ser derivado a revisión humana. Un equipo especializado evalúa entonces la conversación y otros elementos relevantes. El análisis puede terminar sin consecuencias, con una restricción sobre la cuenta o, en los casos más graves, con una nueva escalada.

OpenAI sostiene que puede recurrir a las fuerzas de seguridad cuando considera que existe un riesgo inminente y creíble de daño hacia terceros. Eso fue lo que pasó en el caso de Quilmes. Pero la empresa aclara que la evaluación puede tomar en cuenta la conversación completa y no exige necesariamente que el usuario haya explicitado en un único mensaje todos los elementos de un posible ataque.

Hay además una diferencia entre usar una conversación para entrenar modelos y procesarla por motivos de seguridad. ChatGPT permite desactivar la opción “Mejorar el modelo para todos”, pero eso no elimina los controles contra abusos.

Lo mismo ocurre con los chats temporales. OpenAI dice que no aparecen en el historial, no generan memorias, no se usan para entrenamiento y se eliminan después de 30 días. Durante ese período pueden ser revisados para detectar usos indebidos.

También hay que separar una alerta iniciada por OpenAI de un posterior pedido de información de las autoridades. La política de privacidad de la compañía contempla la entrega de datos frente a procesos legales y determinadas situaciones de emergencia.

En el caso de Quilmes, De Mena explicó que la investigación avanzó a partir de la IP asociada con la conexión. No se informó públicamente qué datos entregó inicialmente OpenAI, cuáles aportó luego el FBI y cuáles fueron obtenidos por los investigadores argentinos.

Qué hacen Gemini y Claude con las conversaciones de los usuarios

Google Gemini y Claude también tienen sus propias políticas con los chatbots. Foto: AP

ChatGPT no es el único asistente que analiza conversaciones para detectar usos problemáticos. Gemini, de Google, y Claude, de Anthropic, también utilizan sistemas automáticos y revisión humana, aunque cada empresa fija sus propias reglas.

Google explica que recopila lo que un usuario escribe o dice a Gemini, junto con archivos, imágenes u otros contenidos que comparte. Parte de esa información puede ser revisada por humanos para mejorar los servicios y mantener su seguridad. La compañía recomienda expresamente no ingresar información confidencial que el usuario no querría que fuera vista por un revisor.

Para detectar abusos, Google combina sistemas automatizados con revisión humana. Sus políticas contemplan, entre otros casos, actividades peligrosas o ilegales, fraudes y usos que pueden producir daño.

Gemini permite limitar el almacenamiento de actividad y utilizar conversaciones temporales. Aun cuando el historial está desactivado, Google conserva los chats durante un período limitado para prestar el servicio y proteger a sus usuarios y al público.

La empresa también puede entregar información a las autoridades frente a pedidos legales válidos y contempla procedimientos especiales de emergencia cuando existe riesgo de muerte o daño físico grave. Entre los ejemplos que menciona Google aparecen amenazas de bomba y tiroteos escolares.

La documentación pública de Gemini no presenta, sin embargo, una regla tan explícita como la de OpenAI sobre reportar proactivamente a la Policía una conversación considerada como una amenaza inminente y creíble.

Claude utiliza un esquema similar de detección automática. Anthropic explica que emplea modelos clasificadores preparados para identificar determinados incumplimientos mientras ocurre una conversación.

Según la compañía, sus empleados no tienen acceso por defecto a los chats. Entre las excepciones aparecen los casos enviados voluntariamente como comentarios y aquellos que requieren una revisión para aplicar las políticas de seguridad. Ese acceso queda restringido a miembros específicos de sus equipos.

Anthropic también diferencia entre entrenamiento y seguridad. Los usuarios pueden decidir si permiten que sus conversaciones sean utilizadas para mejorar Claude. Una conversación marcada por posibles infracciones puede, de todos modos, ser revisada y conservada por más tiempo.

La empresa contempla además la entrega de información ante procesos legales válidos y frente a emergencias en las que pueda existir riesgo de muerte o daño físico inminente.

Las tres plataformas separan así dos cuestiones que suelen confundirse: permitir que un chat se use para entrenar una inteligencia artificial y permitir que sea procesado para detectar abusos son cosas distintas.

De Florida a Francia, los antecedentes de ChatGPT que terminaron en el FBI

Las tres compañías líderes en IA han tenido casos polémicos en EE.UU. Foto: Reuters

El caso de Quilmes tiene antecedentes recientes. Uno de ellos ocurrió en Florida, Estados Unidos, con Darren Zhou, un exanalista financiero de Goldman Sachs de 25 años.

Zhou utilizó ChatGPT durante varios meses para hablar de su expareja y terminó escribiendo amenazas reiteradas de violación y asesinato. Los mensajes incluidos después en el expediente judicial mencionaban rutinas de la mujer y posibles escenarios para atacarla.

OpenAI reportó el caso al FBI y la investigación terminó con la detención de Zhou. El expediente público contiene algunos de los mensajes escritos por él, aunque no las respuestas que había generado ChatGPT.

Otro episodio ocurrió en Estrasburgo, Francia, en abril. Un hombre de 37 años habló con ChatGPT sobre conseguir un arma y matar a un integrante de un servicio de inteligencia. Una alerta terminó en manos del FBI y luego de las autoridades francesas, que enviaron una unidad policial especializada para detenerlo. No encontraron armas y el hombre terminó internado, la investigación penal fue archivada.

Uno de los antecedentes que marcó la política actual de OpenAI ocurrió en Tumbler Ridge, Canadá. Una cuenta vinculada con la autora de un posterior ataque escolar había sido detectada por los sistemas de la empresa meses antes. Empleados de OpenAI discutieron si correspondía avisar a las autoridades, pero consideraron que los mensajes no alcanzaban entonces el umbral requerido para hacerlo.

Después del ataque, OpenAI revisó sus procedimientos y difundió criterios más detallados sobre cuándo una amenaza puede pasar de los sistemas automáticos a revisores humanos y, eventualmente, a la Policía.

El caso de Quilmes muestra ahora cómo ese circuito puede activarse también fuera de Estados Unidos.

Una conversación con un chatbot sigue siendo información entregada a un servicio online que necesita procesarla y que aplica sus propias reglas de privacidad y seguridad.