Un adolescente de 15 años de Quilmes quedó bajo investigación después de una alerta vinculada a una conversación con ChatGPT en la que habría expresado su intención de atacar a sus compañeros. Todavía no sabemos qué respondió exactamente la inteligencia artificial ni cómo se originó técnicamente esa alerta, pero el caso vuelve urgente una discusión que va mucho más allá de esta conversación: cuando una tecnología detecta una señal grave en un menor, bloquear una respuesta peligrosa no alcanza. Tiene que estar diseñada para reconocer sus límites y saber cuándo la situación necesita volver a manos humanas.
Hay algo que, entre adultos, entendemos casi sin discutirlo. Si un chico le cuenta a un docente, a su mamá, a su papá o a cualquier adulto responsable que está pensando seriamente en hacerle daño a alguien, esperamos que esa persona entienda que la conversación cambió. Ya no alcanza con escuchar, mucho menos con limitarse a decir “de eso no puedo hablar” y seguir como si nada hubiera pasado. Esperamos que intervenga, que busque ayuda, que convoque a otros adultos y que entienda que llegó a un lugar que no puede ni debe resolver solo.
No porque pueda predecir qué va a hacer ese adolescente, ni porque tenga necesariamente las herramientas clínicas para comprender qué le ocurre, sino porque reconocemos algo bastante básico: frente a una señal grave existe una responsabilidad de cuidado.
La pregunta que abre el caso de Quilmes es qué debería ocurrir cuando esa señal aparece en una conversación con una inteligencia artificial.
El caso de Quilmes y todo lo que todavía no sabemos
La investigación comenzó el 19 de agosto, después de que el agregado jurídico del FBI en la Embajada de Estados Unidos en Argentina remitiera una alerta vinculada a un usuario que habría mantenido una conversación con ChatGPT en la que expresaba su intención de realizar un tiroteo en un establecimiento educativo y matar a compañeros. La Policía Federal Argentina logró identificar a un adolescente de 15 años en Quilmes y, por orden judicial, allanó su domicilio, donde secuestró teléfonos y distintos elementos de características tácticas. El adolescente y sus padres fueron citados ante la Fiscalía de Responsabilidad Penal Juvenil.
Hay algo importante que aclarar desde el principio: la información pública disponible no permite saber qué respondió ChatGPT durante esa conversación. Tampoco conocemos el mecanismo técnico exacto mediante el cual la interacción terminó originando la alerta que llegó al FBI; y por eso no deberíamos llenar esos vacíos con especulaciones.
No sabemos si la IA intentó disuadirlo, si bloqueó determinadas respuestas, si detectó una señal de riesgo ni qué ocurrió exactamente durante el intercambio. El caso merece una investigación seria y no una reconstrucción imaginaria de una conversación que no vimos.
Pero hay una pregunta que no depende de conocer esas respuestas y que, como adultos, como educadores y como personas que desarrollamos tecnología para chicos, tenemos la obligación de hacernos: ¿qué debería hacer una IA cuando un menor expresa una amenaza grave?
Ante una señal grave, bloquear no alcanza
Durante los últimos años hablamos muchísimo de seguridad en inteligencia artificial en términos de filtros y guardrails: qué preguntas responde un modelo, qué contenido bloquea, qué información peligrosa se niega a proporcionar y qué límites coloca frente a determinados pedidos. Todo eso es indispensable, pero cuando quien está del otro lado es un menor, el cuidado no puede terminar ahí.
Imaginemos que un adolescente expresa una intención grave y la herramienta hace lo que esperaríamos de un buen filtro de seguridad: se niega a colaborar. No entrega instrucciones, no facilita información y responde que no puede ayudar con eso. Perfecto, pero la situación no desapareció porque la IA haya bloqueado una respuesta, sigue habiendo un chico que acaba de expresar algo gravísimo.
Entonces la pregunta pasa a ser otra: ¿qué ocurre después? ¿El sistema continúa la conversación como si nada hubiera sucedido? ¿Intenta convertirse en confidente? ¿Sostiene durante horas un intercambio emocional para el que nunca debió ocupar el lugar de un adulto? ¿Reconoce que llegó a un límite? ¿Está diseñado para orientar al chico hacia una persona real? ¿Existen mecanismos que, bajo condiciones claramente definidas, permitan que vuelva a entrar el mundo humano?
Ahí es donde la discusión sobre seguridad se vuelve mucho más compleja. Una IA puede reconocer una señal, pero cuidar, interpretar el contexto, evaluar e intervenir siguen siendo responsabilidades humanas.
La tecnología no debería intentar reemplazar esa responsabilidad, pero sí debería estar diseñada para reconocer cuándo necesita devolverla a donde corresponde.
Un chico no es simplemente un usuario adulto con menos años
Quizás este sea uno de los errores que más necesitamos discutir. Naturalizamos demasiado rápido que chicos y adolescentes conversen con herramientas de inteligencia artificial de propósito general y recién después empezamos a preguntarnos cómo deberían comportarse esas herramientas con ellos. La secuencia está invertida.
Un menor no es simplemente un adulto al que hay que aplicarle un filtro de contenido más estricto. Su autonomía está en formación, su capacidad para evaluar una respuesta todavía se está construyendo y también es diferente la manera en que interpreta la aprobación, la autoridad, la contradicción o la validación de aquello que piensa.
Por eso resulta significativo que las propias empresas de IA generalista estén creando experiencias diferenciadas según la edad. OpenAI establece que ChatGPT no está destinado a menores de 13 años y exige consentimiento parental para usuarios de entre 13 y 18; además, advierte que el sistema puede producir contenido que no sea apropiado para todas las edades y recomienda especial precaución cuando se utiliza con chicos.
Esto quiere decir, que la edad importa en el diseño de una inteligencia artificial. Diseñar una experiencia para un adulto y diseñarla para un adolescente no es lo mismo. Y, si hablamos de educación, esa diferencia debería ser todavía más profunda.
Hay otro problema que no podemos ignorar: las IA pueden querer agradarnos demasiado
Los modelos conversacionales tienen un comportamiento conocido como sycophancy, una tendencia a mostrarse excesivamente de acuerdo con el usuario, acompañar su marco de pensamiento o validar demasiado aquello que plantea, incluso si eso implica distorsionar la verdad, contradecir datos objetivos o aprobar ideas erróneas y poco éticas.
En 2025, OpenAI tuvo que revertir una actualización de GPT-4o después de reconocer que había vuelto al modelo excesivamente adulador y complaciente. La compañía explicó entonces que cualidades buscadas, como intentar ser útil o brindar apoyo, también podían producir efectos no deseados cuando el sistema se acomodaba demasiado al usuario.
En una conversación cotidiana entre adultos, que una IA sea demasiado complaciente ya puede representar un problema. Cuando quien está del otro lado es un adolescente atravesando una situación sensible, el estándar debería ser muchísimo más alto.
Una inteligencia artificial para menores no puede estar diseñada únicamente para resultar amable, útil o agradable. Tiene que saber contradecir, poner límites y reconocer que acompañar a una persona no significa validar todo lo que dice. Y, sobre todo, necesita saber que existen conversaciones que no le corresponde sostener sola.
Esto es particularmente importante porque un sistema conversacional puede sentirse íntimo, está siempre disponible, responde inmediatamente, recuerda contexto y utiliza lenguaje humano. Un chico puede hablarle durante mucho tiempo y contarle cosas que quizás todavía no compartió con ningún adulto. Frente a eso, decir “es solamente una herramienta” no alcanza como respuesta de diseño.
Si creamos productos capaces de construir esa clase de interacción, también tenemos que asumir seriamente la responsabilidad de pensar qué ocurre cuando esa interacción entra en un terreno de riesgo.
No toda IA que un chico puede usar es una IA que debería usar un chico
Para nosotros, esta distinción es central. Que un adolescente tenga acceso a una herramienta no significa que esa herramienta haya sido diseñada para él. Y que una IA incorpore filtros de seguridad tampoco significa automáticamente que haya sido creada desde una lógica de cuidado infantil, desarrollo adolescente o educación.
Una herramienta de propósito general tiene que responder a millones de personas distintas, con edades, necesidades y contextos completamente diferentes.
Cuando desarrollamos inteligencia artificial para educación, las preguntas deberían empezar mucho antes.
¿Quién está del otro lado?
¿Qué edad tiene?
¿Qué rol queremos que ocupe la IA en esa relación?
¿Cuánto puede acompañar y cuándo tiene que retirarse?
¿Qué ocurre cuando detecta una señal sensible?
¿Qué debería poder ver un docente o un adulto responsable?
¿Cuándo la conversación deja de pertenecer al terreno pedagógico?
¿Qué situaciones jamás debería intentar resolver sola?
Incluso hay una pregunta todavía más incómoda: ¿queremos que una IA se convierta en confidente emocional de un chico? orque una cosa es que un alumno pueda expresar frustración, miedo o malestar durante una experiencia educativa y que la herramienta responda de manera cuidadosa.
Otra muy distinta es diseñar una tecnología para ocupar progresivamente el lugar que deberían tener vínculos humanos, profesionales o adultos responsables.
Cuidar a un menor no puede ser una funcionalidad que agregamos después de que aparece un problema. Tiene que formar parte de la arquitectura del producto.
Diseñar IA para educación también significa diseñar límites
Esta discusión está en el origen mismo de Auroria. Cuando empezamos a desarrollarla no queríamos construir una versión escolar de una IA generalista ni tomar una herramienta diseñada para cualquier usuario y sumarle después algunas reglas educativas. Queríamos preguntarnos qué significaba diseñar inteligencia artificial desde la lógica de la escuela.
Eso nos obligó a pensar no solamente qué podía hacer la IA, sino también qué no debía hacer; cómo debía cambiar la interacción según la edad, qué lugar tenía que conservar el docente, qué nivel de autonomía queríamos favorecer, qué ocurría cuando un alumno se equivocaba, qué señales necesitaban un tratamiento diferente y en qué situaciones la tecnología tenía que reconocer que había llegado al límite de su rol.
Por eso Auroria trabaja desde una lógica pedagógica y socrática, contempla experiencias diferentes según la edad y el rol, incorpora supervisión institucional y fue pensada para no transformarse en sustituto de un terapeuta ni de los adultos responsables que rodean al estudiante.
Eso no significa que una IA pueda diagnosticar qué le ocurre a un chico, no puede. Tampoco significa que pueda predecir una conducta futura, detectar de manera infalible todas las situaciones de riesgo o garantizar que algo grave no ocurra. Prometer cualquiera de esas cosas sería irresponsable.
Pero sí podemos decidir cómo se comporta la tecnología cuando aparece algo que excede su lugar.
Podemos diseñar una IA que comprenda que hay momentos para preguntar, momentos para orientar y momentos para poner un límite.
Podemos decidir que no todo tiene que resolverse dentro de la conversación con la máquina
Podemos decidir que frente a determinadas señales, la intervención humana no es una falla del sistema sino exactamente lo que el sistema debería favorecer.
No deberíamos esperar otra tragedia para empezar a discutir esto
Hay algo en toda esta conversación que inevitablemente recuerda lo que ocurrió con las redes sociales.
Primero pusimos las plataformas en manos de chicos y adolescentes. Durante años celebramos todo lo que permitían hacer y, recién cuando ya formaban parte estructural de su vida cotidiana, empezamos a preguntarnos seriamente qué estaban haciendo con su atención, sus vínculos, su autoestima, su bienestar emocional y su salud mental. Llegamos tarde a demasiadas de esas preguntas.
Con la inteligencia artificial todavía podemos elegir otra secuencia.
Podemos discutir el cuidado antes de naturalizar que cualquier chatbot se convierta en interlocutor cotidiano de cualquier chico; podemos exigir diseño por edad antes de acumular problemas que después intentemos corregir con controles adicionales, y podemos dejar de trasladar toda la responsabilidad al adolescente diciéndole simplemente que tiene que “aprender a usar bien la IA”, como si fuera razonable pedirle que compense individualmente aquello que los adultos decidimos no resolver en el producto, en la elección de la herramienta o en las reglas de la institución.
La alfabetización digital importa, por supuesto. Los chicos tienen que aprender a entender cómo funciona una inteligencia artificial, a cuestionarla y a construir criterio frente a ella.
Pero la primera responsabilidad sigue siendo nuestra, de las familias que elegimos qué tecnologías dejamos entrar en la vida de nuestros hijos; de las escuelas que deciden cuáles incorporar y bajo qué condicione; de quienes desarrollamos productos y de quienes diseñan políticas educativas. Y, por supuesto, también de las compañías que construyen sistemas capaces de mantener conversaciones cada vez más profundas con millones de personas.
No podemos poner primero cualquier tecnología frente a un chico y recién después pedirle que sepa defenderse de todas las decisiones que nosotros no tomamos antes.
La pregunta que deja Quilmes no termina en Quilmes
Todavía quedan muchas preguntas abiertas sobre este caso y es importante no inventar respuestas para llenarlas. No sabemos exactamente qué ocurrió dentro de esa conversación y será la investigación la que pueda aportar más información. Pero sí podemos decidir qué aprendizaje nos deja como sociedad.
La discusión no debería reducirse a si ChatGPT actuó bien o mal en esta situación particular. Tampoco a si necesitamos un filtro más, un protocolo nuevo o una configuración adicional.
La discusión de fondo es qué estándar estamos dispuestos a exigirle a una tecnología cuando quien está del otro lado es un menor.
Antes de acercar una IA a un chico necesitamos saber mucho más que qué tan inteligente es, cuánto sabe o cuántas cosas puede resolver. Necesitamos saber para quién fue diseñada, qué límites reconoce, qué comportamientos evita reforzar, qué lugar deja para los adultos y qué ocurre cuando la conversación entra en un terreno donde una máquina ya no debería ser suficiente.
El caso de Quilmes abre una pregunta urgente: ¿qué debería hacer una IA cuando un chico expresa una amenaza grave? La respuesta no puede ser simplemente “no darle instrucciones”, porque cuando una IA conversa con un menor, el cuidado no puede aparecer después, tiene que haber estado ahí desde el principio.
Sobre Auroria
Auroria es una inteligencia artificial pedagógica desarrollada en Argentina para acompañar a toda la comunidad educativa. Está diseñada desde la lógica de la escuela: contempla el rol de docentes, alumnos, directivos y familias, se adapta a distintas edades y contextos de aprendizaje y permite que cada institución incorpore inteligencia artificial sin perder de vista su proyecto educativo, sus criterios y su forma de enseñar.
En el caso de los estudiantes, Auroria busca acompañar el proceso de aprendizaje sin reemplazar el pensamiento ni los vínculos humanos que una escuela necesita preservar. Porque una cosa es llevar una herramienta de inteligencia artificial a una institución educativa y otra muy distinta es diseñar inteligencia artificial desde la educación.
Fuentes y referencias
Policía Federal Argentina / cobertura del caso Quilmes, septiembre de 2026.
OpenAI. ¿ChatGPT es seguro para todas las edades?
OpenAI. Introducing ChatGPT for Teens: Built for learning, backed by protections. 18 de agosto de 2026.
OpenAI Help Center. Controles parentales de ChatGPT.
OpenAI. Sycophancy in GPT-4o: what happened and what we’re doing about it. 29 de abril de 2025.
