Inteligencia artificial, violencia digital y una frontera que todavía no existe

La utilización de inteligencia artificial para desnudar imágenes de mujeres y niñas, manipular cuerpos y viralizar contenido sexual no consentido volvió a instalar un debate urgente sobre los límites de la tecnología, la responsabilidad de las plataformas y la ausencia de regulaciones eficaces. El caso de Grok, la IA integrada a la red social X (ex Twitter), expuso con mayor claridad una práctica que ya existía, pero que hoy se vuelve más accesible, más rápida y más difícil de controlar. 

El fenómeno se inscribe en un contexto donde la tecnología avanza con mayor velocidad que las leyes, la educación digital y la conciencia social. En ese escenario, la violencia no solo circula: se automatiza. 

Foto: Magalí Domínguez Lalli, programadora y docente.

Para profundizar en esta problemática, Portal Universidad dialogó con Magalí Domínguez Lalli, programadora y docente, quien advierte que el foco no debe ponerse únicamente en la herramienta, sino en las decisiones humanas que la atraviesan. “Hoy no es la inteligencia artificial el problema en sí, sino el uso que hacemos de ella y la falta total de regulación”, sostiene. 

Cuando la censura convive con la violencia 

Magalí Dominguez Lalli observa una contradicción profunda en las políticas de moderación de las plataformas. Mientras determinadas palabras o contenidos vinculados al cuerpo son bloqueados, escenas de violencia extrema circulan sin filtros. “En TikTok no podés decir las palabras ‘teta’ o ‘sexo’, pero después transmiten un femicidio en vivo. Vos no podés explicar algo, pero la violencia sí se puede mostrar”, ejemplifica. Para la programadora, esta lógica deja en evidencia que los criterios no responden a una ética de cuidado, sino a decisiones comerciales y políticas. 

Internet, remarca, ofrece enormes posibilidades, pero también habilita prácticas que se naturalizan con rapidez. “El problema es que muchas veces se vuelve cotidiano lo que en realidad es gravísimo”, advierte. 

Grok y violencia digital

Foto: miles de usuarios en X solicitaron a Grok, la IA de Elon Musk que le quite la ropa a fotos de otras personas.

Grok es una de las inteligencias artificiales con menos restricciones disponibles actualmente en plataformas masivas. Magalí explica que, a diferencia de otras herramientas, permite procesar pedidos sensibles con mayor facilidad. 

“Si vos cargás una foto de una mujer adulta, o incluso de niñas, y le pedís que la desnude, Grok muchas veces responde. ChatGPT o Gemini no lo hacen tan fácilmente”, señala. A esto se suma el hecho de que funciona principalmente en espacios privados, lo que dificulta cualquier tipo de control. “Hay un montón de cosas que pasan en chats privados con la IA y nadie se entera”, agrega. 

Aunque hoy todavía es posible identificar muchas imágenes falsas, Magalí advierte que esa capacidad no será permanente. “Hoy más o menos te das cuenta, pero yo no sé qué va a pasar en dos años. Vamos a estar mucho más expuestos”, reflexiona. 

Una de las formas más frecuentes de minimizar estas prácticas es afirmar que las imágenes no son reales. Para Dominguez Lalli, ese argumento es profundamente peligroso. “Te dicen ‘pero es falsa, no pasa nada’. La violencia digital, no se mide por la veracidad de la imagen, sino por el impacto que genera. “El daño psicológico, social y simbólico existe igual”, afirma. 

Vacíos legales: un problema global 

La falta de regulación es, para la programadora, uno de los núcleos más críticos. Y no se trata solo de un problema local. “Hay grises legales a nivel global. No se sabe hasta qué punto es responsable la IA o la persona que la usa”, señala. Como ejemplo, recuerda el caso de un joven que se suicidó tras interactuar con ChatGPT en un contexto de crisis emocional. “La madre encontró chats donde la IA lo incentivaba a no seguir viviendo. Ella inició una demanda contra la empresa. Ahí se abre el debate: ¿Quién es responsable?”, plantea. 

Magalí advierte que las personas suelen subestimar lo que entregan cuando aceptan términos y condiciones. “Cuando subís una foto, deja de ser solo tuya. Pasa a ser tuya y de la plataforma. Y las IA se alimentan de eso”, explica. 

El problema, señala, es que esos datos pueden utilizarse para replicar identidades. “Si subís fotos tuyas a la IA, mañana pueden usar tu cara para generar imágenes falsas. Eso es sumamente peligroso”. Incluso los espacios que se presentan como privados no garantizan confidencialidad absoluta.  

Ciberseguridad: el tema que corre atrás 

No se puede hablar de inteligencia artificial sin hablar de ciberseguridad. Ambas discusiones deberían ir juntas. “Con la IP se puede saber exactamente desde dónde se creó una cuenta, a quién contactó, a qué hora. Judicialmente se podrían hacer muchas cosas que no se hacen”, explica. 

En delitos como el grooming, esta información resulta clave. Sin embargo, la falta de políticas públicas y de estructuras especializadas deja enormes vacíos. 

Educar para no quedar a merced 

Foto: La educación digital es una deuda urgente.

La educación digital es una deuda urgente. “La charla sobre internet hoy es como la charla de sexo. Hay que sentarse a hablar”, plantea Dominguez Lalli. 

Y agrega: “Los jóvenes son nativos digitales, pero no entienden cómo funciona la tecnología y sus peligros”. En el ámbito educativo, critica tanto la prohibición como la falta de acompañamiento. “No es prohibir ni dejar usar sin más. Es enseñar el uso ético, responsable, enseñar a hacer prompts, a verificar fuentes”, sostiene. 

Quiénes crean la tecnología 

Magalí remarca que los sesgos de la inteligencia artificial reflejan los sesgos de quienes la desarrollan. Por eso, insiste en la necesidad de equipos diversos y multidisciplinarios. “Sin sociólogos, antropólogos, psicólogos, las tecnologías fracasan socialmente”, sostiene.

Foto: Elon Musk y Sam Altman, de profesión: millonarios.

A su vez, la programadora, no rechaza la inteligencia artificial. Reconoce su enorme potencial en educación, derecho y automatización de tareas. Pero es clara en una condición: “Es primordial que haya una regulación que permita un uso responsable”. 

Y concluye con una advertencia que resume el eje de la discusión: “Las inteligencias artificiales son algoritmos creados por humanos. Y todo lo que le cargamos pasa a ser parte de su base de datos. Eso después ya no lo podemos controlar”. 

La discusión sobre Grok, la manipulación de imágenes y la violencia digital no es un episodio aislado. Es apenas una señal de un problema más profundo que recién empieza a ser visible y que exige, con urgencia, una respuesta colectiva.