En las últimas semanas se ha desatado una polémica en torno a TikTok por la propagación masiva de vídeos racistas generados por inteligencia artificial. Estas creaciones han conseguido una gran difusión y han encendido las alarmas sobre los riesgos de las nuevas herramientas de IA, poniendo en entredicho la capacidad de las plataformas y de los propios desarrolladores para frenar los discursos de odio que viajan por la red a toda velocidad.
La controversia se centra en la nueva IA de Google, Veo 3, presentada recientemente y que llama la atención por su capacidad para generar clips hiperrealistas de hasta ocho segundos simplemente a partir de un texto. Según varios informes de organismos como Media Matters, estos vídeos han sido subidos a TikTok desde decenas de cuentas, llegando a acumular cifras millonarias de visualizaciones.
Vídeos plagados de estereotipos racistas y deshumanización
La denuncia de Media Matters pone el foco en contenidos que representan a personas negras como monos, delincuentes o adictos a ciertos alimentos, además de imágenes en las que aparecen inmigrantes, judíos y personas de origen asiático expuestos a burlas y comparaciones dañinas. En uno de los clips más virales, por ejemplo, dos policías blancos dentro de un coche patrulla disparan a una persona negra tras señalarla, en una escena que supera los 14 millones de visitas.
Otros vídeos, generados con Veo 3, muestran a hombres asiáticos perseguidos por objetos de aseo o rodeados de imágenes de gatos y perros en alusión a viejos tópicos, y a miembros de la comunidad judía persiguiendo monedas de oro o sufriendo referencias explícitas al nazismo y los campos de concentración. Estos clips, que en muchos casos llevan la marca de agua visible de la IA de Google, han sido compartidos bajo etiquetas como #Veo3 o #AI, lo que facilita aún más su viralización.
Además del contenido explícito, en los comentarios de las publicaciones se detecta una gran cantidad de mensajes que refuerzan o celebran los estereotipos presentados, lo que multiplica el alcance del discurso discriminatorio y contribuye a normalizarlo.
Fallas en las salvaguardas de IA y desafíos para la moderación
La aparición de estos vídeos ha puesto de manifiesto lo sencillo que resulta esquivar los filtros automáticos de la inteligencia artificial. Aunque Google promocionó Veo 3 como una herramienta con salvaguardas avanzadas (incluyendo marcas de agua y bloqueos automáticos para ciertas peticiones), los usuarios han conseguido encontrar vacíos en el sistema para generar contenido ofensivo.
Los expertos destacan que la IA no siempre es capaz de captar la sutileza de algunos símbolos y referencias racistas, lo que permite que imágenes que aparentan ser inocentes pasen los filtros técnicos, pero encierren un mensaje discriminatorio fácilmente reconocido por quienes buscan consumir ese tipo de material. Estos fallos en la comprensión contextual hacen que muchas creaciones problemáticas se cuelen en las plataformas antes de ser revisadas por moderadores humanos.
Según portavoces de TikTok, la red social combina algoritmos de detección con moderación manual para combatir el odio y la desinformación, y asegura que ha eliminado decenas de cuentas implicadas y vídeos, en muchos casos antes de que el escándalo llegara a los medios. Sin embargo, la velocidad de propagación hace que el daño ya esté hecho cuando se toman medidas.
TikTok y Google, bajo presión para reforzar sus políticas
Ambas empresas han reiterado que prohíben de manera taxativa la difusión de discursos de odio o contenido discriminatorio en sus plataformas. TikTok recalca en sus directrices que no se admiten vídeos que deshumanicen a ningún colectivo, mientras que Google asegura que sus servicios de IA incluyen bloqueos automáticos cuando se detectan términos o intenciones dañinas.
En la práctica, sin embargo, la moderación masiva resulta insuficiente. Las propias compañías reconocen que el volumen de vídeos que se suben a diario dificulta un control efectivo en tiempo real. Además, en el caso de la IA, los desarrolladores se enfrentan a la dificultad de codificar todas las variantes de lenguaje y simbolismo que pueden usarse para eludir las restricciones.
A raíz del revuelo, organizaciones civiles, expertos y académicos han exigido el fortalecimiento de las salvaguardas en la generación de contenido digital. Entre las propuestas se encuentra mejorar los filtros contextuales de las IAs, establecer marcas de agua visibles e irremovibles y crear herramientas públicas para identificar el origen de los vídeos.
La viralidad y el algoritmo: El odio se amplifica
El efecto de estos vídeos no se limita a TikTok. Tanto en Instagram como en X (antes Twitter) se han detectado casos similares, aunque con menor repercusión. La clave está en el propio algoritmo de recomendación, que da visibilidad y premia los contenidos más virales, sean positivos o negativos.
Este fenómeno, según analistas, genera un círculo vicioso: cuanto más extremo es el contenido, más reacciones provoca, lo que a su vez incrementa su alcance y su impacto sobre la opinión pública. La dificultad para distinguir entre vídeos reales y generados por IA complica aún más la tarea, especialmente entre los usuarios más jóvenes.
El temor es que la situación se agrave si Google integra Veo 3 con productos como YouTube Shorts, lo que facilitaría la difusión masiva de este tipo de vídeos y pondría a prueba, una vez más, la eficacia de los sistemas de moderación.
Este caso en TikTok evidencia la urgente necesidad de replantear las políticas y tecnologías asociadas a la inteligencia artificial y las plataformas de contenidos. Mientras la innovación ofrece nuevas herramientas para la creatividad, también genera retos éticos y sociales que no pueden ser ignorados. Sin un marco firme, el riesgo de que la IA se convierta en altavoz para el odio sigue estando más presente que nunca.