BBC
Cómo los algoritmos de las redes sociales promueven el contenido violento y misógino entre los jóvenes varones
Un exempleado de dos grandes empresas de redes sociales le cuenta a la BBC por qué los varones adolescentes son seleccionados para recibir contenido extremo.
3 de septiembre de 2024, 22:14 PM
Era 2022 cuando Cai, entonces de 16 años, deslizaba rápidamente las imágenes y mensajes en la pantalla de su teléfono. Dice que uno de los primeros videos que vio en su lista de redes sociales fue uno de un tierno perro.
Cuenta que “de la nada” le fueron recomendados videos de alguien siendo atropellado por un automóvil, un monólogo de un influencer compartiendo opiniones misóginas, y otros de peleas violentas. Se preguntó ¿por qué me los enseñan a mí?
Mientras, en Dublín, Andrew Kaung trabajaba como un analista en seguridad de los usuarios en TikTok, un cargo que había ocupado desde diciembre de 2020 hasta junio de 2022.
Indica que él y un colega decidieron examinar lo que los algoritmos de la aplicación les estaban recomendando a los usuarios en Reino Unido, incluídos los de 16 años. Antes había trabajado en Meta, empresa dueña de Instagram, otro de los sitios que usa Cai.
Cuando Andrew analizó el contenido de TikTok, quedó alarmado al ver cómo la plataforma les estaba mostrando a algunos varones adolescentes videos que contenían violencia y pornografía, y que promovían ideas misóginas, según le cuenta al programa Panorama de la BBC.
Dice que, en general, a las niñas adolescentes les recomendaban contenido muy diferente basado en sus intereses.
TikTok y otras redes sociales usan herramientas de inteligencia artificial (IA) para retirar la gran mayoría de contenido dañino y alertar de otro contenido para que sea revisado por moderadores humanos. Pero las herramientas de IA no lo pueden identificar todo.
Andrew Kaung relata que durante el tiempo que trabajó en TikTok, todos los videos que no eran retirados o señalados por la IA para que fueran revisados por los moderadores humanos -o reportados por otros usuarios a los moderadores- sólo eran revisados manualmente si alcanzaban cierto umbral de visualizaciones.
En ese momento, ese umbral se colocó en 10.000 visualizaciones o más, comenta. Eso significaba que algunos usuarios jóvenes estaban siendo expuestos a videos dañinos. La mayoría de las empresas de redes sociales permiten que las personas se registren desde los 13 años.
TikTok afirma que el 99% del contenido que retira por la violación de sus reglas es descartado por la IA o por moderadores humanos antes de que alcance 10.000 visualizaciones. Añade que realiza investigaciones proactivas sobre videos que alcanzan menos de esa cantidad de visualizaciones.
Cuando trabajaba en Meta, Andrew Kaung se dio cuenta de un problema diferente. Si bien la mayoría de los videos eran retirados o señalados a los moderadores por herramientas de IA, el sitio también dependía de los usuarios para informar de algunos videos una vez ya los habían visto.
Asegura que denunció esta situación mientras estaba en ambas compañías, pero la mayoría de las veces no se hizo nada por la cantidad de trabajo que hubiera implicado o su elevado costo. Indica que después TikTok y Meta hicieron algunas mejoras, pero recalca que los usuarios jóvenes como Cai estuvieron en riesgo de ver contenido dañino durante ese tiempo.
Varios exempleados de compañías de redes sociales le han dicho a la BBC que las preocupaciones de Andrew Kaung coincidían con sus propias experiencias.
Los algoritmos de la mayoría de las empresas de redes sociales han estado recomendando contenido dañino a menores, aunque no haya sido intencionalmente, le dijo a la BBC Ofcom, el ente regulador de las comunicaciones en Reino Unido.
“Las empresas han hecho la vista gorda y han estado tratando a los menores como tratan a los adultos”, comentó Almudena Lara, directora de desarrollo de políticas de seguridad online de Ofcom.
“Se te mete la imagen en la cabeza y no te la puedes sacar"
TikTok le aseguró a la BBC que está a “la vanguardia de la industria” en términos de configuraciones de seguridad para adolescentes y que emplea a más 40.000 personas para velar por la seguridad de los usuarios.
Afirma que sólo este año espera invertir “más de US$2.000 millones en seguridad”, y que el 98% del contenido que retira por la violación de sus reglas lo detecta proactivamente.
Meta, que es dueña de Instagram y Facebook, señala que tiene más de 50 herramientas diferentes, recursos y funciones para ofrecerles a los adolescentes “experiencias positivas y apropiadas para su edad”.
Cai le reveló a la BBC que intentó usar una de las herramientas de Instagram y otra similar de TikTok para indicar que no estaba interesado en contenido violento o misógino, y pese a ello se lo continuaban recomendando.
“Se te mete la imagen en la cabeza y no te la puedes sacar. Te ensucia el cerebro. Así que piensas en eso el resto del día”, comenta.
A las niñas de su edad que conoce les recomiendan videos sobre temas de música y maquillaje, en lugar de violencia, apunta.
Cai, quien hora tiene 18 años, dice que le siguen recomendando contenido violento y misógino tanto en Instagram como en TikTok.
Cuando revisamos sus recomendaciones en Instagram, estas incluyen una imagen que minimiza la violencia doméstica. Muestra a dos personajes lado a lado, uno de los cuales tiene moratones, con el subtítulo: “Mi lenguaje de amor”. Otro muestra a una persona siendo atropellada por un camión.
Cai dice que ha notado cómo los videos con millones de “me gusta” pueden ser persuasivos para otros jóvenes de su edad.
Por ejemplo, señala que uno de sus amigos se vio atraído por el contenido de un influencer polémico y empezó a adoptar opiniones misóginas.
Su amigo “se excedió”, comenta Cai. “Empezó a decir cosas sobre las mujeres. Sientes que tienes que ponerle los pies en la tierra a tu amigo".
Cai dice que ha comentado en contenido para indicar que no le gusta, y que cuando accidentalmente ha pulsado un “me gusta” en un video, ha dado marcha atrás con la esperanza de que se recalibren los algoritmos. Pero asegura que ha terminado como muchos más videos como esos en su pantalla.
El combustible de los algoritmos
Entonces, ¿cómo operan los algoritmos?
Según Andrew Kaung, el combustible de los algoritmos es la interacción, sin importar si esta es positiva o negativa. Eso explicaría en parte por qué los esfuerzos de Cai por manipular los algoritmos no dieron resultado.
El primer paso que deben dar los usuarios es especificar sus gustos e intereses cuando se subscriben a una red social. Andrew explica que el contenido que inicialmente ofrece un algoritmo a, digamos, un joven de 16 años, está basado en las preferencias que escogen y las preferencias de otros usuarios de edad similar y que se encuentran en un lugar similar.
De acuerdo a TikTok, los algoritmos no toman en cuenta el género del usuario. Pero Andrew indica que los intereses que los adolescentes expresan cuando se subscriben frecuentemente tienen el efecto de dividirlos en base a su género.
El exempleado de TikTok relata que algunos varones de 16 años podrían estar expuestos a contenido violento “inmediatamente”, porque otros usuarios adolescentes con preferencias similares han expresado interés en este tipo de contenido, aunque eso se deba a que se quedan viendo un video que les llama la atención un poco más.
Los intereses indicados por muchas niñas adolescentes en los perfiles que examinó –“cantantes de pop, canciones, maquillaje”- hacía que no se les recomendara ese contenido violento, señala.
Cuenta que los algoritmos usan “aprendizaje por refuerzo”, un método por el cual los sistemas de IA aprenden a través del prueba y error, y se entrenan a sí mismos para detectar el comportamiento de los usuarios con diferentes videos.
Andrew Kaung explica que los algoritmos están diseñados para maximizar la interacción, mostrando videos que ellos esperan que los usuarios vean durante más tiempo, para que comenten o les den "me gusta", todo con la intención de que sigan regresando a ver más contenido.
El algoritmo que recomienda contenido para la sección “Para tu página” de TikTok no siempre discrimina entre el contenido dañino y no dañino, dice.
Según Andrew, uno de los problemas que identificó cuando trabajó en TikTok fue que los equipos que se ocupaban del entrenamiento y la codificación de ese algoritmo no siempre conocían la naturaleza exacta de los videos que recomendaba.
“Ellos ven el número de usuarios, la edad, la tendencia, ese tipo de datos muy abstractos. No están necesariamente expuestos al contenido”, cuenta el exanalista de TikTok.
Por eso en 2022, él y un colega decidieron analizar qué tipo de videos estaban siendo recomendados a una serie de usuarios, incluyendo a algunos de 16 años.
Estaba preocupados por el contenido violento y dañino que les estaban ofreciendo a algunos adolescentes, dice, y le propusieron a TikTok que actualizara sus sistema de moderación.
Querían que TikTok etiquetara claramente los videos para que todos los que trabajaban allí pudieran ver por qué eran dañinos -por violencia extrema, abuso, pornografía, y demás- y para que emplearan a más moderadores que se especializaran en estas áreas diferentes. Andrew cuenta que sus sugerencias fueron rechazadas en ese momento.
TikTok afirma que tenía moderadores especializados en ese momento y que, a medida que la plataforma ha crecido, ha continuado contratando a más. También aseguró que separaba diferentes tipos de contenido dañino, en lo que llama filas, para los moderadores.
“Como pedirle a un tigre que no te coma”
Andrew Kaung asegura que trabajando en TikTok y Meta parecía muy difícil poder hacer los cambios que él pensaba que eran necesarios.
“Estamos pidiéndole a una compañía privada, cuyo interés es promover sus productos, que se modere. Es como pedirle a un tigre que no te coma”, comenta.
Opina que las vidas de los niños y adolescentes serían mejores si dejaran de usar sus teléfonos inteligentes.
Pero para Cai, prohibir el uso de los teléfonos o las redes sociales a los adolescentes no es la solución. Su teléfono es parte integral de su vida.
En vez de eso, quiere que las empresas de redes sociales escuchen lo que los adolescentes no quieren ver. Quiere que las plataformas creen herramientas que les permitan a los usuarios indicar sus preferencias más efectivamente.
“Siento que las compañías de redes sociales no respetan tu opinión si eso les hace ganar dinero”, expresa Cai.
En Reino Unido, una nueva ley forzará a las empresas de redes sociales a verificar la edad de los menores y acabará con los sitios que recomienden porno u otro contenido dañino a los jóvenes. El regulador Ofcom estará a cargo de hacer cumplir la ley.
Almudena Lara, de Ofcom, dice que mientras que el contenido dañino que predominantemente afecta a las mujeres jóvenes -como videos que promueven desórdenes alimenticios y autolesiones- ha estado correctamente bajo la mira, los algoritmos que promueven el odio y la violencia principalmente entre los varones adolescentes y jóvenes han recibido menos atención.
Ofcom dice que puede multar a las compañías y llevarlas a juicio si no cumplen la ley, pero las medidas que esta recoge no entrarán en vigor hasta 2025.
TikTok asegura que usa “tecnología innovadora” y que provee configuraciones de seguridad y privacidad para adolescentes de “vanguardia”, incluyendo sistemas que bloquean contenido que pudiera ser inapropiado, y que no permite la violencia extrema ni la misoginia.
Meta, que es dueña de Instagram y Facebook, afirma por su parte que cuenta con más de “50 herramientas diferentes, recursos y funciones” para ofrecerles a los adolescentes “experiencias positivas y apropiadas para sus edades”. Según Meta, solicita las evaluaciones de sus propios equipos y que los potenciales cambios de sus políticas son sometidos a procesos robustos.
Haz clic aquí para leer más historias de BBC News Mundo.
También puedes seguirnos en YouTube, Instagram, TikTok, X, Facebook y en nuestro nuevo canal de WhatsApp, donde encontrarás noticias de última hora y nuestro mejor contenido.
Y recuerda que puedes recibir notificaciones en nuestra app. Descarga la última versión y actívalas.