Las luchas recientes de Facebook con los datos y la privacidad del usuario llegan en un momento terrible para ellos. Si bien la privacidad de sus usuarios debe ser de suma importancia, también han tenido que trabajar en una nueva tecnología que aborde las preocupaciones sobre la marca y la seguridad [VIDEO]del usuario cuando se trata de contenido odioso.

De hecho, la UE ya ha considerado medidas y legislación para reprimir el discurso de odio en plataformas y comunidades en línea como Facebook, YouTube y Twitter. Esto plantea una pregunta importante: ¿cómo controlas una plataforma con más de dos mil millones de usuarios que generan 510,000 comentarios cada 60 segundos?

Durante su testimonio ante el Congreso

Mark Zuckerberg ofreció esta respuesta simple a la pregunta de cómo Facebook [VIDEO]regularía el contenido odioso: Bots.

Su comentario sugirió un desafío que los ingenieros de IA y de aprendizaje automático han intentado abordar: utilizar la IA para combatir los problemas relacionados con el discurso de odio. Pero a medida que miramos hacia los límites de la tecnología, ¿qué tan realista es eso?

Una introducción a las redes neuronales

Diseñar una red neuronal para filtrar el discurso de odio no es difícil en principio. Como ingeniero, haría esto al mostrar primero los ejemplos de IA de discurso de odio y discursos que no incitan al odio durante el entrenamiento, y luego dejar que se ponga a trabajar. Este intento de enseñar a la IA solo funcionaría en el dominio en el que lo entrené, de modo que a medida que surjan nuevos problemas políticos y sociales, el filtro del discurso de odio comenzará a fallar.

La otra opción sería usar técnicas de aprendizaje no supervisadas.

Con este enfoque, el robot aprendería a encontrar y censurar el discurso de odio en función de las reacciones de los usuarios en línea. Una cosa importante a tener en cuenta es que esta avenida sería vulnerable a los ataques coordinados. Por ejemplo, si usted y sus amigos comenzaron a etiquetar artículos y comentarios sobre la alimentación saludable como "discurso de odio", entonces una IA no supervisada comenzaría a aprender a filtrar cualquier mención de vegetales como "odiosa".

Virtual whack-a-mole

Un factor de confusión en el diseño de robots que filtran el discurso del odio son los propios humanos. A medida que una plataforma comienza a filtrar ciertos tipos de mensajes, las personas encuentran formas de evitarlos y aparecen nuevas avenidas para el discurso de odio. Esto es similar a cómo Google PageRank cambió la forma en que escribimos contenido en línea y crió su propio campo llamado optimización de motores de búsqueda, o SEO. Los filtros generales y generales en las Redes Sociales harán que los creadores de discursos de odio cambien sus mensajes para eludir estos filtros.

A estas alturas, puedes estar preguntando, "¿No puedo superar eso?" Tal vez, algún día. Esta es una posibilidad que estamos explorando mediante el uso de redes neuronales adversas, que exponen a los bots a un "adversario" impulsado por inteligencia artificial. Es un campo de investigación prometedor, pero aún tiene un largo camino por recorrer, especialmente en el campo del lenguaje y el sentimiento. detección. Es bastante interesante ver cómo podemos engañar a las redes neuronales porque fallan de maneras que los humanos simplemente no entienden.

En muchos sentidos, las métricas que usa Facebook para determinar si algo es odioso o no, llegarán a definir los comportamientos de las personas que usan la plataforma. Los vendedores ambulantes de odio se apropiarán de nuevas palabras y lenguaje para transmitir sus mensajes y omitir los filtros. Necesitamos permanecer fieles a una definición establecida de discurso de odio mientras trabajamos implementando bots para frenarlo en las plataformas sociales. Hay un elemento muy humano en esto que no podemos ignorar.