LAURA RICO

¿Es Google machista?

Los algoritmos que rigen la inteligencia artificial replican y amplían los clichés de género aprendidos del análisis masivo e indiscriminado de datos

Rocío Mendoza
ROCÍO MENDOZA Madrid

Tiene un amigo invisible que empieza a darle consejos y a tomar decisiones que le afectan sin que quizá sea del todo consciente. ¿Lo sabía? A veces, su intervención no va más allá de sugerirle cada noche que vea una u otra serie en su plataforma favorita. Pero hay ocasiones en las que podría descartar su currículo en el proceso de selección de una gran empresa al considerar que no es adecuado para el puesto. Este compañero, sin rostro ni nombre, es la Inteligencia Artificial (IA), una tecnología que se ha instalado sin hacer ruido en la vida cotidiana de una sociedad cada vez más digital.

Sin hacer ruido... o casi, porque lo cierto es que su comportamiento, desarrollado a base de analizar ingentes cantidades de datos a través de algoritmos matemáticos, empieza a dar que hablar. Las alarmas han saltado cuando se ha visto que toma decisiones viciadas por prejuicios de género e, incluso, raciales. Algo que puede llegar a traducirse en una discriminación de minorías en no pocos aspectos de la vida, si se tiene en cuenta todos aquellos que ya están 'tocados' por estos algoritmos.

No son pocos. De hecho, a estas alturas, resulta ingenuo pensar que esta tecnología nada tiene que ver con nuestro mundo. Tanto, como no preguntarse: ¿quién está entrenando a esta nueva Inteligencia?, ¿con qué objetivo?, ¿cómo está aprendiendo y cómo alcanza sus conclusiones? Algunas respuestas son conocidas; otras, por desgracia, son tan crípticas como los propios algoritmos matemáticos por los que se rige.

¿Dónde está la nueva tecnología?

No son pocas sus aplicaciones. Los asistentes de voz (Siri o Alexa) funcionan a base de ellos; la lista de sugerencias de Spotify o de Netflix, también; las actualizaciones y notificaciones de todas las redes sociales aplican esta tecnología que, además, está detrás del orden en el que aparecen los resultados en el buscador de Google, así como de los anuncios que este muestra. Los 'chatbots' que asisten durante la compra 'online' de un billete de Renfe y el reconocimiento facial para identificar al pasaje del avión son igualmente Inteligencia Artificial en estado puro. Hasta Hacienda se apoya en ella para procesar toda la información de los contribuyentes.

Una de las claves para entender por qué un algoritmo puede presentar un sesgo de género y llegar a conclusiones machistas está en su propio funcionamiento. Al estar basado en analizar información para alcanzar una conclusión y resolver los problemas que se le planteen, si los datos que chequean están viciados de origen los resultados replicarán (y ampliarán) esta tara.

Esto puede suceder por dos motivos: porque la recopilación indiscriminada y sin tratamiento que hace la máquina de los datos masivos arrojados por infinitos usuarios de la red y sus aplicaciones reflejen ese sesgo impregnado en la propia sociedad; o porque en la selección de esta información y la definición de modelos diseñados por los programadores ya estén sesgadas de origen, al no haberse tenido en cuenta la perspectiva de género.

En Ciencia, esto no es nuevo. Lorena Fernández, directora de Identidad Digital de la Universidad de Deusto, experta en cuestiones de Género y Tecnología, recuerda un caso paradigmático: «Los Crash Test Dummies se hacían con maniquíes que solo replicaban el físico masculino. Por ejemplo, no contemplaban que el conductor fuese una embarazada». ¿Resultado? El número de muertes era superior en mujeres hasta que los test se adecuaron también a la anatomía femenina.

Del mismo modo, los algoritmos de herramientas que emplean la IA como los traductores de Google o Microsoft interpretan que los ingenieros son hombres y las enfermeras mujeres. Este, el traductor, ha sido de hecho la primera herramienta puesta en evidencia. Londa Shiebinger, investigadora de la Universidad de Stanford y líder del proyecto de la Comisión Europea Gendered Innovations, fue una de las primeras voces en denunciar que el traductor utiliza el pronombre masculino por defecto. «Me di cuenta cuando introduje un artículo que hablaba sobre mí y por defecto traducía él dijo, en vez de ella dijo. Nos preguntamos por qué ocurría esto y descubrimos que, como Google Translate funciona mediante un algoritmo, el problema es que 'él dijo' aparece en internet el cuádruple de veces que 'ella dijo', por lo que la máquina acertará más veces si elige 'él dijo'. El algoritmo está preparado para actuar de esa manera. Así que nos dirigimos a Google y les dijimos: «Oye, ¿qué pasa con esto?», y nos contestaron: «Anda, ¡no teníamos ni idea!». Reconocimos que hay un sesgo inconsciente de género», cuenta.

«Si el entrenamiento se hace con datos de Internet sin analizar, traemos lo que haya históricamente –no solo en estos años– en la sociedad y volvemos a traer problemas superados como el machismo y el racismo a la IA»

Chema alonso | experto en inteligencia artificial, director del área de consumo de telefónica y hacker

«La solución pasa por que los equipos, los datos y las empresas implicadas en el desarrollo de los algoritmos en los que se basan estas tecnologías sean más diversos e incorporen la perspectiva de género»

Lorena fernández | directora de identidad digital de la universidad de deusto y experta en género y tecnología

«Nos dimos cuenta del sesgo al ver cómo en un texto largo que hablaba sobre mí el traductor decía sistemáticamente 'él dice' en vez de 'ella dice'. Avisamos a Google y reconoció no tener ni idea de que esto sucedía»

Londa Shiebinger | catedrática de stanford y líder del proyecto de la comisión europea 'gendered innovations'

Este gigante tecnológico introdujo cambios. Por ejemplo, indicar el doble género en la traducción de idiomas que usan el neutro en algunos casos. «Pero por ahora son parches, medidas reactivas, no proactivas para solucionar un problema. En textos extensos el algoritmo de traducción mantiene el sesgo», advierte Fernández, que también forma parte del proyecto de investigación Gendre Innovations.

Chema Alonso, reputado experto en Inteligencia Artificial y 'hacker', es una de las voces españolas alzadas contra este proceder de los traductores de Google y Microsoft. Como iniciativa personal, y al margen de su cargo en Telefónica al frente de la Unidad Global de Consumo Digital, ha lanzado una iniciativa en 'Change.org' para pedir que esto sea corregido.

Para explicarlo, pone un ejemplo claro. Si se introduce 'The judge told the nurse to take care of the engineer', la traducción automática es: «El juez le dijo a la enfermera que cuidara del ingeniero». La herramienta deduce: «Es más probable que un juez sea hombre, una enfermera mujer y un ingeniero, según mis datos, hombre». Puede ser, a tenor de los datos de mujeres que cursan estas carreras, pero no es ético que haga esta interpretación.

De lo contrario, «manda un mensaje subliminal sesgado de género», denuncia Alonso. «Los creadores de la herramienta –prosigue– deberían informar de que se han asignado los géneros arbitrariamente con algún símbolo visual (subrayado o alerta) para que el usuario sepa que por el texto original no se sabe el género». Y va más allá. Cree que Translate debe ser un instrumento que traduzca lo que se le dé de entrada, sin interpretar. «Si este texto no dice que es hombre o mujer, no debe 'jugar' a averiguar qué es más probable, porque trae sesgos», defiende mientras recuerda que la Inteligencia Artificial quizá no sea una tecnología adecuada para esta función.

La falta de diversidad en datos

  • 75% Es el porcentaje total de cantidaturas de trabajo a puestos vinculados con la Inteligencia Artificial que corresponden a hombres en EE UU, según recoge el informe publicado por el Ministerio de Igualdad español 'Mujeres y digitalización, de la brecha a los algoritmos'.

  • 9%. Es el porcentaje de mujeres que hay escribiendo código fuente en España.

  • 80%. de hombres componen el profesorado universitario dedicado a temas de IA.

  • 13% de mujeres figuran como autoras en trabajos de investigación sobre la materia.

  • 11,95% del personal que investiga sobre inteligencia artificial en Microsoft son mujeres. En IBM suponen 15,66% en IBM y enGoogle, la investigación en este campo firmada por ellas solo supone un 11,3%.

Esta tendencia a ampliar prejuicios no es inocua. Recuerda Fernández las profecías autocumplidas que se dan con la IA. «Si un algoritmo señala un barrio como peligroso solo por los datos que maneja, se enviará más policías a este lugar y habrá más detenciones. Así, lo que dijo en un principio, no solo se cumple, sino que se amplía», pone como ejemplo.

Para Alonso el problema está en el tratamiento y la configuración de los datos con los que se entrena esta inteligencia artificial. «Si el entrenamiento se hace con datos de Internet sin analizar, traemos lo que haya históricamente –no solo en estos años– en la sociedad. Es decir, nos 'comemos' la evolución y volvemos a tener problemas superados hace décadas –como el racismo, sexismo, machismo, etc.– traídos por modelos de IA que no sabemos realmente qué y cómo han aprendido».

Esto último es uno de los hechos más inquietantes de esta problemática: realmente nadie sabe a ciencia cierta cuál es el mecanismo que explica a la larga el aprendizaje automático de un modelo de Inteligencia Artificial. Ni sus creadores. «Sigue siendo un área de estudio con muchas incógnitas y retos», valora Alonso.

Otra de las tecnologías que recientemente han sufrido un varapalo por su sesgo han sido las de reconocimiento facial. En su entrenamiento se ha contado con menos rostros de mujeres y, además, menos con la piel oscura. El resultado ha sido que estas herramientas 'inteligentes' fallan más a la hora de identificar, por ejemplo, a mujeres afroamericanas. Amazon, IBM y Microsoft se han topado con este problema y han tenido que replantear sus planes de desarrollo con esta herramienta de IA.

El último estudio, en el algoritmo que recomienda música

Un estudio encuentra sesgo de género en los algoritmos de recomendación musical

Un nuevo trabajo del grupo de investigación en Tecnología Musical de la UPF con la Universidad de Utrecht ha concluido que los algoritmos de recomendación musical de las distintas plataformas digitales también tienen un sesgo de género. Los autores probaron un algoritmo de recomendación musical de uso habitual basado en el filtrado colaborativo y analizaron los resultados de dos conjuntos de datos. En ambos casos vieron que el algoritmo reproduce el sesgo existente en el conjunto de datos, en la que sólo el 25% de los artistas son mujeres. Además, el algoritmo genera un 'ranking' con los artistas para recomendar al usuario. Los autores vieron que en promedio la primera recomendación de una mujer artista se encuentra en la posición 6 ó 7, mientras que la de un hombre artista está en la primera posición. Ferraro, primer autor del artículo añade: «El sesgo en la exposición viene de la forma en que se generan las recomendaciones». Eso significa que las mujeres tienen menos exposición a partir de las recomendaciones del sistema.

¿Se está a tiempo de parar esta deriva? «Es muy difícil y complejo, pero pasaría por una palabra: más diversidad», valora Fernández. De hecho, este asunto ha motivado la salida de varios miembros del departamento de Ética de Google, como Timnit Gebru, colíder junto a Margaret Mitchell, que se quejaron de la falta de diversidad de su equipo, «mayoritariamente formado por hombres blancos», dijeron, así como el tratamiento de los datos. La compañía aludió a motivos disciplinarios por el comportamiento de estos trabajadores.

Esta diversidad debería estar en los datos masivos de entrenamiento (y el tratamiento de los mismos, como vindica Alonso), diversidad en los equipos porque aún hoy las mujeres brillan por su escasez, para que se programen las tecnologías del futuro con perspectiva de géneroy, por último, diversidad de empresas. No hay que perder de vista que el grueso del desarrollo de la Inteligencia Artificial está en manos de solo cinco grandes: Apple, Amazon, IBM, Microsoft y Google.

Para evitar que los algoritmos sigan creciendo torcidos hay dos corrientes: una que defiende la autorregulación de las compañías, y otra la ejercida por las instituciones. Está por ver quién ejercerá el control y qué intereses prevalecerán.

OTROS CASOS PARADIGMÁTICOS

Los traductores y las profesiones

Si introducimos en el traductor de Google y en el de Microsoft la siguiente frase: «Cómo responsable nacional de Google en España aceptó el reto de arreglar el sesgo», en ambos casos se traduce como: Google: «As the national head of Google/Microsoft in Spain he accepted the challenge of fixing bias». Al traducir del inglés al español, sucede igual. «A Cloud Solutions Architect solved the problem». Google y Microsoft traducen como: Un arquitecto de soluciones en la nube entró en la reunión y solucionó el problema».

El currículo de ellas, penalizado por defecto

Amazon tuvo un problema reciente con su algoritmo, que demostró penalizar el curriculum de mujeres que optaban a ofertas de empleo en la empresa, al descartarlos como no aptos. La razón era de género y de profundo calado social. La máquina tomó como dato negativo para valorar la idoneidad para el puesto el hecho de que el candidato registrase periodos de tiempo sin trabajar. De este modo muchas mujeres, por acogerse en su día a bajas maternales, quedaban descartadas de antemano y no participaban en el proceso de selección.

Anuncios de salarios altos solo para ellos

Un equipo de la Universidad de Cornell desarrolló una aplicación para chequear los anuncios en Google. Se crearon 1.000 perfiles ficticios y descubrieron que a los femeninos se les ofrecía menos un anuncio relacionado con trabajos bien remunerados. Concretamente fue mostrado en 1.800 ocasiones a los hombres frente a las 300 veces que apareció en la pantalla de las mujeres. Los investigadores reconocen la imposibilidad de identificar el porqué de estos resultados y conminan a las empresas y organismos públicos a investigarlo.

Errores en el reconocimiento facial

'Sesgo codificado' es el título del último documental emitido por Netflix en el que la investigadora del MIT Joy Buolamwinimite denuncia los fallos de las herramientas de reconocimiento facial cuando se trata de identificar a mujeres o a personas de origen latino y afroamericano. A través de expertos, el trabajo analiza el problema de sesgo de género, racial, geográfico, cultural, etc. que pueden dejar los programadores de forma inconsciente o aprender los algoritmos de los datos recopilados de forma indiscriminada en la red.

Mapas con zancadas masculinas

Google Maps constituye otro buen ejemplo de cómo se han tomado como referencia los estándares masculinos (no los femeninos) para realizar sus cálculos. Para determinar el tiempo que se tarda en llegar andando de un destino concreto a otro, la zancada tomada como referencia es la del hombre. Si atendemos a la media, la realidad es que la masculina es mayor que la femenina. Así que, en términos reales, según Google Maps los trayectos son más cortos para los hombres que las mujeres, que deberán añadir minutos al resultado.