Un sistema de inteligencia artificial de reclutamiento comenzó a discriminar las solicitudes de trabajo de mujeres y recomendaba a candidatos masculinos como favoritos a obtener puestos en Amazon.
Amazon ha eliminado una herramienta de reclutamiento que utilizaba un modelo de inteligencia artificial (IA) para clasificar las solicitudes de empleo que la empresa recibía, luego de que se determinara que era sexista.
El sistema de IA fue creado por un equipo de desarrolladores en las oficinas de Amazon de Edimburgo, Escocia en el 2014 con el fin de clasificar automáticamente los CVs que recibían y así poder seleccionar a los candidatos más prometedores. Sin embargo, el algoritmo rápidamente comenzó a preferir a los candidatos masculinos sobre los femeninos, según miembros del equipo.
Ellos se dieron cuenta que el sistema comenzó a quitarle puntos a los CV que incluían palabras femeninas en su descripción, como “capitana del club de ajedrez femenino”. También se informó que bajó la calificación de todas las graduadas de dos universidades exclusivas para mujeres.
El problema surgió, según sus creadores, debido a que el algoritmo recibió “capacitación” a través de datos introducidos por personas durante un período de 10 años, la mayoría de los cuales eran hombres. Para intentar corregir la discriminación, los expertos ajustaron la base de datos del sistema. Sin embargo, el año pasado, Amazon perdió la fe al darse cuenta que la IA no era neutral a pesar de la actualización y decidieron abandonar el proyecto.
La compañía afirma que si bien los reclutadores de Amazon usaron el sistema para ver sus recomendaciones al momento de contratar, no se basaron en sus clasificaciones. Agregan que actualmente las mujeres constituyen el 40 por ciento de la fuerza laboral de Amazon.
Sexismo, racismo y otros problemas de discriminación en sistemas de IA
El peligro de “discriminación aprendida” en el uso de algoritmos es un problema común en la industria de la tecnología. Aunque no se les enseña a los algoritmos a discriminar al momento de su creación, pueden aprender a hacerlo a través de los datos que reciben y analizan.
La mayoría de las grandes empresas de tecnología han comenzado o cuentan ya con proyectos de desarrollo de IA, buscando estar un paso delante de sus competidores en lo que se refiere a innovaciones informáticas. Sin embargo, muchas han tenido problemas con sus algoritmos, luego de que estos aprendieran y aplicaran creencias o ideas racistas, misóginas o de ultraderecha, algunos de forma “inocente”.
Hace unos meses, Google tuvo que eliminar la opción de buscar fotos de gorilas en su aplicación Google Photos luego de que el servicio comenzó a sugerir que las fotografías de personas negras eran en realidad fotografías de gorilas.
El año pasado, dos algoritmos de IA de Facebook tuvieron que ser apagados ya que comenzaron a comunicarse entre ellos en un lenguaje no comprendido por sus creadores.
Otro ejemplo es Tay, el bot que Microsoft creó para Twitter en el 2016. Su función era interactuar con usuarios para aprender, actualizarse y desarrollar sus propias opiniones e ideas concretas sobre el mundo. Sin embargo, 24 horas después de su aparición en la red social, Tay comenzó a publicar mensajes perturbadores, entre ellos “Hitler no hizo nada malo”, “odio a las feministas, deberían morir y arder en el infierno” y “Donald Trump es nuestra única esperanza”. Se puede argumentar que el algoritmo de IA aprendió todo esto de los usuarios con los que interactuó, pero no mostró apoyo hacia la igualdad de género, preservación de las especies y otros temas similares.
El software de reclutamiento fallido de Amazon y el resto de los casos previamente mencionados ilustran una de las mayores debilidades del aprendizaje autónomo, que es el hecho de que los sistemas se enseñan a sí mismos a crear una idea del mundo según su interacción humana, lo cual nos lleva a cuestionar si ellos no son más que un claro ejemplo de que la discriminación sigue al rojo vivo, aunque ahora las personas que comparten esas ideas se esconden en el anonimatos.
El mes pasado, IBM lanzó una herramienta que está diseñada para detectar sesgos en la IA. El Fairness 360 Kit permite a los desarrolladores ver claramente cómo funcionan sus algoritmos y qué datos se utilizan para tomar decisiones.
“Teniendo en cuenta los recursos exhaustivos de Amazon y su equipo de ingenieros excepcionalmente talentosos, el hecho de que su herramienta de reclutamiento de IA fracasara miserablemente sugiere que debemos mantener un escepticismo por defecto hacia cualquier organización que afirme haber producido una herramienta de AI efectiva”, comentó Stevie Buckley, cofundador del sitio web de empleo del Reino Unido, Honest Work.
También te puede interesar: ¿Rumor o realidad que habrá una falla general de Internet en octubre?