La inteligencia artificial es el horizonte de las soluciones tecnológicas para un mundo castigado por una gripe pandémica. El documental ‘Prejuicio Cifrado’ (‘Coded Bias’) pone en escena de manera situada las graves implicaciones de ciertos “avances” tecnológicos que atestiguamos en esta era.
Cartel del documental.
Joy Buolamwini, informática y activista digital ghanesa-estadounidense, inquiere en el documental Prejuicio Cifrado (Coded Bias),de Netflix, si acaso no es una mujer. Su pregunta va dirigida a quienes están por detrás de las máquinas que prometen darnos tecno-soluciones con inteligencia artificial.
Su pregunta, además de ser una actualización del crudo alegato de Sojourner Truth, la abolicionista emblema de los movimientos de mujeres afrodescendientes al reclamar “¿no soy yo una mujer?” en 1851 durante la Convención de los derechos de la mujer de Ohio, es un resorte para cuestionar y comprender los dictados que se nos presentan cerrados e incuestionables.
Hoy se anuncian algoritmos como dulces soluciones para los problemas más peliagudos de la vida en sociedad. Por suerte tenemos el beneficio de la duda y podemos sospechar que bajo los mecanismos propuestos para el control del delito, la aceptación o el rechazo de personas para puestos de trabajo, la evaluación de planteles docentes, nuestros matches para citarnos con alguien o la posibilidad de cruzar una frontera se esconde una manera conocida (automatizada y peligrosa) de hacer las cosas.
En el filme todo comienza con la protagonista ingresando en el Instituto de Tecnología de Massachusetts (MIT), el Mit Media Lab, centro académico soñado para quienes se dedican a proyectos que cruzan componentes tecnológicos, educativos, multimedia.
Buolamwini da inicio a la trama contando su proyecto sci-fi-feminista de construir un “espejo inspirador”, el Aspire. Dicho espejo trabajaría la noción de “visión artificial” superponiendo en el rostro de su creadora las caras de ancestras y mujeres negras como Serena Williams o Angela Davis, entre otras. La intención es fundir las imágenes con la cara de la persona frente al espejo y darle a la usuaria un impulso creativo diario.
Sin embargo la cámara no reconoce el rostro de la creadora. Tras variadas pruebas la científica afronorteamericana decide colocarse una máscara blanca. ¡Zas!, el milagro acontece. A partir de ahí se dedica a investigar por qué tanto hardwares (cámaras y aparatos periféricos) como softwares (programas de aprendizaje automatizado para el reconocimiento facial) erran constantemente ante la identificación de las personas con mayor presencia de melanina en sangre.
Su tarea de investigación da entonces un vuelco y se dedica a explicar, junto a otras activistas e investigadoras del resto del mundo, el potencial destructor de dicho error de programación una vez aplicado a los planes de control social.
En su investigación, Buolamwini prueba más de 1200 imágenes por el software de reconocimiento facial de numerosas grandes empresas tecnológicas, como IBM Watson, Google, Microsoft, Face++ y Amazon. Confirma que de manera reiterada este tipo de software no puede identificar a las personas de piel oscura porque las complexiones oscuras están subrepresentadas en las bases de datos que se utilizan para probar la tecnología.
Con esto la película introduce preguntas vitales para los movimientos feministas: quiénes y cómo somos identificadas y de qué manera somos reflejadas. Cuestionamientos de particular peso si somos mujeres racializadas, trans, migrantes, empobrecidas. El filme pone en evidencia un debate caliente: si estas tecnologías están siendo implementadas por las fuerzas policíacas y militares en el mundo, así como por el poder judicial, autoridades migratorias y también por las empresas de recursos humanos de países centrales, ¿adivinan?, ¡estamos en problemas!
Discriminación algorítmica
En una de las provincias del noroeste de Argentina, el por entonces gobernador se jactaba de contar con una tecnología capaz de “prever cinco o seis años antes, con nombre, apellido y domicilio, cuál es la niña, futura adolescente, que está en un 86 por ciento predestinada a tener un embarazo adolescente”. Las polémicas atribuciones se hacían mientras la campaña por el aborto legal, seguro y gratuito avanzaba a pasos firmes en el país. La lluvia de críticas arreció. Se criticó el sesgo de la base de datos a la que el Gobierno había accedido: niñas y adolescentes con posibilidad de quedar embarazadas muchas veces producto de violaciones o porque carecen de acceso a una educación sexual integral.
Son variados los casos en que las aplicaciones con base matemática que impulsan la economía de los datos, así como los desarrollos basados en machine learning, reclaman el estatus de neutralidad y objetividad. No obstante para las investigadoras Paz Peña y Joana Varón, casos como el de citado de Salta demuestran que no toda base de datos tiene que ser forzada a “hablar” sin tener antes la agenda de justicia social como premisa. ¿Cómo se obtuvieron esos datos? Y ¿qué implica que estos datos sean manipulados por gobiernos conservadores en el contexto de una lucha regional por el derecho a abortar?
El continente latinoamericano tiene sobrada y dolorosa experiencia sobre la implementación de soluciones foráneas (ver el caso de Perú), muchas veces recomendadas por Estados Unidos, entre otros países del norte global, acerca de cómo delinear políticas poblacionales. Los programas para combatir la pobreza se actualizan hoy con la dataficación extendida por parte de gobiernos locales que negocian con gigantes como Microsoft el otorgamiento de beneficios sociales o las políticas de prevención de embarazos no deseados. Y eso es una manifestación actualizada del ya conocido modelo colonial.
Coded Bias muestra la manera en que las comunidades pobres son las cobayas para los laboratorios de etiquetado de poblaciones, espacios en los que se observa poco respeto a sus derechos más básicos Clic para tuitear
Mirar la inteligencia artificial con lentes periféricas
El documental, dirigido por Shalini Kantayya, cuenta con mayoría de voces de mujeres investigadoras de la ciencia, la computación y las matemáticas. Esta característica abre un abismo con el ya discutido documental El dilema de las redes sociales, que si bien aborda una temática familiar, carecía de voces de mujeres racializadas u otras identidades que no fueran las voces heterocentradas, blancas y monopólicas de las tecnologías.
La presencia de Catherine (“Cathy”) O’Neil, una matemática estadounidense autora de varios libros sobre ciencia de datos, entre los que se incluye Weapons of Math Destruction (Armas de destrucción matemática), señala además el derrotero que enfrentan las mujeres en espacios académicos o de poder en donde históricamente predomina la hegemonía de los hombres blancos.
Esta pertenencia a lo periférico quizás permite la apertura de preguntas incómodas. Así como señala Virginia Eubanks, profesora de Ciencia Política de la Universidad de Albany, en coincidencia con una idea central de O’Neill: las herramientas de vigilancia, en especial las que usan softwares de inteligencia artificial, tienden a castigar a los sectores empobrecidos de la población. Esto es resultado de estar diseñadas para evaluar a un gran número de personas. Su especialidad es la cantidad y brindar soluciones a bajo precio. Mientras los sectores ricos de la población se caracterizan por un tratamiento que sigue siendo hasta hoy, en gran medida, personalizado.
Coded Bias muestra la manera en que las comunidades pobres son las cobayas para los laboratorios de etiquetado de poblaciones, espacios en los que se observa poco respeto a sus derechos más básicos. Hecho el test, las tecnologías se extienden hacia otras comunidades.
Preguntas desde el sur sobre el racismo mecanizado
Coded Bias nos impulsa a cuestionar: si los datos son nuestro destino ¿qué debemos tener en cuenta para criticar el modelo que se nos impone? Las bases de datos son la fuente predilecta del desarrollo de procesos de inteligencia artificial, pues esta se define en términos generales como una tecnología que realiza predicciones en función de la detección automática de patrones que aparecen en los datasets.
Para empezar a desandar su complejidad, resaltemos que los datos que se utilizan suelen provenir de informaciones históricas y utilizados para hacer predicciones, y que ocasionan un posible reforzamiento de los prejuicios que ya conocemos, como muestra la película.
Como señalamos en una entrega anterior de Periférikas en la que alertábamos sobre el uso de estas tecnologías para controlar el flujo migratorio: ejecutar sistemas biométricos en fronteras y pasaportes implica que el Estado detenta un monopolio sobre el movimiento de las personas. La biometrización de los controles de flujo migratorio y de los controles identitarios contribuye con la creación un mundo de vigilancia en el cual las personas no son libres de escapar. Alerta: la simple concentración de grandes cantidades de datos personales pone en riesgo la privacidad de las personas migrantes, en caso de que ocurra una filtración o que las bases sean atacadas.
Así el documental desliza la idea de que el sistema racista, articulado a escala individual, también puede verse como un modelo de predicción, un murmullo que intenta dar respuestas a la falta de empleo y a la desigualdad extendida en todo el mundo.
El racismo, como respuesta organizada, como base de datos histórica se construye a partir de informaciones defectuosas, incompletas o generalizadas. Ya sean originados en la experiencia o en los rumores, los datos señalarían que ciertos tipos de personas se habrían comportado mal en algún momento de sus vidas, según alguien o algo. Eso, aplicado a un algoritmo programado desde un sesgo racista, genera la predicción binaria de que todas las personas de esa raza o etnia se comportarán de la misma manera.
Desarrollos cien por cien falibles
Una premisa fundamental es que la economía de la datificación y los desarrollos de inteligencia artificial, por más aspiraciones de objetividad que presenten, se siguen basando en decisiones tomadas por personas, absolutamente falibles.
Si bien las bases de la inteligencia artificial, como las de la ciencia en general, son un aporte para la humanidad, muchos de los modelos basados en automatización del aprendizaje han codificado los malentendidos y los prejuicios humanos en los sistemas de software que administran cada día más nuestras vidas. Los modelos matemáticos, tratados como nuevas deidades del solucionismo, se vuelven opacos. Los algoritmos, lo vivimos cuando vemos los extraños funcionamientos de las redes digitales durante estallidos sociales recientes, se vuelven inexplicables excepto para quiénes tienen la palanca: los matemáticos, los informáticos, los dueños del código.
La organización argentina Vía Libre comunicó a principios del mes de mayo que propia Unión Europea considera que la implementación de la inteligencia artificial conlleva algunos riesgos inaceptables, según un borrador de proyecto de regulación que estudia dicho organismo y que pone el acento en ciertos usos de los desarrollos de inteligencia artificial que tienen un impacto directo y violan derechos humanos.
En el documento se determina que deberían prohibirse todos los sistemas que sean generados para manipular la conducta humana, las opiniones y las acciones de las personas que puedan ser utilizadas en su propio detrimento. Agrega, además, a todos los sistemas desarrollados para explotar la información o para predecir las conductas de personas o grupos de forma tal que apuntan directamente a sus vulnerabilidades o circunstancias especiales, manipulando así la forma en la que se comporta una agrupación o individuo.
También el borrador habla de prohibir los sistemas de vigilancia indiscriminada que se apliquen en forma generalizada a todas las personas sin diferenciación alguna. Sistemas que se han comenzado a implementar en el Reino Unido, como se muestra en el documental, y también en ciudades como San Pablo y Buenos Aires, con un éxito poco comprobable.
“El documento filtrado y ampliamente debatido en la Unión Europea en las últimas semanas supone un avance importante a la hora de plantear la necesaria regulación de determinadas aplicaciones de inteligencia artificial que afectan directamente los derechos humanos de las personas. Una mirada ética es indispensable y es fundamental que la misma se integre desde el momento mismo del desarrollo de las tecnologías”, acotan desde Vía Libre.
Buolamwini relata que su deseo de trabajar en tecnología se relacionaba con “poder programar y así alejarme de los problemas del mundo real”. Dice esto al inicio del documental y politiza el código a lo largo de toda la cinta. Da cuenta de que ningún tipo de tecnología o creación está por fuera de los problemas de su cultura. Solo haciendo las preguntas correctas podremos aclarar la exacerbada opacidad y apropiarnos de las tecnologías. En pos de un mundo con códigos justos.
No hay comentarios.:
Publicar un comentario