“Las prácticas clásicas en ciencia de datos fomentan el sexismo. El feminismo de datos lo combate”

 pikaramagazine.com

SINC

Los algoritmos de inteligencia artificial y big data fomentan el machismo, el racismo y el clasismo, asegura Catherine D’Ignazio, profesora de Ciencia y Planificación Urbana en el MIT y una hacker con el apodo de kanarinka. En su libro ‘Data Feminism’ ofrece pautas para desvelar y contrarrestar estos sesgos discriminatorios.

Entrevista de Ana Hernando para la agencia SINC.

Catherine D’Ignazio. / Foto: Diana Levine (MIT)

Catherine D’Ignazio (Chapel Hill, Carolina del Norte) es profesora de Ciencia y Planificación Urbana en el Instituto Tecnológico de Massachusetts (MIT). También dirige el Data + Feminism Lab, que utiliza datos y métodos computacionales para trabajar por la igualdad de género. Se define como académica, artista visual y desarrolladora de software y es conocida con el apodo de kanarinka en los hakathons feministas que organiza.

D’Ignazio, que vivió durante un tiempo en Barcelona cuando era estudiante de secundaria, ha escrito, junto a Lauren Klein, directora de Digital Humanities Lab en la Universidad de Emory, el libro Data Feminism, publicado este año. Las autoras consideran fundamental reconocer los sesgos de género —y también los de racismo, clasismo y discriminación de minorías— de los algoritmos usados masivamente en las aplicaciones de inteligencia artificial y en big data. Además, subrayan la necesidad de entender estos sesgos técnicamente para así introducir medidas que los contrarresten.

¿Qué es el feminismo de datos y para qué sirve?

Es una forma de reflexionar sobre los datos, tanto en lo que se refiere a sus usos como a sus limitaciones. Está fundamentado en la experiencia directa, el compromiso para la acción y el pensamiento feminista interseccional. El punto de partida es algo que generalmente no se reconoce en la ciencia de datos: que el poder no está distribuido equitativamente en el mundo, ya que quienes lo ejercen son, desproporcionadamente, hombres blancos con acceso a la educación, heterosexuales y del norte. El trabajo del feminismo de datos consiste, en primer lugar, en examinar cómo las prácticas estándar en ciencia de datos sirven para reforzar estas desigualdades existentes, que se traducen en sexismo, pero también en racismo, clasismo y discriminación de minorías. Y, en segundo lugar, utilizar esta misma ciencia para desafiar y cambiar esta distribución de poder y luchar contra la discriminación en sus distintas variantes.

«Hay sistemas de detección de rostros que no reconocen a las mujeres negras, algoritmos que degradan a las mujeres», @kanarinka Clic para tuitear

¿Cuáles son los principales sesgos discriminatorios que habéis encontrado?
Vemos el feminismo de datos como parte de un creciente cuerpo de trabajo que responsabiliza a los actores corporativos y gubernamentales por sus productos de datos racistas, sexistas y clasistas. Por ejemplo, hemos encontrado sistemas de detección de rostros que no reconocen a las mujeres negras, algoritmos que degradan a las mujeres, algoritmos de búsqueda que hacen circular estereotipos negativos sobre las niñas negras, algoritmos de detección de abuso infantil que castigan a los padres de bajos recursos, visualizaciones de datos que refuerzan el binarismo de género. Todo esto y mucho más.

Claramente hay ganadores y perdedores en el ámbito de los datos.
Sí, claro, como decía, quienes pierden son desproporcionadamente mujeres, personas negras, indígenas y otros grupos marginados, como personas trans, no binarias y las personas pobres. Algo que igualmente puede considerarse como una pérdida es lo que llamamos missing data, es decir, todos aquellos datos que pueden ser importantes y no se están recogiendo. En el libro describimos el ejemplo de los datos sobre los feminicidios y denunciamos que los gobiernos no recolectan datos exhaustivos para entender el problema e implementar soluciones políticas para acabar con esta lacra. Otros ejemplos de missing data son los datos de mortalidad materna, que solo se han comenzado a recoger recientemente, y los de acoso sexual. Además, no olvidemos que gran parte de nuestro conocimiento médico y de salud procede datos de investigaciones que se basan casi únicamente en el cuerpo masculino.

Portada del libro ‘Data Feminism’.

En vuestro libro utilizáis el término Big Dick Data [‘dick’ es ‘pene’ en argot popular y la expresión se podría traducir como ‘datos de quién la tiene más grande’]. ¿Nos puedes explicar su significado?
Es una crítica del machismo oculto en la mayoría de las narrativas en torno al big data. Las descripciones de proyectos en este ámbito se caracterizan por fantasías masculinas y totalizadoras de dominación mundial que se llevan a cabo mediante la captura y el análisis de datos. Así, los proyectos de Big Dick Data ignoran el contexto de los datos, fetichizan el tamaño de la base de datos e inflan sus capacidades técnicas y científicas, normalmente con ánimo de lucro, poder o ambos.

«Los datos de criminalidad en Estados Unidos están corrompidos por el racismo», @kanarinka Clic para tuitear

Los algoritmos de machine learning se alimentan de datos históricos que perpetúan prejuicios, no solo en cuestiones de género. Por ejemplo, muchos estudios de criminalidad en Estados Unidos apuntan a que las personas afroamericanas tienen más probabilidades de cometer delitos.
Como te decía, en el feminismo de datos dejamos espacio para una posición de rechazo de los datos y su uso en ciertas situaciones. Respecto a los datos de criminalidad en Estados Unidos, por ejemplo, opino que tendríamos que desechar su uso enteramente porque están corrompidos por el racismo. Después de siglos de encarcelar desproporcionadamente a afrodescendientes e indígenas, no podemos usar esos registros para predecir quién debería ser puesto en libertad bajo fianza e imaginar de alguna manera que los algoritmos van a ser neutrales. Repito: estos datos han sido corrompidos por siglos de supremacía blanca y deben ser rechazados, esa es mi opinión.

¿Cómo se cambia esa narrativa?
El cambio narrativo que necesitamos tiene que ver con dejar espacio para esta posición de rechazo en el diálogo público y en las políticas. Hay algunas tecnologías que no deberían construirse. Hay algunos datos que no deben usarse.

¿Podría lograrse la neutralidad de los datos?
No, los datos no serán neutrales jamás porque nunca son datos ‘crudos’. Están producidos por seres humanos que vienen de lugares determinados, tienen sus propias identidades, sus historias particulares y que trabajan en instituciones concretas. Pero eso no significa que los datos no puedan ser útiles. Solo que tenemos que usarlos con los ojos abiertos. Y hacernos las preguntas adecuadas: ¿quién se beneficia?, ¿a quién se perjudica?, ¿quién hace el trabajo?, ¿quién recibe el crédito?

«Los datos no serán neutrales jamás, pero eso no significa que no puedan ser útiles», @kanarinka Clic para tuitear

En el momento que vivimos, ¿qué valoración haces del manejo de datos en la pandemia?
Aquí, en Estados Unidos, está siendo terrible. Te pongo un ejemplo. Al comienzo de la pandemia ,[el presidente, Donald] Trump expresó su deseo de no permitir que atracara un crucero con pasajeros afectados por la Covid-19. Sus palabras fueron: “Me gusta que los números estén donde están. No necesito que se dupliquen por un barco que no es nuestra responsabilidad”. Otras agencias gubernamentales están también implicadas en esta subestimación deliberada. Durante once semanas, de marzo a mayo, los CDC [Centros para el Control y la Prevención de Enfermedades] no publicaron datos sobre cuántas personas estaban siendo testadas para detectar el virus. En cierto momento, se publicó silenciosamente un nuevo sitio web de los CDC que realizaba un seguimiento de las pruebas nacionales. Sin embargo, según una verificación independiente de The Atlantic, las cifras no coincidían con las que reportaban los propios estados. Ahora, la responsabilidad de monitorear los datos de la Covid-19 se ha trasladado al departamento de Salud y Servicios Humanos [HHS] por razones políticas.

Suena todo bastante desastroso.
Pues sí. Y además los detalles demográficos sobre las muertes por coronavirus tampoco se reportan. Sabemos que los hombres mueren en proporciones más altas que las mujeres. También, que las comunidades negras, indígenas y latinas son las más afectadas. Pero los estados no están rastreando de manera fiable cuestiones como el género o la raza en los casos de Covid-19. Y, si se hace, se categoriza a las poblaciones nativas como ‘otros’, lo que hace imposible desagregar los efectos racializados de la enfermedad en las personas indígenas. Es todo un gran desastre.

‘Prejuicio cifrado’ (y por qué tenemos que verla)

 pikaramagazine.com

Florencia Goldsman

La inteligencia artificial es el horizonte de las soluciones tecnológicas para un mundo castigado por una gripe pandémica. El documental ‘Prejuicio Cifrado’ (‘Coded Bias’) pone en escena de manera situada las graves implicaciones de ciertos “avances” tecnológicos que atestiguamos en esta era.

Cartel del documental.

Joy Buolamwini, informática y activista digital ghanesa-estadounidense, inquiere en el documental Prejuicio Cifrado (Coded Bias),de Netflix, si acaso no es una mujer. Su pregunta va dirigida a quienes están por detrás de las máquinas que prometen darnos tecno-soluciones con inteligencia artificial.

Su pregunta, además de ser una actualización del crudo alegato de Sojourner Truth, la abolicionista emblema de los movimientos de mujeres afrodescendientes al reclamar “¿no soy yo una mujer?” en 1851 durante la Convención de los derechos de la mujer de Ohio, es un resorte para cuestionar y comprender los dictados que se nos presentan cerrados e incuestionables.

Hoy se anuncian algoritmos como dulces soluciones para los problemas más peliagudos de la vida en sociedad. Por suerte tenemos el beneficio de la duda y podemos sospechar que bajo los mecanismos propuestos para el control del delito, la aceptación o el rechazo de personas para puestos de trabajo, la evaluación de planteles docentes, nuestros matches para citarnos con alguien o la posibilidad de cruzar una frontera se esconde una manera conocida (automatizada y peligrosa) de hacer las cosas.

En el filme todo comienza con la protagonista ingresando en el Instituto de Tecnología de Massachusetts (MIT), el Mit Media Lab, centro académico soñado para quienes se dedican a proyectos que cruzan componentes tecnológicos, educativos, multimedia.

Buolamwini da inicio a la trama contando su proyecto sci-fi-feminista de construir un “espejo inspirador”, el Aspire. Dicho espejo trabajaría la noción de “visión artificial” superponiendo en el rostro de su creadora las caras de ancestras y mujeres negras como Serena Williams o Angela Davis, entre otras. La intención es fundir las imágenes con la cara de la persona frente al espejo y darle a la usuaria un impulso creativo diario.

Sin embargo la cámara no reconoce el rostro de la creadora. Tras variadas pruebas la científica afronorteamericana decide colocarse una máscara blanca. ¡Zas!, el milagro acontece. A partir de ahí se dedica a investigar por qué tanto hardwares (cámaras y aparatos periféricos) como softwares (programas de aprendizaje automatizado para el reconocimiento facial) erran constantemente ante la identificación de las personas con mayor presencia de melanina en sangre.

Su tarea de investigación da entonces un vuelco y se dedica a explicar, junto a otras activistas e investigadoras del resto del mundo, el potencial destructor de dicho error de programación una vez aplicado a los planes de control social.

En su investigación, Buolamwini prueba más de 1200 imágenes por el software de reconocimiento facial de numerosas grandes empresas tecnológicas, como IBM Watson, Google, Microsoft, Face++ y Amazon. Confirma que de manera reiterada este tipo de software no puede identificar a las personas de piel oscura porque las complexiones oscuras están subrepresentadas en las bases de datos que se utilizan para probar la tecnología.

Con esto la película introduce preguntas vitales para los movimientos feministas: quiénes y cómo somos identificadas y de qué manera somos reflejadas. Cuestionamientos de particular peso si somos mujeres racializadas, trans, migrantes, empobrecidas. El filme pone en evidencia un debate caliente: si estas tecnologías están siendo implementadas por las fuerzas policíacas y militares en el mundo, así como por el poder judicial, autoridades migratorias y también por las empresas de recursos humanos de países centrales, ¿adivinan?, ¡estamos en problemas!

Discriminación algorítmica

En una de las provincias del noroeste de Argentina, el por entonces gobernador se jactaba de contar con una tecnología capaz de “prever cinco o seis años antes, con nombre, apellido y domicilio, cuál es la niña, futura adolescente, que está en un 86 por ciento predestinada a tener un embarazo adolescente”. Las polémicas atribuciones se hacían mientras la campaña por el aborto legal, seguro y gratuito avanzaba a pasos firmes en el país. La lluvia de críticas arreció. Se criticó el sesgo de la base de datos a la que el Gobierno había accedido: niñas y adolescentes con posibilidad de quedar embarazadas muchas veces producto de violaciones o porque carecen de acceso a una educación sexual integral.

Son variados los casos en que las aplicaciones con base matemática que impulsan la economía de los datos, así como los desarrollos basados en machine learning, reclaman el estatus de neutralidad y objetividad. No obstante para las investigadoras Paz Peña y Joana Varón, casos como el de citado de Salta demuestran que no toda base de datos tiene que ser forzada a “hablar” sin tener antes la agenda de justicia social como premisa. ¿Cómo se obtuvieron esos datos? Y ¿qué implica que estos datos sean manipulados por gobiernos conservadores en el contexto de una lucha regional por el derecho a abortar?

El continente latinoamericano tiene sobrada y dolorosa experiencia sobre la implementación de soluciones foráneas (ver el caso de Perú), muchas veces recomendadas por Estados Unidos, entre otros países del norte global, acerca de cómo delinear políticas poblacionales. Los programas para combatir la pobreza se actualizan hoy con la dataficación extendida por parte de gobiernos locales que negocian con gigantes como Microsoft el otorgamiento de beneficios sociales o las políticas de prevención de embarazos no deseados. Y eso es una manifestación actualizada del ya conocido modelo colonial.

Coded Bias muestra la manera en que las comunidades pobres son las cobayas para los laboratorios de etiquetado de poblaciones, espacios en los que se observa poco respeto a sus derechos más básicos Clic para tuitear

Mirar la inteligencia artificial con lentes periféricas

El documental, dirigido por Shalini Kantayya, cuenta con mayoría de voces de mujeres investigadoras de la ciencia, la computación y las matemáticas. Esta característica abre un abismo con el ya discutido documental El dilema de las redes sociales, que si bien aborda una temática familiar, carecía de voces de mujeres racializadas u otras identidades que no fueran las voces heterocentradas, blancas y monopólicas de las tecnologías.

La presencia de Catherine (“Cathy”) O’Neil, una matemática estadounidense autora de varios libros sobre ciencia de datos, entre los que se incluye Weapons of Math Destruction (Armas de destrucción matemática), señala además el derrotero que enfrentan las mujeres en espacios académicos o de poder en donde históricamente predomina la hegemonía de los hombres blancos.

Esta pertenencia a lo periférico quizás permite la apertura de preguntas incómodas. Así como señala Virginia Eubanks, profesora de Ciencia Política de la Universidad de Albany, en coincidencia con una idea central de O’Neill: las herramientas de vigilancia, en especial las que usan softwares de inteligencia artificial, tienden a castigar a los sectores empobrecidos de la población. Esto es resultado de estar diseñadas para evaluar a un gran número de personas. Su especialidad es la cantidad y brindar soluciones a bajo precio. Mientras los sectores ricos de la población se caracterizan por un tratamiento que sigue siendo hasta hoy, en gran medida, personalizado.

Coded Bias muestra la manera en que las comunidades pobres son las cobayas para los laboratorios de etiquetado de poblaciones, espacios en los que se observa poco respeto a sus derechos más básicos. Hecho el test, las tecnologías se extienden hacia otras comunidades.

Preguntas desde el sur sobre el racismo mecanizado

Coded Bias nos impulsa a cuestionar: si los datos son nuestro destino ¿qué debemos tener en cuenta para criticar el modelo que se nos impone? Las bases de datos son la fuente predilecta del desarrollo de procesos de inteligencia artificial, pues esta se define en términos generales como una tecnología que realiza predicciones en función de la detección automática de patrones que aparecen en los datasets.

Para empezar a desandar su complejidad, resaltemos que los datos que se utilizan suelen provenir de informaciones históricas y utilizados para hacer predicciones, y que ocasionan un posible reforzamiento de los prejuicios que ya conocemos, como muestra la película.

Como señalamos en una entrega anterior de Periférikas en la que alertábamos sobre el uso de estas tecnologías para controlar el flujo migratorio: ejecutar sistemas biométricos en fronteras y pasaportes implica que el Estado detenta un monopolio sobre el movimiento de las personas. La biometrización de los controles de flujo migratorio y de los controles identitarios contribuye con la creación un mundo de vigilancia en el cual las personas no son libres de escapar. Alerta: la simple concentración de grandes cantidades de datos personales pone en riesgo la privacidad de las personas migrantes, en caso de que ocurra una filtración o que las bases sean atacadas.

Así el documental desliza la idea de que el sistema racista, articulado a escala individual, también puede verse como un modelo de predicción, un murmullo que intenta dar respuestas a la falta de empleo y a la desigualdad extendida en todo el mundo.

El racismo, como respuesta organizada, como base de datos histórica se construye a partir de informaciones defectuosas, incompletas o generalizadas. Ya sean originados en la experiencia o en los rumores, los datos señalarían que ciertos tipos de personas se habrían comportado mal en algún momento de sus vidas, según alguien o algo. Eso, aplicado a un algoritmo programado desde un sesgo racista, genera la predicción binaria de que todas las personas de esa raza o etnia se comportarán de la misma manera.

Desarrollos cien por cien falibles

Una premisa fundamental es que la economía de la datificación y los desarrollos de inteligencia artificial, por más aspiraciones de objetividad que presenten, se siguen basando en decisiones tomadas por personas, absolutamente falibles.

Si bien las bases de la inteligencia artificial, como las de la ciencia en general, son un aporte para la humanidad, muchos de los modelos basados en automatización del aprendizaje han codificado los malentendidos y los prejuicios humanos en los sistemas de software que administran cada día más nuestras vidas. Los modelos matemáticos, tratados como nuevas deidades del solucionismo, se vuelven opacos. Los algoritmos, lo vivimos cuando vemos los extraños funcionamientos de las redes digitales durante estallidos sociales recientes, se vuelven inexplicables excepto para quiénes tienen la palanca: los matemáticos, los informáticos, los dueños del código.

La organización argentina Vía Libre comunicó a principios del mes de mayo que propia Unión Europea considera que la implementación de la inteligencia artificial conlleva algunos riesgos inaceptables, según un borrador de proyecto de regulación que estudia dicho organismo y que pone el acento en ciertos usos de los desarrollos de inteligencia artificial que tienen un impacto directo y violan derechos humanos.

En el documento se determina que deberían prohibirse todos los sistemas que sean generados para manipular la conducta humana, las opiniones y las acciones de las personas que puedan ser utilizadas en su propio detrimento. Agrega, además, a todos los sistemas desarrollados para explotar la información o para predecir las conductas de personas o grupos de forma tal que apuntan directamente a sus vulnerabilidades o circunstancias especiales, manipulando así la forma en la que se comporta una agrupación o individuo.

También el borrador habla de prohibir los sistemas de vigilancia indiscriminada que se apliquen en forma generalizada a todas las personas sin diferenciación alguna. Sistemas que se han comenzado a implementar en el Reino Unido, como se muestra en el documental, y también en ciudades como San Pablo y Buenos Aires, con un éxito poco comprobable.

“El documento filtrado y ampliamente debatido en la Unión Europea en las últimas semanas supone un avance importante a la hora de plantear la necesaria regulación de determinadas aplicaciones de inteligencia artificial que afectan directamente los derechos humanos de las personas. Una mirada ética es indispensable y es fundamental que la misma se integre desde el momento mismo del desarrollo de las tecnologías”, acotan desde Vía Libre.

Buolamwini relata que su deseo de trabajar en tecnología se relacionaba con “poder programar y así alejarme de los problemas del mundo real”. Dice esto al inicio del documental y politiza el código a lo largo de toda la cinta. Da cuenta de que ningún tipo de tecnología o creación está por fuera de los problemas de su cultura. Solo haciendo las preguntas correctas podremos aclarar la exacerbada opacidad y apropiarnos de las tecnologías. En pos de un mundo con códigos justos.