Supongamos
que tiene acceso a una base de datos con información sobre 12.000 niñas
y mujeres jóvenes de entre 10 y 19 años de edad, que viven en alguna
provincia pobre de Sudamérica. Los datos incluyen edad, vecindario,
etnia, país de origen, nivel educativo de la cabeza de familia,
discapacidades físicas y mentales, número de personas en su hogar y
acceso a agua caliente corriente. ¿Qué conclusiones sacaría de esa base
de datos? O, tal vez la pregunta debería ser: ¿Es deseable llegar a
alguna conclusión? La mayoría de las veces, la simple posibilidad de
extraer grandes cantidades de datos es una excusa suficiente para
"hacerlos hablar" y, peor aún, tomar decisiones basadas en ello.
La
base de datos descrita anteriormente es real. Y es utilizada por las
autoridades públicas para prevenir la deserción escolar y el embarazo
adolescente. "Los algoritmos inteligentes permiten identificar
características en las personas que podrían derivar en alguno de estos
problemas y advierten al gobierno para que puedan trabajar en la
prevención de los mismos"
[1], dijo un representante de Microsoft Azure. La empresa es responsable del sistema de aprendizaje automático (
machine-learning)
utilizado en la Plataforma Tecnológica de Intervención Social, creada
por el Ministerio de la Primera Infancia de la Provincia de Salta,
Argentina.
“Con la tecnología vos podés prever cinco o
seis años antes, con nombre, apellido y domicilio, cuál es la niña,
futura adolescente, que está en un 86% predestinada a tener un embarazo
adolescente” declaró Juan Manuel Urtubey, político conservador y
gobernador de Salta.
[2]
El Ministerio de la Primera Infancia de la provincia trabajó durante
años con la ONG anti-aborto Fundación CONIN para preparar este sistema.
La declaración de Urtubey se hizo en medio de una campaña a favor de la
legalización del aborto en Argentina en 2018, impulsada por un
movimiento social a favor de los derechos sexuales que estaba a la
vanguardia de la discusión pública local y que recibió mucha atención
internacional. La idea de que los algoritmos puedan predecir el
embarazo adolescente es la excusa perfecta para que los activistas
anti-mujeres y anti derechos sexuales y reproductivos declaren
innecesarias las leyes de aborto. Según sus relatos, si se tiene
suficiente información sobre las familias pobres, se pueden aplicar
políticas públicas conservadoras para predecir y evitar los abortos de
las mujeres pobres. Además, existe la creencia de que, "Si es
recomendado por un algoritmo, es matemática, así que debe ser verdadero e
irrefutable".
Es importante señalar que la base de datos
sólo contiene datos sobre mujeres. Este enfoque específico en un sexo
en particular refuerza los roles patriarcales de género y, en última
instancia, culpa a las adolescentes de los embarazos no deseados, como
si un niño pudiera ser concebido sin un espermatozoide.
Por
estas y otras razones, la Plataforma Tecnológica de Intervención Social
ha recibido muchas críticas. Algunos la han llamado una "mentira", una
"alucinación" y una "inteligencia que no piensa", y han dicho que los
datos sensibles de mujeres y niñas pobres están en riesgo.
[3]
El Laboratorio de Inteligencia Artificial Aplicada (LIAA) de la
Universidad de Buenos Aires publicó un análisis técnico muy completo de
las fallas del sistema.
[4]
De acuerdo con LIAA, que analizó la metodología publicada en GitHub por
un ingeniero de Microsoft, los resultados fueron sobrestimados debido a
errores estadísticos en la metodología. También se encontró que la
base de datos estaba sesgada debido a la inevitable sensibilidad de
informar sobre embarazos no deseados y a que las variables eran
inadecuados para hacer predicciones confiables.
A pesar de
ello, la plataforma siguió siendo utilizada. Y lo que es peor, las
malas ideas disfrazadas de innovación se propagaron rápidamente: el
sistema se está desplegando ahora en otras provincias argentinas, como
La Rioja, Tierra del Fuego y Chaco, y se ha exportado a Colombia e
implementado en el municipio de La Guajira.
La Plataforma
Tecnológica de Intervención Social es sólo un ejemplo muy claro de cómo
las soluciones de inteligencia artificial (IA), que según sus ejecutores
son neutrales y objetivas, se han desplegado cada vez más en algunos
países de América Latina para apoyar políticas públicas potencialmente
discriminatorias que socavan los derechos humanos de las personas menos
privilegiadas.
Creemos que una de las principales causas
de estos usos dañinos del aprendizaje automático y otras tecnologías de
IA es la creencia ciega en la propaganda de que el Big Data resolverá
varios problemas candentes a los que se enfrenta la humanidad. En
cambio, proponemos construir una crítica y un marco transfeminista
[5]
que ofrezca no sólo el potencial para analizar los efectos
perjudiciales de la IA, sino también una comprensión proactiva de cómo
imaginar, diseñar y desarrollar una IA emancipatoria que socave las
normas sociales consumistas, misóginas, racistas, de género binario y
heteropatriarcales.
El Big Data: ¿solucionador de problemas o discriminación disfrazada de matemática?
La
IA puede definirse en términos generales como la tecnología que realiza
predicciones en base a la detección automática de patrones de datos.
Al igual que en el caso del gobierno de Salta, muchos Estados del mundo
utilizan cada vez más herramientas de toma de decisiones algorítmicas
para determinar la distribución de bienes y servicios, incluyendo la
educación, los servicios de salud pública, la policía y la vivienda,
entre otros. Por otra parte, los programas de lucha contra la pobreza
están siendo
dataficados por los gobiernos, y se utilizan
algoritmos para determinar los beneficios sociales para los pobres y los
desempleados, convirtiendo "la experiencia vivida de la pobreza y la
vulnerabilidad en datos legibles por máquinas, con efectos tangibles
sobre la vida y los medios de subsistencia de los ciudadanos
implicados".
[6]
Cathy
O'Neil, al analizar los usos de la IA en los Estados Unidos, afirma que
muchos sistemas de IA "tienden a castigar a los pobres". Ella lo
explica:
Esto se debe, en
parte, a que están diseñados para evaluar a un gran número de personas.
Se especializan en volumen, y son baratos. Eso es parte de su
atractivo. Los ricos, por el contrario, a menudo se benefician de
aportaciones personales. Los privilegiados, como veremos una y otra
vez, son procesados más por humanos, las masas por las máquinas.
[7]
Los
sistemas de IA se basan en modelos que son representaciones abstractas,
universalizaciones y simplificaciones de realidades complejas en las
que se omite mucha información a juicio de sus creadores. En este
contexto, la IA reflejará los valores de sus creadores, por lo que
muchos críticos se han concentrado en la necesidad de diversidad e
inclusión.
Pero la diversidad y la inclusión no son
suficientes para crear una IA emancipadora. Si seguimos las ideas de
Marcuse de que "el modo tecnológico de producción es una forma
específica o un conjunto de condiciones que nuestra sociedad ha tomado
entre otras condiciones posibles, y es este modo de producción el que
juega un papel definitivo en moldear las técnicas, así como en la
dirección de su despliegue y proliferación"
[8],
es fundamental sumergirse profundamente en los intereses dominantes de
este proyecto histórico-social. En este sentido, teorías sobre la
justicia de datos han reflexionado sobre la necesidad de conectar
explícitamente una agenda de justicia social con la revolución de los
datos apoyada por algunos Estados, empresas y organismos
internacionales, a fin de lograr la equidad en la forma en que las
personas son vistas y tratadas por el Estado y por el sector privado, o
en conjunto.
Por ejemplo, como plantea Payal Arora, los
discursos en torno al Big Data tienen una connotación abrumadoramente
positiva gracias a la idea neoliberal de que la explotación con fines de
lucro de los datos de los pobres por parte de empresas privadas sólo
beneficiará a la población.
[9]
Esto señala, en muchos sentidos, que dos viejos conocidos, el
capitalismo y el colonialismo, están presentes y sanos cada vez que un
sistema de IA despoja a las personas de su autonomía y las trata "como
meros datos en bruto a ser procesados".
[10] En la misma línea, Couldry y Mejias
[11]
consideran que la apropiación y explotación de los datos para la
creación de valor tiene profundas raíces en el capitalismo y el
colonialismo.
Recientemente, conectando esta crítica a la
de la racialización de ciudadanos y comunidades a través de decisiones
algorítmicas, Safiya Umoja Noble ha acuñado el término "línea roja
tecnológica", que se refiere al proceso de discriminación de datos que
refuerza la desigualdad y la opresión. El término se basa en la práctica
de "línea roja" en los EE.UU. en la que comunidades son
sistemáticamente excluidas de varios servicios, ya sea directamente o a
través de un aumento selectivo de precios en función de su raza:
Creo
que la gente de color lo experimentará cada vez más como una dimensión
fundamental para generar, mantener o profundizar la discriminación
racial, étnica y de género. Este proceso está centralmente ligado a la
distribución de bienes y servicios en la sociedad, como la educación, la
vivienda y otros derechos humanos y civiles, que ahora están a menudo
determinados por un software, o por herramientas algorítmicas de toma de
decisiones, que podrían describirse popularmente como "inteligencia
artificial".
[12]
La
pregunta es hasta qué punto son conscientes de ello los ciudadanos y
las autoridades públicas que compran, desarrollan y utilizan estos
sistemas. El caso de Salta, y muchos otros, nos muestran explícitamente
que la lógica de promover el Big Data como solución a un conjunto
inimaginable de problemas sociales se está exportando a América Latina,
amplificando los desafíos descolonizadores. Esta lógica no sólo
desplaza los intentos de criticar el statu quo en todos los ámbitos de
las relaciones de poder, desde la geopolítica hasta las normas de género
y el capitalismo, sino que también dificulta el mantenimiento y la
promoción de formas de vida alternativas.
IA, pobreza y estigma
"El
futuro es hoy". Ese parece ser el mantra cuando las autoridades
públicas adoptan con entusiasmo las tecnologías digitales sin tener en
cuenta las voces críticas que demuestran sus efectos potencialmente
discriminatorios. En los últimos años, por ejemplo, el uso de Big Data
para la vigilancia policial predictiva parece ser una tendencia popular
en América Latina. El modelo más común es la construcción de mapas
predictivos de delincuencia, pero también se han realizado esfuerzos
para desarrollar modelos predictivos de probables autores de delitos.
La
misma lógica detrás de la vigilancia predictiva se encuentra en los
sistemas de IA contra la pobreza que recopilan datos para predecir los
riesgos sociales y desplegar programas gubernamentales. Como hemos
visto, este es el caso de la Plataforma Tecnológica de Intervención
Social; pero también está presente en sistemas como Alerta Infancia en
Chile. Una vez más, en este sistema, las predicciones de datos se
aplican a los menores en las comunidades pobres. El sistema asigna
puntajes de riesgo a las comunidades, generando alertas de protección
automatizadas, que permiten intervenciones "preventivas". Según
información oficial, esta plataforma define el índice de riesgo por
factores como el embarazo adolescente, el consumo problemático de
alcohol y/o drogas, la delincuencia, las enfermedades psiquiátricas
crónicas, el trabajo infantil y la explotación sexual comercial, el
maltrato o abuso y la deserción escolar. Entre muchas críticas al
sistema, los grupos de la sociedad civil que trabajan por los derechos
de la infancia declararon que, más allá de la vigilancia, el sistema
"constituye la imposición de una determinada forma de normatividad
sociocultural", asimismo "validando socialmente formas de
estigmatización, discriminación e incluso criminalización de la
diversidad cultural existente en Chile". Esto afecta especialmente a
pueblos originarios, migrantes y personas de bajos ingresos, ignorando
que la creciente diversidad cultural “demanda una mayor sensibilidad,
visibilidad y respeto, así como la inclusión de enfoques con pertinencia
cultural a las políticas públicas.
[13]
Existen
al menos tres características comunes en estos sistemas utilizados en
América Latina que son especialmente preocupantes por su potencial para
aumentar la injusticia social en la región: una es la identidad forzada
sobre los individuos y las poblaciones pobres. Esta cuantificación del
yo, de los cuerpos (entendidos como construidos socialmente) y de las
comunidades no deja cabida para la renegociación. En otras palabras, la
dataficación sustituye la "identidad social" por la "identidad del
sistema".
[14]
En
relación con este punto, hay una segunda característica que refuerza la
injusticia social: la falta de transparencia y de rendición de cuentas
de estos sistemas. Ninguno ha sido desarrollado a través de procesos
participativos de ningún tipo, ya sea incluyendo a especialistas o, lo
que es más importante, a las comunidades afectadas. En cambio, los
sistemas de IA parecen reforzar las políticas públicas verticales de los
gobiernos que convierten a las personas en ‘beneficiarios’ o
‘consumidores’: "Así como Hacking se refería a 'constituir personas' por
medio de la clasificación, la dataficación 'hace' a los beneficiarios a
través de categorías censales que se cristalizan en los datos,
volviéndolos susceptibles al control vertical”.
[15]
¿Por qué un marco transfeminista?
Como
hemos visto en los ejemplos de uso de este tipo de tecnologías, algunos
programas gubernamentales contra la pobreza en América Latina reflejan
un marco de pensamiento positivista, según el cual se podría comprender
mejor y cambiar la realidad para siempre si se pudiese cuantificar cada
aspecto de nuestra vida. Esta lógica también promueve la visión de que
el ser humano debe buscar el "progreso", entendido como sinónimo de
aumento de la producción y el consumo, y que finalmente significa
explotación de los cuerpos y territorios.
Todas estas
cifras y métricas sobre la vida de las personas menos privilegiadas se
recogen, compilan y analizan bajo la lógica de la "productividad" para,
en última instancia, sostener el capitalismo, el heteropatriarcado, la
supremacía blanca y el colonialismo.
Es necesario tomar
conciencia de cómo creamos enfoques metodológicos para el procesamiento
de datos de manera que desafíen estos marcos positivistas de análisis y
el dominio de métodos cuantitativos que parecen estar adquiriendo un
enfoque fundamental en el actual desarrollo e implementación de
algoritmos y procesos de toma de decisiones automatizadas.
Más
allá incluso de un marco de derechos humanos, los enfoques decoloniales
y transfeministas de las tecnologías son grandes herramientas para
visualizar futuros alternativos y derribar la lógica prevaleciente en la
que se están desplegando los sistemas de IA. Los valores
transfeministas deben ser incorporados en estos sistemas, para que los
avances en el desarrollo de la tecnología nos ayuden a entender y
desmantelar lo que la feminista negra Patricia Hill Collins llama la
"matriz de dominación "
[16]
(reconocer las diferentes capas de opresión causadas por la raza, la
clase, el género, la religión y otros aspectos de interseccionalidad).
Esto nos conducirá hacia un futuro que promueva y proteja no sólo los
derechos humanos, sino también la justicia social y ambiental, porque
ambos están en el centro de las teorías feministas decoloniales.
Reimaginando el futuro
Para llevar a la práctica este enfoque feminista, en Coding Rights, en asociación con Co-Design Studio del MIT,
[17] hemos estado experimentando con un juego que llamamos el “Oráculo para futuros transfeministas”.
[18]
A través de talleres, hemos estado reflexionando colectivamente sobre
qué tipo de valores transfeministas nos inspirarán y nos ayudarán a
visualizar futuros especulativos.
En los talleres
surgieron propuestas tangibles de cambio para el presente una vez que
nos permitimos imaginar el futuro. Con el tiempo, surgieron valores
como agencia, rendición de cuentas, autonomía, justicia social,
identidades no binarias, cooperación, descentralización, consentimiento,
diversidad, decolonialidad, empatía, seguridad, entre otros.
Analizar
sólo uno o dos de estos valores combinados nos da una herramienta para
evaluar cómo se clasifica un proyecto de IA o su despliegue en un marco
feminista decolonial de valores. A partir de ahí podemos proponer
tecnologías o prácticas alternativas que sean más coherentes con el
presente y el futuro que queremos ver.
(Traducción ALAI)
Paz Peña es consultora independiente sobre tecnología, género y derechos humanos.
www.pazpena.com
Joana Varon
es la directora ejecutiva de Coding Rights y está vinculada al Berkman
Klein Center for Internet and Society de la Universidad de Harvard.
www.codingrights.org
[1]
Microsoft. (2018, 2 April). Avanza el uso de la Inteligencia Artificial
en la Argentina con experiencias en el sector público, privado y ONGs.
News Center Microsoft Latinoamérica. https://bit.ly/33ogCXz
[3] Sternik, I. (2018, 20 A(Traducción ALAI)pril). Op. cit.
[4] Laboratorio de Inteligencia Artificial Aplicada. (2018).
Sobre la predicción automática de embarazos adolescentes.
https://bit.ly/2rfRLah
[5]
Nos referimos al transfeminismo como una herramienta epistemológica
que, como reconoce Sayak Valencia, tiene como objetivo principal
repolitizar y desesencializar los movimientos feministas globales que
han sido utilizados para legitimar políticas de exclusión por motivos de
género, migración, mestizaje, raza y clase. Ver Valencia, S. (2018). El
transfeminismo no es un generismo.
Pléyade (Santiago), 22, 27-43.
[6] Masiero, S., & Das, S. (2019). Datafying anti-poverty programmes: implications for data justice.
Information, Communication & Society,
22(7), 916-933.
[7] O'Neil, C. (2016).
Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown.
[9] Arora, P. (2016). The Bottom of the Data Pyramid: Big Data and the Global South.
International Journal of Communication, 10, 1681-1699.
[11] Couldry, N., & Mejias, U. (2019). Data colonialism: rethinking big data’s relation to the contemporary subject.
Television and New Media, 20(4), 336-349.
[12] Bulut, E. (2018). Interview with Safiya U. Noble: Algorithms of Oppression, Gender and Race.
Moment Journal, 5(2), 294-301.
https://bit.ly/33szyEM
[13]
Sociedad Civil de Chile Defensora de los Derechos Humanos del Niño et
al. (2019, 28 enero). Día Internacional de la protección de datos. Carta
abierta de la Sociedad Civil de Chile Defensora de los Derechos Humanos
del Niño.
ONG Emprender con Alas.
https://bit.ly/2pRs8MP
[14] Arora, P. (2016). Op. cit.
[15] Masiero, S., & Das, S. (2019). Op. cit.
[16] Collins, P. H. (2000).
Black Feminist Thought: Knowledge, Consciousness, and the Politics of Empowerment. New York: Routledge.
