Este tipo de tecnología se ha convertido en una herramienta de construcción de otredad que refuerza el lugar de privilegio de lo blanco.
Ilustración: Sra. Milton
Cuando nos hablan de inteligencia artificial la mayoría de nosotras quizás piense en coches automatizados, aplicaciones móviles, mapas en línea o en Siri y en Alexa. Lo cierto es que pocas personas la relacionan con cuestiones vinculadas al acceso a determinados derechos o con la reproducción de desigualdades sociales.
Esto se debe al relato oficial que sitúa la inteligencia artificial como un sistema matemático neutral, aséptico, sin ideología ni punto de vista. Sin embargo, este argumento se cae cuando pensamos en una obviedad: los algoritmos no se crean por generación espontánea. Existe una persona que lo desarrolla y “entrena”, alguien que decide qué datos selecciona y cuáles descarta.
Imaginemos, por ejemplo, un algoritmo para predecir perfiles de potenciales delincuentes. Si la persona que lo desarrolla toma en cuenta únicamente delitos menores como robos, hurtos o tráfico de estupefacientes, obtendrá un perfil muy concreto. ¿Pero qué pasaría si se incluyeran también aquellos delitos denominados de cuello blanco, como malversación de fondos públicos, blanqueo de capitales o evasión de impuestos? En este segundo caso, es muy probable que el perfil elaborado por el algoritmo incluya a hombres blancos de clase media o alta, con estudios superiores y residentes en barrios acomodados.
El problema es que los desarrolladores de algoritmos suelen ser precisamente hombres blancos de clase media o alta, formados en las mismas universidades, residentes de los mismos barrios, etc., y por tanto es muy poco factible que contemos algún día con un algoritmo de este tipo.
Por lo mismo, lo que suele ocurrir es que se desarrollen herramientas como PredPol, más conocida como “policía predictiva”, un software que “predice” dónde y cuándo se cometerá un delito y que en las ciudades de Estados Unidos donde se implementa ha provocado una sobre presencia policial en barrios de personas latinas y negras.
El sesgo algorítmico
¿Por qué PredPol termina provocando discriminación racial? Porque sus diseñadores decidieron tomar en cuenta algunas variables y dejar de lado otras. Por ejemplo, optaron por entrenar el algoritmo con bases de datos de delitos históricos sin considerar que los delitos menores se denuncian de forma desproporcionada con relación a los delitos de cuello blanco. También decidieron incluir la variable de la ubicación, algo que está directamente relacionado con el factor étnico-racial puesto que las poblaciones racializadas se suelen concentrar en zonas geográficas específicas.
El sesgo de PredPol es lo que se conoce como “sesgo algorítmico”, que ocurre cuando un sistema informático refleja los valores, prejuicios y puntos de vista de quienes participan en el proceso de diseño de un algoritmo.
En el Estado español desde 2018 la Policía Nacional dispone en todas sus comisarías de la herramienta VeriPol, un algoritmo diseñado para detectar denuncias falsas de robos y hurtos, cuyo objetivo es ahorrar tiempo de investigación y evitar fraudes contra seguros.
Dicho así, suena bien. Sin embargo, VeriPol tiene por lo menos dos aspectos cuestionables. Primero, se entrenó con una base de datos de 1.122 denuncias de robos y hurtos interpuestas en 2015, que un policía se encargó de clasificar como verdaderas o falsas basándose en sus años de trabajo y experiencia en interrogatorios. De esta forma, las denuncias que se analizan con el algoritmo de VeriPol en realidad son analizadas bajo el prisma del policía que clasificó ese conjunto de denuncias en el que se basa este algoritmo. Por tanto, VeriPol no predice una denuncia falsa, sino el sesgo del policía que determinó qué es una denuncia falsa.
En segundo lugar, este algoritmo incluye la variable del lenguaje empleado por las personas denunciantes, cuestión que también resulta conflictiva no solo porque los agentes redactan las denuncias con sus propias palabras (no de forma literal) -lo que ya implica un filtro sesgado de la denuncia-, sino porque el algoritmo podría clasificar una denuncia como falsa solo por el hecho de utilizar determinadas palabras, sin tomar en cuenta los aspectos socioculturales del lenguaje. ¿Qué pasa con las personas extranjeras cuyo idioma principal no es el castellano?, ¿o con las personas provenientes de América Latina que hablan un castellano diferente al de España?
El problema del sesgo algorítmico es de larga data. Ya en la década de los años 80 la Comisión de Igualdad Racial de Reino Unido acusó a la Escuela de Medicina de St. George de discriminar por sexo y raza en sus pruebas de admisión tras conocerse que utilizaban un programa informático que analizaba el nombre y lugar de nacimiento de las personas postulantes, lo que dejó fuera a mujeres y hombres de origen no europeo durante años.
Otra herramienta de inteligencia artificial que lleva mucho tiempo poniéndose en tela de juicio son los algoritmos de reconocimiento facial. Diversos estudios demuestran que la mayoría de estos arrojan un porcentaje muy alto de error en rostros de personas no caucásicas, produciendo falsos positivos (identifica las imágenes de dos personas diferentes como si fueran una) y falsos negativos (identifica dos imágenes de la misma persona como si tratara de personas diferentes).
Sin embargo, y a pesar de las evidencias, el reconocimiento facial es una tecnología ampliamente utilizada. De hecho, formará parte de las herramientas que se incluirán en la llamada “frontera inteligente” que se pondrá en marcha este año por el Gobierno de Pedro Sánchez en los pasos fronterizos de Ceuta y Melilla. El objetivo es, según el Ejecutivo, agilizar las respuestas a las peticiones de asilo y “luchar contra el terrorismo”. No hace falta explicar que esto supondrá una nueva vulneración de derechos de las personas migrantes, que serán criminalizadas, marcadas como sospechosas y a quienes se violará el derecho a la protección de sus datos personales que sí se respeta en el resto de la población.
La inteligencia artificial racializa
Pero el problema con la inteligencia artificial va mucho más allá del sesgo algorítmico. La cuestión de fondo es que toda esta tecnología se piensa, desarrolla e implementa en un marco de racismo estructural que es parte constituyente del sistema-mundo y que, por tanto, perpetúa patrones históricos de poder.
En este sentido, la relación entre inteligencia artificial y racismo es mucho más estrecha de lo que se cree. Si tomamos en cuenta que la racialización es el proceso mediante el cual se nos asignan características y cualidades favorables o desfavorables con base en la categoría étnico-racial con la que se nos identifica (persona negra, gitana, blanca, latina, indígena, asiática, árabe), y que, por otro lado, la inteligencia artificial hace desaparecer a la persona real reemplazándola por un conjunto de atribuciones positivas o negativas según datos que son producto de una marginación y criminalización históricas, podemos afirmar que la inteligencia artificial actúa en la sociedad como un mecanismo más de racialización.
Este tipo de tecnologías reproducen y amplifican las desigualdades sociales desde el momento en que se convierten en una herramienta de construcción de otredad que refuerza el lugar de privilegio de lo blanco. Y ya sabemos cómo la construcción de una jerarquía étnico-racial de superioridad versus inferioridad sirve de excusa para justificar una posición subordinada en términos políticos, sociales, culturales y epistémicos de las poblaciones no blancas, así como distintas formas de violencia y explotación.
A esto se suma el hecho de que el uso excesivo de la tecnología en las administraciones públicas impone barreras administrativas y técnicas que afectan a segmentos demográficos que ya están en situación de vulnerabilidad -como solicitantes de asilo o personas que no manejan el idioma- quienes se deben enfrentar a formularios y aplicaciones tecnológicas imposibles cuando intentan acceder a un derecho o realizar cualquier tipo de solicitud.
Marco regulatorio europeo y rol de la AESIA
En este marco de digitalización imparable de la sociedad, aunque también de críticas hacia las consecuencias sociales negativas de este tecnofetichismo, la Unión Europea (UE) presentó el año pasado una propuesta de ley de inteligencia artificial con la que pretende impulsar el campo del desarrollo en este ámbito a escala europea, además de sentar las bases regulatorias para su desarrollo y uso.
En el texto de la propuesta se clasifican los algoritmos en función de su riesgo para el respeto de derechos fundamentales como la privacidad y la no discriminación. Así, el documento señala que la tecnología de reconocimiento facial representa un “riesgo inadmisible” que se debería prohibir, sin embargo, hace una excepción en aquellos casos de seguridad nacional como la lucha contra el terrorismo. Por otro lado, la propuesta tampoco hace ninguna referencia al uso de tecnologías de vigilancia en fronteras ni a los sistemas predictivos en el contexto migratorio. De este modo, la UE ignora una vez más la violación de derechos fundamentales cuando las personas afectadas son migrantes, racializadas y solicitantes de asilo
Las enmiendas a la propuesta legislativa y su aprobación final están previstas para comienzos de 2023. Mientras tanto, debemos estar pendientes del papel que jugará en el contexto español la Agencia Española de Supervisión de Inteligencia Artificial (AESIA). Anunciada en 2021, y cuyo proceso de creación sigue en marcha, esta agencia debería velar para que el uso de la inteligencia artificial no afecte particularmente a colectivos en situación de vulnerabilidad, tal como han demandado diversas organizaciones y entidades que trabajan por los derechos digitales.
Además, tomando en cuenta que España se ha ofrecido como país piloto para testear la regulación de la ley de inteligencia artificial que se debate en estos momentos en la UE, el rol de la AESIA será clave para corregir aquellos errores que conduzcan a la reproducción de desigualdades sociales.
El uso creciente de elementos estadísticos en todos los ámbitos de la sociedad ha creado un imaginario de confianza ciega en las herramientas tecnológicas. Si no atajamos a tiempo esta situación podemos ver mermados derechos básicos en nombre de la supuesta eficiencia y neutralidad de esta.
Tenemos derecho a saber si la toma de decisiones automatizada a través del uso de los algoritmos está condicionando nuestras posibilidades de futuro (por ejemplo, obtener una beca o acceder a una entrevista de trabajo). Tenemos derecho a que los algoritmos se auditen, corrijan e incluso anulen en el caso de reproducir injusticias estructurales. Y tenemos derecho también a que se incorpore una visión de justicia restaurativa de cara a las personas y comunidades afectadas por decisiones basadas en inteligencia artificial.
Otros artículos que seguro también te van a interesar:
“Las prácticas clásicas en ciencia de datos fomentan el sexismo. El feminismo de datos lo combate”
No hay comentarios.:
Publicar un comentario