Retos de la inteligencia artificial para la protección de los derechos de toda la ciudadanía

La inteligencia artificial (IA) está en todas partes y nos afecta a todas las personas. Gracias a la tecnología, las decisiones administrativas se pueden adoptar de manera más eficiente, la ciudadanía puede recibir la información que más le interesa, y las vacunas se pueden desarrollar a una mayor velocidad. Sin embargo, en un entorno donde, cada vez más, las decisiones se toman de manera automática, es de vital importancia garantizar que la tecnología no se vuelva en contra de la ciudadanía en general, y en particular, contra los más vulnerables. Por ello, los organismos de protección y defensa de los derechos fundamentales, como la FRA, están examinando de cerca la afectación que el uso de la IA pueda tener en derechos como la privacidad y protección de datos, la igualdad y no discriminación, así como el acceso a recursos eficaces.

En su nuevo informe, la FRA recoge, por primera vez, ejemplos concretos de cómo surge el sesgo en los algoritmos y cómo dicho sesgo puede afectar las vidas de las personas. Esto supone una novedad que permite ahondar aún más en los posibles riesgos que puede generar el uso de la IA en los derechos fundamentales, que la FRA ya había identificado en su anterior informe sobre IA de 2020 (disponible en inglés). En concreto, la FRA ha dedicado su informe al examen de dos estudios de casos, cuyos resultados exponemos a continuación:

• El estudio de caso sobre la acción policial predictiva señala que un sesgo preexistente tiende a ampliarse con el tiempo, lo que puede resultar en acciones policiales discriminatorias. Por ejemplo, si sobre la base de predicciones influidas por informes criminales sesgados la policía centra su actuación en una zona urbana en concreto, entonces la policía detectará el crimen mayormente en dicha zona. Esto crea el llamado ciclo de retroalimentación o feedback loop. En este caso, los algoritmos influyen sobre otros algoritmos y, con ello, refuerzan o crean prácticas discriminatorias que afectan de manera desproporcional a las minorías étnicas.
• En lo que respecta al segundo caso, se trata de analizar el sesgo étnico y de género en sistemas de detección de discursos ofensivos. El análisis demuestra que las herramientas que se usan para detectar el discurso del odio en la red pueden generar resultados sesgados o incluso señalar como ofensivas frases tan inocuas como “Yo soy musulmán/a” o “Yo soy judío/a”. Además, los algoritmos puedan generar sesgos de género al analizar lenguas con marca de género, como el español o el alemán. Esto puede conllevar un acceso desigual a servicios en línea por motivos posiblemente discriminatorios.

La FRA concluye haciendo un llamamiento a las autoridades públicas para que la formulación de políticas tome en cuenta el examen de los sesgos de la IA conducentes a la discriminación. En concreto, la FRA aboga por llevar a cabo un diagnóstico integral y completo de los algoritmos y, para ello, solicita a las instituciones de la UE y a los países de la UE que:

• examinen posibles sesgos que los algoritmos puedan tener o desarrollar con el tiempo, con la posibilidad de que generen discriminación;
• proporcionen directrices sobre la recogida de datos sensibles que sean necesarios para evaluar un posible caso de discriminación por motivo étnico o de género, entre otros;
• evalúen, caso por caso, sesgos étnicos y de género en los modelos de detección y predicción de discursos , dando acceso en esa evaluación a los organismos de supervisión y a la ciudadanía; consideren todos los motivos de discriminación, ya que los sesgos son amplios -destaca, en ese sentido, la propuesta de Directiva del principio de igualdad de trato de la UE;
• promuevan una mayor diversidad lingüística en el uso de herramientas, que se extienda a todos los idiomas oficiales de la UE, para así contrarrestar la hegemonía del inglés en los modelos de detección de discursos, que genera problemas en lenguas con marca de género, entre otros;
• mejoren el acceso a los datos y las infraestructuras de datos, para identificar y combatir el riesgo de sesgo en los algoritmos, y avanzar así en la supervisión efectiva de los sistemas de IA.

Otra institución de referencia como la Defensoría del Pueblo Europeo (EO por sus siglas en inglés) también ha dedicado recientemente sus esfuerzos al tema de la IA. La EO completó una iniciativa estratégica sobre el impacto que pueda tener la IA en la administración de la UE y las administraciones públicas de los Estados de la UE (disponible en inglés), a la luz de la propuesta de Ley de inteligencia artificial que se está discutiendo desde 2021 en el seno de la UE. La mencionada propuesta de ley propone armonizar las reglas relativas a los sistemas de IA en el mercado de la UE, para lo cual plantea un enfoque basado en el riesgo, que delimita la intervención regulatoria dependiendo del grado de riesgo que los sistemas de IA puedan suponer para la seguridad y los derechos fundamentales.

La EO concluye que el principio de buena administración implica justificación, proporcionalidad y una cultura de servicio empática y humana. Por ello, la sustitución de las personas por el uso de la IA plantea retos claros, que sitúan a las defensorías del pueblo en la primera línea de defensa de la ciudadanía ante el cambio que supone la digitalización de la administración pública. La EO anima a las defensorías del pueblo a hacer uso de las herramientas elaboradas por la FRA sobre afectación de los derechos fundamentales en el uso de la IA, y ha puesto en marcha un ejercicio de puesta en común de buenas prácticas en el uso de la IA en la administración pública, que servirá también al Ararteko como referencia para el desarrollo de actuaciones futuras en este ámbito. De cara al futuro, la EO prevé que el uso de sistemas de IA planteará cuestiones relativas a la transparencia y al acceso de la ciudadanía a la información–como puede suceder con la propuesta de la Ley de IA de crear un registro de sistemas IA autónomos a nivel de UE-, así como a la rendición de cuentas.