Gobernanza algorítmica en el sector público – El caso BOSCO
Hace unos años, el Gobierno español decidió modificar las condiciones y requisitos establecidos para que las personas vulnerables recibieran un descuento en su factura de la luz. Esto llevó a la introducción de un nuevo software desarrollado por la administración pública, que las compañías eléctricas debían utilizar para determinar si un ciudadano tenía derecho a la reducción de la factura eléctrica. Este software, bautizado como BOSCO, se basaba en una norma que definía los requisitos específicos para obtener el descuento, que eran ligeramente diferentes de los que existían anteriormente. Estos cambios, unidos a la mayor complejidad que suponía el uso de BOSCO y a otros problemas burocráticos, provocaron que un gran número de personas no solicitaran la ayuda a la que tenían derecho. (Versión en inglés de este post – aquí).
Ante esta situación, Civio, una organización española dedicada a la fiscalización de organismos y administraciones públicas, en colaboración con la Comisión Nacional de los Mercados y la Competencia, creó y puso en marcha una app gratuita que permitía a las personas determinar si tenían derecho a la ayuda, además de asistirles en el proceso burocrático. Sin embargo, a través de esta aplicación, se descubrió que BOSCO estaba supuestamente evaluando incorrectamente la elegibilidad, ya que personas que cumplían los requisitos establecidos por la normativa y conforme a la aplicación Civio eran rechazadas por BOSCO.
El caso BOSCO
Para esclarecer el asunto, Civio solicitó al Ministerio, y posteriormente al Consejo de Transparencia, el acceso al código fuente de BOSCO. Sin embargo, tanto el Ministerio como el Consejo de Transparencia rechazaron su solicitud y se negaron a dar acceso al código, por lo que Civio interpuso una demanda contra esa resolución. Basándose en una serie de factores, la demanda fue desestimada y se denegó a Civio el acceso al código fuente de BOSCO. El juez esgrimió cuatro argumentos principales: en primer lugar, que BOSCO es una mera parte del procedimiento administrativo, por lo que su resultado no constituye una decisión administrativa. En segundo lugar, que la no divulgación del código hace que la aplicación sea más segura, y dado que el código no es reutilizable, por ser demasiado específico, no debe divulgarse para no poner en peligro la seguridad. En tercer lugar, que el algoritmo ya ha sido auditado y que el resultado puede cotejarse con la norma para verificar si alguien cumple los requisitos y tiene derecho a la ayuda. Y en cuarto lugar, que la seguridad pública puede verse amenazada por la divulgación del código.
Subsiguientemente, Civio impugnó esta sentencia. Entretanto, el Consejo de Transparencia se desdijo y se puso de parte de Civio, pero el Ministerio siguió oponiéndose a la demanda de respuesta de Civio. En mayo de 2024, la segunda demanda interpuesta por Civio también fue desestimada por motivos similares.
cada vez que leo ‘BOSCO’, mi cerebro solo puede pensar en Wall-E
Lecciones de BOSCO y más allá
No sólo el Consejo de Transparencia se puso posteriormente del lado de Civio, sino que también lo hizo la Secretaría de Digitalización e Inteligencia Artificial al declararse muy insatisfecha con la gestión del caso BOSCO, acogiendo los principales argumentos defendidos por Civio. También la el Defensor del Pueblo ha pedido más garantías para todo el proceso, y el Gobierno está estudiando actualmente la forma de mejorarlo.
Asimismo, cabe señalar que la posición general del Gobierno español y de otras administraciones sobre la gobernanza algorítmica es clara. En 2021, el Gobierno presentó la Carta de Derechos Digitales, que consagra una serie de derechos de los ciudadanos frente el uso de sistemas de inteligencia artificial.
Además, iniciativas como un Registro Público de Algoritmos en Barcelona y en breve en Valencia demuestran que se están dando pasos hacia la transparencia y el buen gobierno. En el ámbito del sector privado, también se ha aprobado una norma que regula la transparencia algorítmica en el ámbito laboral. Esta norma otorga a los trabajadores el derecho a ser informados sobre los parámetros, reglas e instrucciones a través de los cuales los algoritmos o sistemas de IA impactan en sus condiciones laborales y determinan el acceso al empleo.
De ahí que el caso BOSCO parezca más bien un caso aislado de mal funcionamiento que otra cosa. Sin embargo, precisamente, el objetivo de las normas y la gobernanza es crear un marco para prevenir estos casos u ofrecer soluciones cuando se producen. Este artículo tratará de ilustrar por qué es importante una buena gobernanza algorítmica, centrándose especialmente en el sector público, cómo está regulado el tema actualmente y cómo podemos utilizar estas normas para conseguir soluciones cuando ocurre algo como lo que ha ocurrido en este caso, así como sus limitaciones y propuestas para abordarlas.
Un enfoque constitucional – ¿Qué hay en juego?
El Estado de Derecho está consagrado en el artículo 2 del Tratado de la Unión Europea como uno de los valores comunes a todos los Estados miembros. En el Estado de Derecho, todos los poderes públicos deben actuar dentro de los límites establecidos por la ley, de conformidad con los valores de la democracia y los derechos fundamentales. El World Justice Project establece una serie de principios que construyen un sistema de Estado de Derecho: rendición de cuentas (“accountability”), lo que significa que tanto el gobierno como los actores privados deben rendir cuentas ante la ley; ley justa, lo que significa que la ley debe ser clara, pública y estable y debe aplicarse de manera uniforme, y que debe garantizar los derechos humanos, así como los derechos de propiedad, contractuales y procesales; gobierno abierto, es decir, que los procesos mediante los cuales se adopta, administra, adjudica y aplica la ley sean accesibles, justos y eficaces; y justicia accesible e imparcial, es decir, que la justicia sea impartida oportunamente por representantes y neutrales competentes, éticos e independientes que sean accesibles, dispongan de recursos adecuados y reflejen la composición de las comunidades a las que sirven.
En este sentido, en España la Constitución consagra el derecho al acceso a la ley bajo la forma del principio de publicidad de las normas. Según este principio, las personas tienen derecho a conocer la existencia y el contenido de todas las normas que les rigen. Siguiendo este mismo razonamiento, otra columna vertebral del Estado de Derecho es el derecho de las personas a conocer la motivación de las decisiones jurídicas que les afectan, que también se aplica generalmente en Derecho administrativo como principio de motivación de los actos administrativos.
Estos dos principios pueden verse perjudicados fácilmente cuando el código se convierte en ley, si éste no se hace público. Cuando una ley es aplicada directamente por un sistema de IA, el propio sistema se convertirá en una ley autoaplicable. En este caso, el código fuente será lo que determine cómo funciona el sistema y cómo toma una decisión. Esto significa que el código fuente será básicamente el texto de la ley, que determinará cómo se aplica la propia ley. Por lo tanto, si permitimos que el código fuente se convierta en ley por la vía de la automatización de dicha ley, debería convertirse en ley en toda su extensión. Entre otras implicaciones, esto significará también que el código fuente, como ley, debería ser accesible a las personas afectadas por el mismo.
Este concepto, acuñado como lex informatica por Joel Reidenberg, fue popularizado posteriormente como «el código es ley» (“code is law”) por Lawrence Lessig. La codificación (de “código) del Derecho plantea una serie de riesgos inherentes, siendo el más evidente su falta de capacidad para interpretar las normas o para adaptarse a cada caso concreto: el código se limita a ejecutar rígidamente lo que está escrito, sin margen para la interpretabilidad.
Un segundo riesgo en estos casos, que no es inherente al código sino a la forma en que nos comportamos en torno a él, es la falta de transparencia. Hoy en día, como se ha visto en el caso de BOSCO y muchos otros, existe una reticencia a dar acceso al código fuente de un sistema. Esta falta de visibilidad del código, como se ha explicado, hace imposible auditar el sistema para saber si funciona como debería; es decir, hace imposible acceder al texto de una ley que se está aplicando a sí misma.
Un sistema jurídico es más que la suma de todos los textos legales que lo componen. Las leyes incluyen exposiciones de motivos introductorias que ayudan a comprender por qué son necesarias y cómo deben interpretarse; incluyen principios que orientan sobre cómo deben aplicarse, e incluyen cláusulas y excepciones abiertas a la interpretabilidad. Posteriormente, las leyes son interpretadas por jueces, tribunales y órganos administrativos, caso por caso y teniendo en cuenta todo lo mencionado. Por tanto, y en conclusión: las leyes deben ser capaces de adaptarse a una realidad compleja.
Un enfoque práctico – Legislación aplicable
Dada la naturaleza de los sistemas de inteligencia artificial, en este caso serán aplicables principalmente dos normativas: el Reglamento General de Protección de Datos (RGPD) y el Reglamento de Inteligencia Artificial (AIA por sus siglas en inglés). También se tendrán en cuenta otros actos legislativos relacionados con los derechos humanos y la IA.
Legislación sobre protección de datos
BOSCO, como la gran mayoría de los sistemas de IA, trata datos personales, lo cual lo somete al Reglamento General de Protección de Datos. Esta norma consagra en su artículo 22 un derecho a no ser objeto de decisiones automatizadas (ADM por sus siglás en inglés), cuando tal decisión produzca efectos jurídicos (o similares) en alguien. Cuando se cumplen las excepciones y se produce la ADM, el RGPD también concede el derecho a obtener intervención humana, a expresar el punto de vista de la persona afectada y a impugnar la decisión.
Aunque este artículo prevé algunas excepciones a esta prohibición, en este caso no se puede aplicar ninguna de ellas. Una de ellas puede ser aplicada cuando la ley autoriza la ADM. Sin embargo, para poder aplicarla, la ley debería establecer medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado; lo cual no ocurre en este caso, ya que no está específicamente autorizado por una ley estatal y no se han establecido las salvaguardias adecuadas, como ha quedaos claro.
En los Países Bajos, el caso SyRI puede ayudarnos a entender algunas de las implicaciones de un caso así y arrojar algo de luz sobre la ADM en el sector público. El algoritmo System Risk Indication (SyRI) del Gobierno holandés era un sistema de IA para la detección del fraude dirigido a los barrios que acogían a grupos pobres o minoritarios del país. El sistema creaba perfiles de riesgo de las personas para detectar diversas formas de fraude, como el fraude en las prestaciones sociales, los subsidios y los impuestos.
Este caso fue investigado tanto por el Tribunal de Distrito de La Haya como por la Autoridad Holandesa de Protección de Datos (AP). Una conclusión relevante del Tribunal es que el sistema tuvo un efecto significativo en la vida privada de las personas afectadas, infringiendo el artículo 8 del Convenio Europeo de Derechos Humanos (derecho al respeto de la vida privada y familiar). Esto implica que casos como éste entrarían dentro del “efecto jurídico” del artículo 22 RGPD.
Otra conclusión relevante de la AP neerlandesa es que ésta determinó que, independientemente de si se aplica el artículo 22 del RGPD, siempre deben respetarse los principios del artículo 5 del RGPD. Por lo que respecta a este caso, esto incluye los principios de transparencia y responsabilidad proactiva (“accountability”).
Por otra parte, la prohibición de ADM exige que la decisión sea exclusivamente automatizada. Sin embargo, la jurisprudencia acepta cierto grado de intervención humana para que siga entrando en el ámbito de aplicación del artículo 22. Según la interpretación del Comité Europeo de Protección de Datos (CEPD), no todas las formas de participación humana en un proceso de toma de decisiones excluyen la aplicación del artículo 22, ya que los meros gestos simbólicos realizados por seres humanos no bastan para suprimir la prohibición de ADM. En el caso de BOSCO, aunque la sentencia declare que la decisión la toma formalmente un órgano administrativo y no el sistema (ya que jurídicamente un sistema de IA no puede tomar formalmente una decisión administrativa), de facto no existe una implicación humana en la decisión en sí misma. Por lo tanto, se considerará únicamente una toma de decisiones automatizada, y se aplicará el artículo 22.
El RGPD también otorga derechos de transparencia a las personas afectadas por la ADM en su artículo 15. Estos derechos incluyen el derecho a conocer la existencia de tales decisiones y a obtener información significativa sobre la lógica implicada, así como sobre la importancia y las consecuencias previstas de dicho tratamiento para el interesado.
Legislación sobre inteligencia artificial
El Reglamento de Inteligencia Artificial (AIA) no era más que un borrador cuando se inició el caso BOSCO, y, de hecho, la mayor parte del mismo aún no ha entrado plenamente en vigor a día de hoy. Sin embargo, de cara al futuro, es útil comprender cómo podría esta normativa llegar a afectar a casos similares.
El AIA regula el desarrollo, despliegue y uso de sistemas de inteligencia artificial en la Unión Europea. Utiliza un enfoque basado en el riesgo con cuatro niveles de riesgo: riesgo inaceptable, riesgo alto, riesgo limitado y riesgo mínimo.
Los sistemas de IA de alto riesgo (HRAIS por sus siglas en inglés) incluyen, entre otros, los que se utilizan para evaluar (para una autoridad pública o como autoridad pública) si las prestaciones y servicios esenciales de asistencia pública están o siguen estando disponibles para una persona concreta. Por tanto, BOSCO, cuyo objetivo es a evaluar si los ciudadanos tienen derecho a una subvención en su factura eléctrica por motivos de vulnerabilidad, deberá considerarse un sistema de alto riesgo.
Estos sistemas están sujetos a determinadas obligaciones, la mayoría de ellas relacionadas con la transparencia y la rendición de cuentas, pero también con la solidez, la precisión y la resistencia. Curiosamente, una estas obligaciones prevé que los HRAIS deban contar con una evaluación de conformidad realizada por un tercero, lo cual significa que el legislador pretende que estos sistemas de alto riesgo sean auditados de forma independiente.
Asimismo, el considerando 73 también exige que los sistemas de alto riesgo se diseñen de forma que «las personas físicas puedan supervisar su funcionamiento, garantizar que se utilizan según lo previsto y que sus impactos se abordan a lo largo del ciclo de vida del sistema». La frase «utilizados según lo previsto» es de gran importancia para este caso, ya que ésta es precisamente la clave de lo que le está ocurriendo al sistema: no se está utilizando según lo previsto porque no funciona adecuadamente.
Además, el AIA contiene otra obligación que establece que las personas afectadas deberán ser informadas cuando se utilice un HRAIS para tomar decisiones que les conciernan, incluso si el sistema sólo se utiliza a modo de apoyo en lugar de tomar la decisión de forma completamente automatizada (lo que va más allá del artículo 22 del RGPD sobre ADM). En tal caso, el proveedor está obligado a explicar cuáles han sido los elementos clave de la decisión.
Sin embargo, a diferencia del RGPD, en el AIA no existe un derecho individual a presentar una reclamación ante una autoridad de control. Por lo tanto, los particulares y las organizaciones civiles carecen de mecanismos para recurrir directamente o que puedan utilizar para hacer valer sus derechos o para iniciar un procedimiento ante las autoridades de control cuando se produzca un incumplimiento.
Es cierto que el artículo 67, por ejemplo, otorga a las autoridades supervisoras la facultad de adoptar las medidas oportunas para que los operadores cumplan la normativa cuando exista un riesgo para la salud o la seguridad, o se vean amenazados los derechos fundamentales o el interés público. Sin embargo, todo queda en manos de las autoridades responsables, que tendrán que vigilar todo el mercado por sí mismas. Esto significa que, idealmente, tendrían que tener la capacidad tanto para tener conocimiento de cada problema como para iniciar todas las acciones necesarias de oficio; lo que, en la práctica, es casi imposible, pues será extremadamente complicado para las autoridades tener la capacidad de vigilar plenamente todo el mercado para para poder abarcar cada caso potencial de incumplimiento, dado el tamaño actual del mercado y la escala de uso de la inteligencia artificial.
Todo lo anterior dejará a las autoridades en una posición delicada con respecto a los actores del mercado, tanto privados como públicos, ya que las autoridades nunca dispondrán de recursos suficientes para poder supervisar todo el mercado. También dejará desprotegidos a los particulares, que no tendrán ninguna posibilidad de reparación directa, así como a la sociedad civil, que carecerá de recursos para abordar directamente las prácticas problemáticas de la IA. Esto generará un desequilibrio de poder que favorecerá a los proveedores y distribuidores de IA y dificultará su aplicación.
Por otro lado, en lo que respecta a la coherencia interna de la normativa, tampoco tiene sentido que se concedan a las personas determinados derechos (como el derecho a la transparencia) mientras no se les otorga el poder para hacerlos cumplir.
Además de la Unión Europea, otros países y jurisdicciones están creando también legislación sobre Inteligencia Artificial, centrándose parte de ella en gran medida en la transparencia y la rendición de cuentas. Por ejemplo, la propuesta de Ley de Gobernanza Automatizada Transparente o Ley de Rendición de Cuentas Algorítmica en EE.UU., o la Directiva sobre Toma de Decisiones Automatizada en Canadá.
Siguiendo los mismos principios, la Unión Europea, EE.UU. y el Reino Unido han firmado el primer tratado jurídicamente vinculante sobre IA, cuyo objetivo es garantizar que el uso de la IA se ajuste a «los derechos humanos, la democracia y el Estado de Derecho». El tratado establece como principios fundamentales, entre otros, la transparencia y la supervisión, así como la rendición de cuentas y la responsabilidad.
Este tratado también recoge la necesidad de recursos apropiados, derechos procesales y salvaguardas, que incluyen la obligatoriedad de documentación, prácticas de transparencia que permitan a las personas impugnar cualquier decisión tomada por el sistema, la posibilidad de presentar una reclamación ante las autoridades competentes, garantías procesales efectivas y ser informado cuando se esté interactuando con un sistema de IA.
Carta de Derechos Digitales
En 2021, el Gobierno español presentó la Carta de Derechos Digitales, que consagra una serie de principios a observar cuando interviene una inteligencia artificial; entre ellos transparencia, auditabilidad, explicabilidad, trazabilidad y accesibilidad. Sin embargo, al igual que ocurre con el AIA, esta Carta no establece obligaciones directamente aplicables ni incluye mecanismos de recurso directo, aunque sí que obliga a que las personas que interactúen con sistemas de IA tengan derecho a solicitar intervención y supervisión humana, a impugnar decisiones automatizadas y a ser asistidas por un humano a petición del ciudadano.
oh, la justicia
Aplicación de los principios expuestos
Como se desprende del análisis realizado de la legislación aplicable, hay una serie de principios que se repiten en la mayoría de las normas: transparencia; rendición de cuentas; intervención humana; y derechos y mecanismos de reparación y recurso.
Transparencia
El principio de transparencia, en términos generales, pretende facilitar la tarea de exigir responsabilidades a los representantes del pueblo, a las instituciones y a otros actores. Sin embargo, este principio también es en sí mismo una columna vertebral del Estado de Derecho, ya que el proceso legislativo, el texto de las normas y las decisiones tomadas en interpretación de las mismas deben llevarse a cabo de forma transparente. La transparencia es un requisito sine qua non para el Estado de Derecho, así como una parte necesaria de la rendición de cuentas.
Sin embargo, por muy importante que sea la transparencia, la transparencia aplicada de forma tradicional, por sí sola, ha demostrado no ser suficiente. La transparencia no puede ser la única solución en todos los casos, sino que es necesario complementarla con otras medidas. Por ejemplo, los derechos de transparencia consagrados por el RGPD y el AIA son claramente insuficientes en el caso de BOSCO. En este caso, ambos derechos se refieren a la lógica y el razonamiento que subyacen a las decisiones tomadas por el algoritmo. Sin embargo, la lógica y el razonamiento de BOSCO ya los conocemos, pero siguen sin ser suficientes.
En el caso de BOSCO no hay complejidad alguna en la toma de decisiones del sistema: el software sólo tiene que comprobar si se cumplen o no unos requisitos muy sencillos. No hay ningún otro valor o razonamiento detrás de la decisión tomada por el sistema.
Curiosamente, en las conclusiones del Abogado General del caso C-203/22, el Abogado General (AG) considera que, desde la perspectiva del RGPD, una «información significativa sobre la lógica implicada» debe permitir al interesado ejercer los derechos que tiene garantizados. Esto presupone que la información, además de ser concisa, fácilmente accesible y comprensible, debe ser lo suficientemente completa y contextualizada como para permitir a dicha persona verificar su exactitud y si existe una coherencia y una relación de causalidad objetivamente verificables entre, por una parte, el método y los criterios utilizados y, por otra, el resultado al que se llega mediante la decisión automatizada.
En el caso de BOSCO, esto significa que la información otorgada debe ser suficiente para determinar si el método y los criterios utilizados para llegar a la decisión tomada son coherentes.
Además, el AG tiene en cuenta la existencia de derechos de terceros (datos personales de terceros y secretos comerciales) cuando se trata de partes delicadas del software o del propio código fuente. Cuando estos derechos puedan verse afectados, el AG ofrece una solución: que la información necesaria se entregue a una autoridad o tribunal para su examen, en lugar de entregarla a la parte afectada. Esto, interpretado sensu contrario, nos lleva a una conclusión muy razonable: cuando no existen tales derechos de terceros (es decir, no existen secretos comerciales ni datos de terceros), no hay razón para no revelar la información necesaria para que la persona pueda verificar la exactitud de la decisión. En este caso, no hay razón para no revelar el código fuente de BOSCO.
En este sentido, el AIA también otorga a las autoridades supervisoras el poder de solicitar el código fuente de los sistemas de IA de alto riesgo en determinados casos, lo cual significa que no existe razón para interpretar que el código fuente sea «sacrosanto».
Es cierto que el Tribunal esgrimió, en su sentencia contra Civio, razones de ciberseguridad contra la divulgación del código. Sin embargo, este razonamiento suena más a una excusa que a otra cosa. Éste es un argumento completamente obsoleto que ya no se sostiene; hace tiempo que se ha demostrado que la seguridad por oscuridad no es una forma adecuada de proteger el software de posibles vulnerabilidades. Hasta la Agencia de Seguridad Nacional estadounidense (NSA) tiene un proyecto de código abierto en el que proporciona acceso libre al código de muchos de sus programas y herramientas de desarrollo propio. Una preferiría creer que la NSA no facilitaría dicho código si existiera algún riesgo al hacerlo.
Pero tenemos ejemplos más cercanos sin necesidad de cruzar el Atlántico: el Gobierno español ha liberado el código fuente de aplicaciones de desarrollo propio para su escrutinio y auditoría públicos. El código fuente de la aplicación de rastreo COVID se reveló por razones de transparencia, como también se hizo en muchos otros países europeos. Si esto supusiera una vulnerabilidad, la revelación del código fuente de dicha app podría suponer un riesgo de divulgación no autorizada de los datos sanitarios de millones de personas. Sin embargo, el Gobierno confirmó que la aplicación era perfectamente segura y respetuosa con la privacidad, al tiempo que afirmaba que la tecnología debía ponerse al servicio de los ciudadanos. ¿Por qué habría de ser diferente el razonamiento en el caso de BOSCO u otros sistemas de IA creados por o para el sector público?
Otro de los principales argumentos en contra de la transparencia algorítmica siempre han sido los derechos de propiedad intelectual y la razón de ser de dichos derechos, ya que la propiedad intelectual busca proteger, entre otros, la inversión y el esfuerzo empleados para una creación intelectual. Sin embargo, cuando dicha creación es pagada o realizada directamente por la administración pública, el razonamiento anterior carece de sentido, ya que la inversión se realiza originalmente en interés de la ciudadanía y no busca ningún beneficio económico, al contrario que la empresa privada.
En tal caso, la administración pública no debe tener otro interés que el interés del pueblo. Por lo tanto, impedir la reutilización del código fuente carece de sentido, ya que no hay ánimo de lucro, mientras que la divulgación del código puede ser un activo para futuros proyectos. Además, impedir que el código sea auditado sólo conduciría a obstaculizar posibles mejoras y detección de errores. «Dinero público, código público».
Rendición de cuentas
El principio de rendición de cuentas (o “accountability”) nos permite someter a escrutino a determinados actores (empresas y administraciones) para que puedan ser examinados y rindan cuentas por sus actos. En un ámbito tan complejo y en constante evolución como es el uso de la inteligencia artificial y el impacto que ésta puede tener en nuestras vidas y en la sociedad en general, la rendición de cuentas adquiere más importancia que nunca.
En este sentido, el AIA exige a los sistemas de IA de alto riesgo un elevado nivel de responsabilidad. Dado que el Reglamento utiliza un enfoque basado en el riesgo, lo que se impone es un esquema gradual de requisitos y obligaciones en función del nivel de riesgo que plantee el sistema de IA para la salud, la seguridad y los derechos fundamentales. En este sentido, se les atribuye a los actores la responsabilidad de su propia buena gobernanza, y se les obliga a generar una serie de documentación interna, así como a crear procesos seguros y a someterse a auditorías externas.
La rendición de cuentas o responsabilidad proactiva (“accountability”), consagrada como principio en el apartado 2 de su artículo 5, es también uno de los principios fundamentales del Reglamento general de protección de datos. Estos principios son aplicables a cualquier sistema que trate datos personales, incluyendo a BOSCO, como se ha señalado anteriormente. Y, una vez más, la transparencia, siempre vinculada a la rendición de cuentas, es otro de los principios de protección de datos que deben ser aplicados, como tambien lo son la licitud y la lealtad.
La necesidad de una gobernanza justa en el sector público aumenta según aumenta la capacidad tienen los sistemas de IA de afectar a nuestros derechos fundamentales. Esto implica que, indudablemente, es imprescindible hacer especial hincapié tanto en la transparencia como en la rendición de cuentas. Y la rendición de cuentas requiere que tengamos la capacidad de fiscalizar a las administraciones y exigirles responsabilidades. Por tanto, la administración deberá poner a disposición de la ciudadanía cualquier medio para inspeccionar el uso de dichos sistemas.
Para ello existen muchas maneras, siendo una de ellas la existencia de auditorías independientes y externas del código fuente de los sistemas públicos de IA, así como la puesta a disposición del público de la documentación pertinente, incluido el código fuente cuando sea posible, la creación de un inventario público de dichos sistemas y el establecimiento de procesos de supervisión sólidos.
Sin embargo, la rendición de cuentas por sí soa, sin una adecuada supervisión, no tiene sentido. Si las administraciones saben que nunca tendrán que rendir cuentas, se pierde todo el sentido de la exigencia de responsabilidades.
El ser humano en el proceso
«Human in the loop» (“el ser humano en el proceso”, HITL por sus siglas en inglés) es una de las soluciones más recurrentes cuando se habla de salvaguardas para los sistemas de IA. El derecho a solicitar la intervención humana, el derecho a no estar sujeto a decisiones tomadas únicamente por una máquina o el derecho a impugnar una decisión tomada por un sistema de IA aparecen una y otra vez como formas de minimizar los riesgos que estos sistemas suponen para los derechos y libertades de las personas.
Sin embargo, como se ha demostrado, esta solución presenta algunas limitaciones. la principal es que el HITL es, en muchos casos, mayormente una salvaguarda a posteriori. Cuando se trata de tareas o sistemas de ADM o no complejos, normalmente no interviene ningún humano en el proceso; de lo contrario, si en dicho proceso un humano fuera necesario, se perdería todo el sentido de automatizar ciertas acciones. Que la intervención humana ocurra a posteriori significa que 1) la persona afectada ya se habrá visto impactada por el sistema de IA, pudiendo ver afectados sus derechos, y 2) que muchas personas afectadas pueden aceptar la decisión tomada por el sistema sin contemplar (o sin ser capaces de comprender) la posibilidad de que sea errónea, por lo que es posible que ni siquiera se den cuenta de que sus derechos se han visto afectados.
Sin embargo, en el caso de BOSCO, el algoritmo es tan simple que implicar a un humano en el proceso no tendría sentido. Añadir la revisión humana por defecto significaría que no habría necesidad de utilizar BOSCO, ya que revisar los resultados de BOSCO o revisar un formulario con unas pocas opciones supondrían la misma cantidad de tiempo y esfuerzo para la persona encargada; por lo tanto, BOSCO sería inútil.
Derechos individuales y reparación
Los mecanismos de reparación son indispensables cuando se conceden derechos; pues no hay mejor forma de garantizar que se respeten los derechos que dar a los ciudadanos una vía adecuada para hacerlos valer.
Sin embargo, es igualmente importante no hacer recaer todo el peso de esta responsabilidad en los ciudadanos, ya que la mayoría de las personas no suelen tener los conocimientos ni la capacidad para emprender procedimientos legales. Por eso es igualmente importante la actuación de la sociedad y organizaciones civiles, y por eso en normativas como el RGPD se otorga también a las organizaciones civiles la capacidad de presentar reclamaciones en nombre de ciudadanos particulares. Varias de las acciones más importantes para hacer cumplir el RGPD proceden de organizaciones civiles. Una acción de La Quadrature du Net dio lugar a la mayor multa bajo del RGPD (una multa de 746 millones de euros contra Amazon), mientras que noyb consiguió que el Comité Europeo de Protección de Datos pusiera en marcha un grupo de trabajo para tratar varias reclamaciones relativas al uso de cookies, lo que ha llevado a una aplicación más armonizada de la normativa. También consiguieron que la Autoridad Irlandesa de Protección de Datos tomara una decisión clave sobre el modelo de negocio de Meta. A raíz de una acción del Consejo Irlandés para las Libertades Civiles (ICCL), la Comisión Europea empezará a comprobar periódicamente el progreso de todos los casos a gran escala relacionados con el RGPD en toda la UE.
Como se ha visto, el buen funcionamiento de los derechos procesales individuales y civiles ha demostrado ser de gran importancia; por esta razón, la Comisión Europea ha presentado un proyecto para adoptar nuevas normas que garanticen una aplicación más estricta del RGPD en los casos transfronterizos. Como se suele decir, «las leyes, si no se aplican, no son más que simples consejos».
Conclusiones
Todos los principios mencionados anteriormente están inextricablemente ligados. Es la suma de todos ellos lo que garantizará la buena gobernanza de la inteligencia artificial y el respeto de los derechos humanos de las personas afectadas por la IA.
Como señala Virginia Eubanks, un algoritmo nunca debería servir para liberar a quienes toman las decisiones de las consecuencias humanas de las decisiones políticas. Y más aún cuando esas decisiones ni siquiera se llevan a cabo tal y como el algoritmo debería llevarlas a cabo, como Civio ha demostrado y explicado. El hecho de que no sea la norma la que ha dado lugar al mal funcionamiento, sino el propio software, revela la imperiosa necesidad de tener acceso al código fuente de BOSCO (o de cualquier otro algoritmo que afecte a derechos fundamentales).
Es necesario que la sociedad tenga la capacidad de supervisar aquellos sistemas que toman decisiones o que determinan directamente el resultado de decisiones con efectos relevantes; de lo contrario, atacar el Estado de Derecho sería tan fácil como automatizar todas las decisiones importantes, ya que no habría forma de supervisarlas.
Los ciudadanos ya gozan de ciertos derechos en relación con el uso de sistemas de IA que les afectan. Sin embargo, se ha demostrado que dichos derechos no son suficientes o que, al menos, no se aplican de forma justa. El marco legislativo vigente establece varias obligaciones de transparencia y rendición de cuentas que se complementan entre sí, así como principios que deberían haber evitado, en teoría, que ocurriera lo que ha ocurrido. Sin embargo, tales principios no han impedido, en efecto, que el sistema («sistema» como «sistema de IA», como «sistema jurídico» y como «sistema de administración pública») funcione incorrectamente. En parte, porque todo el peso de una gobernanza buena y justa no puede recaer únicamente en los ciudadanos. Una gobernanza buena y justa debe nacer de dentro de la misma administración, y ésta debe poner a disposición de la ciudadanía y de los actores civiles todos los medios posibles para fiscalizarla y exigirle responsabilidades.
el mundo si la gobernanza de los sistemas de IA funcionase a la perfección