Hace unos años, el Gobierno español decidió modificar las condiciones y requisitos establecidos para que las personas vulnerables recibieran un descuento en su factura de la luz. Esto llevó a la introducción de un nuevo software desarrollado por la administración pública, que las compañías eléctricas debían utilizar para determinar si un ciudadano tenía derecho a la reducción de la factura eléctrica. Este software, bautizado como BOSCO, se basaba en una norma que definía los requisitos específicos para obtener el descuento, que eran ligeramente diferentes de los que existían anteriormente. Estos cambios, unidos a la mayor complejidad que suponía el uso de BOSCO y a otros problemas burocráticos, provocaron que un gran número de personas no solicitaran la ayuda a la que tenían derecho. (Versión en inglés de este post – aquí).

Ante esta situación, Civio, una organización española dedicada a la fiscalización de organismos y administraciones públicas, en colaboración con la Comisión Nacional de los Mercados y la Competencia, creó y puso en marcha una app gratuita que permitía a las personas determinar si tenían derecho a la ayuda, además de asistirles en el proceso burocrático. Sin embargo, a través de esta aplicación, se descubrió que BOSCO estaba supuestamente evaluando incorrectamente la elegibilidad, ya que personas que cumplían los requisitos establecidos por la normativa y conforme a la aplicación Civio eran rechazadas por BOSCO.

El caso BOSCO

Para esclarecer el asunto, Civio solicitó al Ministerio, y posteriormente al Consejo de Transparencia, el acceso al código fuente de BOSCO. Sin embargo, tanto el Ministerio como el Consejo de Transparencia rechazaron su solicitud y se negaron a dar acceso al código, por lo que Civio interpuso una demanda contra esa resolución. Basándose en una serie de factores, la demanda fue desestimada y se denegó a Civio el acceso al código fuente de BOSCO. El juez esgrimió cuatro argumentos principales: en primer lugar, que BOSCO es una mera parte del procedimiento administrativo, por lo que su resultado no constituye una decisión administrativa. En segundo lugar, que la no divulgación del código hace que la aplicación sea más segura, y dado que el código no es reutilizable, por ser demasiado específico, no debe divulgarse para no poner en peligro la seguridad. En tercer lugar, que el algoritmo ya ha sido auditado y que el resultado puede cotejarse con la norma para verificar si alguien cumple los requisitos y tiene derecho a la ayuda. Y en cuarto lugar, que la seguridad pública puede verse amenazada por la divulgación del código.

Subsiguientemente, Civio impugnó esta sentencia. Entretanto, el Consejo de Transparencia se desdijo y se puso de parte de Civio, pero el Ministerio siguió oponiéndose a la demanda de respuesta de Civio. En mayo de 2024, la segunda demanda interpuesta por Civio también fue desestimada por motivos similares. 

cada vez que leo ‘BOSCO’, mi cerebro solo puede pensar en Wall-E

Lecciones de BOSCO y más allá

No sólo el Consejo de Transparencia se puso posteriormente del lado de Civio, sino que también lo hizo la Secretaría de Digitalización e Inteligencia Artificial al declararse muy insatisfecha con la gestión del caso BOSCO, acogiendo los principales argumentos defendidos por Civio. También la el Defensor del Pueblo ha pedido más garantías para todo el proceso, y el Gobierno está estudiando actualmente la forma de mejorarlo. 

Asimismo, cabe señalar que la posición general del Gobierno español y de otras administraciones sobre la gobernanza algorítmica es clara. En 2021, el Gobierno presentó la Carta de Derechos Digitales, que consagra una serie de derechos de los ciudadanos frente el uso de sistemas de inteligencia artificial. 

Además, iniciativas como un Registro Público de Algoritmos en Barcelona y en breve en Valencia demuestran que se están dando pasos hacia la transparencia y el buen gobierno. En el ámbito del sector privado, también se ha aprobado una norma que regula la transparencia algorítmica en el ámbito laboral. Esta norma otorga a los trabajadores el derecho a ser informados sobre los parámetros, reglas e instrucciones a través de los cuales los algoritmos o sistemas de IA impactan en sus condiciones laborales y determinan el acceso al empleo.

De ahí que el caso BOSCO parezca más bien un caso aislado de mal funcionamiento que otra cosa. Sin embargo, precisamente, el objetivo de las normas y la gobernanza es crear un marco para prevenir estos casos u ofrecer soluciones cuando se producen. Este artículo tratará de ilustrar por qué es importante una buena gobernanza algorítmica, centrándose especialmente en el sector público, cómo está regulado el tema actualmente y cómo podemos utilizar estas normas para conseguir soluciones cuando ocurre algo como lo que ha ocurrido en este caso, así como sus limitaciones y propuestas para abordarlas.

Un enfoque constitucional – ¿Qué hay en juego?

El Estado de Derecho está consagrado en el artículo 2 del Tratado de la Unión Europea como uno de los valores comunes a todos los Estados miembros. En el Estado de Derecho, todos los poderes públicos deben actuar dentro de los límites establecidos por la ley, de conformidad con los valores de la democracia y los derechos fundamentales. El World Justice Project establece una serie de principios que construyen un sistema de Estado de Derecho: rendición de cuentas (“accountability”), lo que significa que tanto el gobierno como los actores privados deben rendir cuentas ante la ley; ley justa, lo que significa que la ley debe ser clara, pública y estable y debe aplicarse de manera uniforme, y que debe garantizar los derechos humanos, así como los derechos de propiedad, contractuales y procesales; gobierno abierto, es decir, que los procesos mediante los cuales se adopta, administra, adjudica y aplica la ley sean accesibles, justos y eficaces; y justicia accesible e imparcial, es decir, que la justicia sea impartida oportunamente por representantes y neutrales competentes, éticos e independientes que sean accesibles, dispongan de recursos adecuados y reflejen la composición de las comunidades a las que sirven.

En este sentido, en España la Constitución consagra el derecho al acceso a la ley bajo la forma del principio de publicidad de las normas. Según este principio, las personas tienen derecho a conocer la existencia y el contenido de todas las normas que les rigen. Siguiendo este mismo razonamiento, otra columna vertebral del Estado de Derecho es el derecho de las personas a conocer la motivación de las decisiones jurídicas que les afectan, que también se aplica generalmente en Derecho administrativo como principio de motivación de los actos administrativos.

Estos dos principios pueden verse perjudicados fácilmente cuando el código se convierte en ley, si éste no se hace público. Cuando una ley es aplicada directamente por un sistema de IA, el propio sistema se convertirá en una ley autoaplicable. En este caso, el código fuente será lo que determine cómo funciona el sistema y cómo toma una decisión. Esto significa que el código fuente será básicamente el texto de la ley, que determinará cómo se aplica la propia ley. Por lo tanto, si permitimos que el código fuente se convierta en ley por la vía de la automatización de dicha ley, debería convertirse en ley en toda su extensión. Entre otras implicaciones, esto significará también que el código fuente, como ley, debería ser accesible a las personas afectadas por el mismo. 

Este concepto, acuñado como lex informatica por Joel Reidenberg, fue popularizado posteriormente como «el código es ley» (“code is law”) por Lawrence Lessig. La codificación (de “código) del Derecho plantea una serie de riesgos inherentes, siendo el más evidente su falta de capacidad para interpretar las normas o para adaptarse a cada caso concreto: el código se limita a ejecutar rígidamente lo que está escrito, sin margen para la interpretabilidad. 

Un segundo riesgo en estos casos, que no es inherente al código sino a la forma en que nos comportamos en torno a él, es la falta de transparencia. Hoy en día, como se ha visto en el caso de BOSCO y muchos otros, existe una reticencia a dar acceso al código fuente de un sistema. Esta falta de visibilidad del código, como se ha explicado, hace imposible auditar el sistema para saber si funciona como debería; es decir, hace imposible acceder al texto de una ley que se está aplicando a sí misma. 

Un sistema jurídico es más que la suma de todos los textos legales que lo componen. Las leyes incluyen exposiciones de motivos introductorias que ayudan a comprender por qué son necesarias y cómo deben interpretarse; incluyen principios que orientan sobre cómo deben aplicarse, e incluyen cláusulas y excepciones abiertas a la interpretabilidad. Posteriormente, las leyes son interpretadas por jueces, tribunales y órganos administrativos, caso por caso y teniendo en cuenta todo lo mencionado. Por tanto, y en conclusión: las leyes deben ser capaces de adaptarse a una realidad compleja. 

Un enfoque práctico – Legislación aplicable

Dada la naturaleza de los sistemas de inteligencia artificial, en este caso serán aplicables principalmente dos normativas: el Reglamento General de Protección de Datos (RGPD) y el Reglamento de Inteligencia Artificial (AIA por sus siglas en inglés). También se tendrán en cuenta otros actos legislativos relacionados con los derechos humanos y la IA. 

Legislación sobre protección de datos

BOSCO, como la gran mayoría de los sistemas de IA, trata datos personales, lo cual lo somete al Reglamento General de Protección de Datos. Esta norma consagra en su artículo 22 un derecho a no ser objeto de decisiones automatizadas (ADM por sus siglás en inglés), cuando tal decisión produzca efectos jurídicos (o similares) en alguien. Cuando se cumplen las excepciones y se produce la ADM, el RGPD también concede el derecho a obtener intervención humana, a expresar el punto de vista de la persona afectada y a impugnar la decisión.

Aunque este artículo prevé algunas excepciones a esta prohibición, en este caso no se puede aplicar ninguna de ellas. Una de ellas puede ser aplicada cuando la ley autoriza la ADM. Sin embargo, para poder aplicarla, la ley debería establecer medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del interesado; lo cual no ocurre en este caso, ya que no está específicamente autorizado por una ley estatal y no se han establecido las salvaguardias adecuadas, como ha quedaos claro. 

En los Países Bajos, el caso SyRI puede ayudarnos a entender algunas de las implicaciones de un caso así y arrojar algo de luz sobre la ADM en el sector público. El algoritmo System Risk Indication (SyRI) del Gobierno holandés era un sistema de IA para la detección del fraude dirigido a los barrios que acogían a grupos pobres o minoritarios del país. El sistema creaba perfiles de riesgo de las personas para detectar diversas formas de fraude, como el fraude en las prestaciones sociales, los subsidios y los impuestos.

Este caso fue investigado tanto por el Tribunal de Distrito de La Haya como por la Autoridad Holandesa de Protección de Datos (AP). Una conclusión relevante del Tribunal es que el sistema tuvo un efecto significativo en la vida privada de las personas afectadas, infringiendo el artículo 8 del Convenio Europeo de Derechos Humanos (derecho al respeto de la vida privada y familiar). Esto implica que casos como éste entrarían dentro del “efecto jurídico” del artículo 22 RGPD. 

Otra conclusión relevante de la AP neerlandesa es que ésta determinó que, independientemente de si se aplica el artículo 22 del RGPD, siempre deben respetarse los principios del artículo 5 del RGPD. Por lo que respecta a este caso, esto incluye los principios de transparencia y responsabilidad proactiva (“accountability”). 

Por otra parte, la prohibición de ADM exige que la decisión sea exclusivamente automatizada. Sin embargo, la jurisprudencia acepta cierto grado de intervención humana para que siga entrando en el ámbito de aplicación del artículo 22. Según la interpretación del Comité Europeo de Protección de Datos (CEPD), no todas las formas de participación humana en un proceso de toma de decisiones excluyen la aplicación del artículo 22, ya que los meros gestos simbólicos realizados por seres humanos no bastan para suprimir la prohibición de ADM. En el caso de BOSCO, aunque la sentencia declare que la decisión la toma formalmente un órgano administrativo y no el sistema (ya que jurídicamente un sistema de IA no puede tomar formalmente una decisión administrativa), de facto no existe una implicación humana en la decisión en sí misma. Por lo tanto, se considerará únicamente una toma de decisiones automatizada, y se aplicará el artículo 22. 

El RGPD también otorga derechos de transparencia a las personas afectadas por la ADM en su artículo 15. Estos derechos incluyen el derecho a conocer la existencia de tales decisiones y a obtener información significativa sobre la lógica implicada, así como sobre la importancia y las consecuencias previstas de dicho tratamiento para el interesado.

Legislación sobre inteligencia artificial

El Reglamento de Inteligencia Artificial (AIA) no era más que un borrador cuando se inició el caso BOSCO, y, de hecho, la mayor parte del mismo aún no ha entrado plenamente en vigor a día de hoy. Sin embargo, de cara al futuro, es útil comprender cómo podría esta normativa llegar a afectar a casos similares. 

El AIA regula el desarrollo, despliegue y uso de sistemas de inteligencia artificial en la Unión Europea. Utiliza un enfoque basado en el riesgo con cuatro niveles de riesgo: riesgo inaceptable, riesgo alto, riesgo limitado y riesgo mínimo. 

Los sistemas de IA de alto riesgo (HRAIS por sus siglas en inglés) incluyen, entre otros, los que se utilizan para evaluar (para una autoridad pública o como autoridad pública) si las prestaciones y servicios esenciales de asistencia pública están o siguen estando disponibles para una persona concreta. Por tanto, BOSCO, cuyo objetivo es a evaluar si los ciudadanos tienen derecho a una subvención en su factura eléctrica por motivos de vulnerabilidad, deberá considerarse un sistema de alto riesgo. 

Estos sistemas están sujetos a determinadas obligaciones, la mayoría de ellas relacionadas con la transparencia y la rendición de cuentas, pero también con la solidez, la precisión y la resistencia. Curiosamente, una estas obligaciones prevé que los HRAIS deban contar con una evaluación de conformidad realizada por un tercero, lo cual significa que el legislador pretende que estos sistemas de alto riesgo sean auditados de forma independiente.

Asimismo, el considerando 73 también exige que los sistemas de alto riesgo se diseñen de forma que «las personas físicas puedan supervisar su funcionamiento, garantizar que se utilizan según lo previsto y que sus impactos se abordan a lo largo del ciclo de vida del sistema». La frase «utilizados según lo previsto» es de gran importancia para este caso, ya que ésta es precisamente la clave de lo que le está ocurriendo al sistema: no se está utilizando según lo previsto porque no funciona adecuadamente. 

Además, el AIA contiene otra obligación que establece que las personas afectadas deberán ser informadas cuando se utilice un HRAIS para tomar decisiones que les conciernan, incluso si el sistema sólo se utiliza a modo de apoyo en lugar de tomar la decisión de forma completamente automatizada (lo que va más allá del artículo 22 del RGPD sobre ADM). En tal caso, el proveedor está obligado a explicar cuáles han sido los elementos clave de la decisión.

Sin embargo, a diferencia del RGPD, en el AIA no existe un derecho individual a presentar una reclamación ante una autoridad de control. Por lo tanto, los particulares y las organizaciones civiles carecen de mecanismos para recurrir directamente o que puedan utilizar para hacer valer sus derechos o para iniciar un procedimiento ante las autoridades de control cuando se produzca un incumplimiento. 

Es cierto que el artículo 67, por ejemplo, otorga a las autoridades supervisoras la facultad de adoptar las medidas oportunas para que los operadores cumplan la normativa cuando exista un riesgo para la salud o la seguridad, o se vean amenazados los derechos fundamentales o el interés público. Sin embargo, todo queda en manos de las autoridades responsables, que tendrán que vigilar todo el mercado por sí mismas. Esto significa que, idealmente, tendrían que tener la capacidad tanto para tener conocimiento de cada problema como para iniciar todas las acciones necesarias de oficio; lo que, en la práctica, es casi imposible, pues será extremadamente complicado para las autoridades tener la capacidad de vigilar plenamente todo el mercado para para poder abarcar cada caso potencial de incumplimiento, dado el tamaño actual del mercado y la escala de uso de la inteligencia artificial. 

Todo lo anterior dejará a las autoridades en una posición delicada con respecto a los actores del mercado, tanto privados como públicos, ya que las autoridades nunca dispondrán de recursos suficientes para poder supervisar todo el mercado. También dejará desprotegidos a los particulares, que no tendrán ninguna posibilidad de reparación directa, así como a la sociedad civil, que carecerá de recursos para abordar directamente las prácticas problemáticas de la IA. Esto generará un desequilibrio de poder que favorecerá a los proveedores y distribuidores de IA y dificultará su aplicación. 

Por otro lado, en lo que respecta a la coherencia interna de la normativa, tampoco tiene sentido que se concedan a las personas determinados derechos (como el derecho a la transparencia) mientras no se les otorga el poder para hacerlos cumplir. 

Además de la Unión Europea, otros países y jurisdicciones están creando también legislación sobre Inteligencia Artificial, centrándose parte de ella en gran medida en la transparencia y la rendición de cuentas. Por ejemplo, la propuesta de Ley de Gobernanza Automatizada Transparente o Ley de Rendición de Cuentas Algorítmica en EE.UU., o la Directiva sobre Toma de Decisiones Automatizada en Canadá. 

Siguiendo los mismos principios, la Unión Europea, EE.UU. y el Reino Unido han firmado el primer tratado jurídicamente vinculante sobre IA, cuyo objetivo es garantizar que el uso de la IA se ajuste a «los derechos humanos, la democracia y el Estado de Derecho». El tratado establece como principios fundamentales, entre otros, la transparencia y la supervisión, así como la rendición de cuentas y la responsabilidad. 

Este tratado también recoge la necesidad de recursos apropiados, derechos procesales y salvaguardas, que incluyen la obligatoriedad de documentación, prácticas de transparencia que permitan a las personas impugnar cualquier decisión tomada por el sistema, la posibilidad de presentar una reclamación ante las autoridades competentes, garantías procesales efectivas y ser informado cuando se esté interactuando con un sistema de IA. 

Carta de Derechos Digitales

En 2021, el Gobierno español presentó la Carta de Derechos Digitales, que consagra una serie de principios a observar cuando interviene una inteligencia artificial; entre ellos transparencia, auditabilidad, explicabilidad, trazabilidad y accesibilidad. Sin embargo, al igual que ocurre con el AIA, esta Carta no establece obligaciones directamente aplicables ni incluye mecanismos de recurso directo, aunque sí que obliga a que las personas que interactúen con sistemas de IA tengan derecho a solicitar intervención y supervisión humana, a impugnar decisiones automatizadas y a ser asistidas por un humano a petición del ciudadano. 

oh, la justicia

Aplicación de los principios expuestos

Como se desprende del análisis realizado de la legislación aplicable, hay una serie de principios que se repiten en la mayoría de las normas: transparencia; rendición de cuentas; intervención humana; y derechos y mecanismos de reparación y recurso. 

Transparencia

El principio de transparencia, en términos generales, pretende facilitar la tarea de exigir responsabilidades a los representantes del pueblo, a las instituciones y a otros actores. Sin embargo, este principio también es en sí mismo una columna vertebral del Estado de Derecho, ya que el proceso legislativo, el texto de las normas y las decisiones tomadas en interpretación de las mismas deben llevarse a cabo de forma transparente. La transparencia es un requisito sine qua non para el Estado de Derecho, así como una parte necesaria de la rendición de cuentas. 

Sin embargo, por muy importante que sea la transparencia, la transparencia aplicada de forma tradicional, por sí sola, ha demostrado no ser suficiente. La transparencia no puede ser la única solución en todos los casos, sino que es necesario complementarla con otras medidas. Por ejemplo, los derechos de transparencia consagrados por el RGPD y el AIA son claramente insuficientes en el caso de BOSCO. En este caso, ambos derechos se refieren a la lógica y el razonamiento que subyacen a las decisiones tomadas por el algoritmo. Sin embargo, la lógica y el razonamiento de BOSCO ya los conocemos, pero siguen sin ser suficientes. 

En el caso de BOSCO no hay complejidad alguna en la toma de decisiones del sistema: el software sólo tiene que comprobar si se cumplen o no unos requisitos muy sencillos. No hay ningún otro valor o razonamiento detrás de la decisión tomada por el sistema. 

Curiosamente, en las conclusiones del Abogado General del caso C-203/22, el Abogado General (AG) considera que, desde la perspectiva del RGPD, una «información significativa sobre la lógica implicada» debe permitir al interesado ejercer los derechos que tiene garantizados. Esto presupone que la información, además de ser concisa, fácilmente accesible y comprensible, debe ser lo suficientemente completa y contextualizada como para permitir a dicha persona verificar su exactitud y si existe una coherencia y una relación de causalidad objetivamente verificables entre, por una parte, el método y los criterios utilizados y, por otra, el resultado al que se llega mediante la decisión automatizada.

En el caso de BOSCO, esto significa que la información otorgada debe ser suficiente para determinar si el método y los criterios utilizados para llegar a la decisión tomada son coherentes.

Además, el AG tiene en cuenta la existencia de derechos de terceros (datos personales de terceros y secretos comerciales) cuando se trata de partes delicadas del software o del propio código fuente. Cuando estos derechos puedan verse afectados, el AG ofrece una solución: que la información necesaria se entregue a una autoridad o tribunal para su examen, en lugar de entregarla a la parte afectada. Esto, interpretado sensu contrario, nos lleva a una conclusión muy razonable: cuando no existen tales derechos de terceros (es decir, no existen secretos comerciales ni datos de terceros), no hay razón para no revelar la información necesaria para que la persona pueda verificar la exactitud de la decisión. En este caso, no hay razón para no revelar el código fuente de BOSCO. 

En este sentido, el AIA también otorga a las autoridades supervisoras el poder de solicitar el código fuente de los sistemas de IA de alto riesgo en determinados casos, lo cual significa que no existe razón para interpretar que el código fuente sea «sacrosanto».

Es cierto que el Tribunal esgrimió, en su sentencia contra Civio, razones de ciberseguridad contra la divulgación del código. Sin embargo, este razonamiento suena más a una excusa que a otra cosa. Éste es un argumento completamente obsoleto que ya no se sostiene; hace tiempo que se ha demostrado que la seguridad por oscuridad no es una forma adecuada de proteger el software de posibles vulnerabilidades. Hasta la Agencia de Seguridad Nacional estadounidense (NSA) tiene un proyecto de código abierto en el que proporciona acceso libre al código de muchos de sus programas y herramientas de desarrollo propio. Una preferiría creer que la NSA no facilitaría dicho código si existiera algún riesgo al hacerlo. 

Pero tenemos ejemplos más cercanos sin necesidad de cruzar el Atlántico: el Gobierno español ha liberado el código fuente de aplicaciones de desarrollo propio para su escrutinio y auditoría públicos. El código fuente de la aplicación de rastreo COVID se reveló por razones de transparencia, como también se hizo en muchos otros países europeos. Si esto supusiera una vulnerabilidad, la revelación del código fuente de dicha app podría suponer un riesgo de divulgación no autorizada de los datos sanitarios de millones de personas. Sin embargo, el Gobierno confirmó que la aplicación era perfectamente segura y respetuosa con la privacidad, al tiempo que afirmaba que la tecnología debía ponerse al servicio de los ciudadanos. ¿Por qué habría de ser diferente el razonamiento en el caso de BOSCO u otros sistemas de IA creados por o para el sector público?

Otro de los principales argumentos en contra de la transparencia algorítmica siempre han sido los derechos de propiedad intelectual y la razón de ser de dichos derechos, ya que la propiedad intelectual busca proteger, entre otros, la inversión y el esfuerzo empleados para una creación intelectual. Sin embargo, cuando dicha creación es pagada o realizada directamente por la administración pública, el razonamiento anterior carece de sentido, ya que la inversión se realiza originalmente en interés de la ciudadanía y no busca ningún beneficio económico, al contrario que la empresa privada.

En tal caso, la administración pública no debe tener otro interés que el interés del pueblo. Por lo tanto, impedir la reutilización del código fuente carece de sentido, ya que no hay ánimo de lucro, mientras que la divulgación del código puede ser un activo para futuros proyectos. Además, impedir que el código sea auditado sólo conduciría a obstaculizar posibles mejoras y detección de errores. «Dinero público, código público».

Rendición de cuentas

El principio de rendición de cuentas (o “accountability”) nos permite someter a escrutino a determinados actores (empresas y administraciones) para que puedan ser examinados y rindan cuentas por sus actos. En un ámbito tan complejo y en constante evolución como es el uso de la inteligencia artificial y el impacto que ésta puede tener en nuestras vidas y en la sociedad en general, la rendición de cuentas adquiere más importancia que nunca.

En este sentido, el AIA exige a los sistemas de IA de alto riesgo un elevado nivel de responsabilidad. Dado que el Reglamento utiliza un enfoque basado en el riesgo, lo que se impone es un esquema gradual de requisitos y obligaciones en función del nivel de riesgo que plantee el sistema de IA para la salud, la seguridad y los derechos fundamentales. En este sentido, se les atribuye a los actores la responsabilidad de su propia buena gobernanza, y se les obliga a generar una serie de documentación interna, así como a crear procesos seguros y a someterse a auditorías externas. 

La rendición de cuentas o responsabilidad proactiva (“accountability”), consagrada como principio en el apartado 2 de su artículo 5, es también uno de los principios fundamentales del Reglamento general de protección de datos. Estos principios son aplicables a cualquier sistema que trate datos personales, incluyendo a BOSCO, como se ha señalado anteriormente. Y, una vez más, la transparencia, siempre vinculada a la rendición de cuentas, es otro de los principios de protección de datos que deben ser aplicados, como tambien lo son la licitud y la lealtad.

La necesidad de una gobernanza justa en el sector público aumenta según aumenta la capacidad tienen los sistemas de IA de afectar a nuestros derechos fundamentales. Esto implica que, indudablemente, es imprescindible hacer especial hincapié tanto en la transparencia como en la rendición de cuentas. Y la rendición de cuentas requiere que tengamos la capacidad de fiscalizar a las administraciones y exigirles responsabilidades. Por tanto, la administración deberá poner a disposición de la ciudadanía cualquier medio para inspeccionar el uso de dichos sistemas. 

Para ello existen muchas maneras, siendo una de ellas la existencia de auditorías independientes y externas del código fuente de los sistemas públicos de IA, así como la puesta a disposición del público de la documentación pertinente, incluido el código fuente cuando sea posible, la creación de un inventario público de dichos sistemas y el establecimiento de procesos de supervisión sólidos. 

Sin embargo, la rendición de cuentas por sí soa, sin una adecuada supervisión, no tiene sentido. Si las administraciones saben que nunca tendrán que rendir cuentas, se pierde todo el sentido de la exigencia de responsabilidades.

El ser humano en el proceso

«Human in the loop» (“el ser humano en el proceso”, HITL por sus siglas en inglés) es una de las soluciones más recurrentes cuando se habla de salvaguardas para los sistemas de IA. El derecho a solicitar la intervención humana, el derecho a no estar sujeto a decisiones tomadas únicamente por una máquina o el derecho a impugnar una decisión tomada por un sistema de IA aparecen una y otra vez como formas de minimizar los riesgos que estos sistemas suponen para los derechos y libertades de las personas.

Sin embargo, como se ha demostrado, esta solución presenta algunas limitaciones. la principal es que el HITL es, en muchos casos, mayormente una salvaguarda a posteriori. Cuando se trata de tareas o sistemas de ADM o no complejos, normalmente no interviene ningún humano en el proceso; de lo contrario, si en dicho proceso un humano fuera necesario, se perdería todo el sentido de automatizar ciertas acciones. Que la intervención humana ocurra a posteriori significa que 1) la persona afectada ya se habrá visto impactada por el sistema de IA, pudiendo ver afectados sus derechos, y 2) que muchas personas afectadas pueden aceptar la decisión tomada por el sistema sin contemplar (o sin ser capaces de comprender) la posibilidad de que sea errónea, por lo que es posible que ni siquiera se den cuenta de que sus derechos se han visto afectados. 

Sin embargo, en el caso de BOSCO, el algoritmo es tan simple que implicar a un humano en el proceso no tendría sentido. Añadir la revisión humana por defecto significaría que no habría necesidad de utilizar BOSCO, ya que revisar los resultados de BOSCO o revisar un formulario con unas pocas opciones supondrían la misma cantidad de tiempo y esfuerzo para la persona encargada; por lo tanto, BOSCO sería inútil.  

Derechos individuales y reparación

Los mecanismos de reparación son indispensables cuando se conceden derechos; pues no hay mejor forma de garantizar que se respeten los derechos que dar a los ciudadanos una vía adecuada para hacerlos valer. 

Sin embargo, es igualmente importante no hacer recaer todo el peso de esta responsabilidad en los ciudadanos, ya que la mayoría de las personas no suelen tener los conocimientos ni la capacidad para emprender procedimientos legales. Por eso es igualmente importante la actuación de la sociedad y organizaciones civiles, y por eso en normativas como el RGPD se otorga también a las organizaciones civiles la capacidad de presentar reclamaciones en nombre de ciudadanos particulares. Varias de las acciones más importantes para hacer cumplir el RGPD proceden de organizaciones civiles. Una acción de La Quadrature du Net dio lugar a la mayor multa bajo del RGPD (una multa de 746 millones de euros contra Amazon), mientras que noyb consiguió que el Comité Europeo de Protección de Datos pusiera en marcha un grupo de trabajo para tratar varias reclamaciones relativas al uso de cookies, lo que ha llevado a una aplicación más armonizada de la normativa. También consiguieron que la Autoridad Irlandesa de Protección de Datos tomara una decisión clave sobre el modelo de negocio de Meta. A raíz de una acción del Consejo Irlandés para las Libertades Civiles (ICCL), la Comisión Europea empezará a comprobar periódicamente el progreso de todos los casos a gran escala relacionados con el RGPD en toda la UE.

Como se ha visto, el buen funcionamiento de los derechos procesales individuales y civiles ha demostrado ser de gran importancia; por esta razón, la Comisión Europea ha presentado un proyecto para adoptar nuevas normas que garanticen una aplicación más estricta del RGPD en los casos transfronterizos. Como se suele decir, «las leyes, si no se aplican, no son más que simples consejos». 

Conclusiones

Todos los principios mencionados anteriormente están inextricablemente ligados. Es la suma de todos ellos lo que garantizará la buena gobernanza de la inteligencia artificial y el respeto de los derechos humanos de las personas afectadas por la IA.

Como señala Virginia Eubanks, un algoritmo nunca debería servir para liberar a quienes toman las decisiones de las consecuencias humanas de las decisiones políticas. Y más aún cuando esas decisiones ni siquiera se llevan a cabo tal y como el algoritmo debería llevarlas a cabo, como Civio ha demostrado y explicado. El hecho de que no sea la norma la que ha dado lugar al mal funcionamiento, sino el propio software, revela la imperiosa necesidad de tener acceso al código fuente de BOSCO (o de cualquier otro algoritmo que afecte a derechos fundamentales). 

Es necesario que la sociedad tenga la capacidad de supervisar aquellos sistemas que toman decisiones o que determinan directamente el resultado de decisiones con efectos relevantes; de lo contrario, atacar el Estado de Derecho sería tan fácil como automatizar todas las decisiones importantes, ya que no habría forma de supervisarlas.

Los ciudadanos ya gozan de ciertos derechos en relación con el uso de sistemas de IA que les afectan. Sin embargo, se ha demostrado que dichos derechos no son suficientes o que, al menos, no se aplican de forma justa. El marco legislativo vigente establece varias obligaciones de transparencia y rendición de cuentas que se complementan entre sí, así como principios que deberían haber evitado, en teoría, que ocurriera lo que ha ocurrido. Sin embargo, tales principios no han impedido, en efecto, que el sistema («sistema» como «sistema de IA», como «sistema jurídico» y como «sistema de administración pública») funcione incorrectamente. En parte, porque todo el peso de una gobernanza buena y justa no puede recaer únicamente en los ciudadanos. Una gobernanza buena y justa debe nacer de dentro de la misma administración, y ésta debe poner a disposición de la ciudadanía y de los actores civiles todos los medios posibles para fiscalizarla y exigirle responsabilidades. 

el mundo si la gobernanza de los sistemas de IA funcionase a la perfección

La entrada Lecciones de BOSCO se publicó primero en Citizen8.

Some years ago, the Spanish Government decided to change the conditions and requirements set for vulnerable people to receive a discount in their electricity bill. This subsequently led to the introduction of a newly developed software – created by the public administration – that electricity companies would need to use to determine whether a citizen is entitled to the bill reduction. This software, called BOSCO, was based on a regulation that defined the specific prerequisites to obtain the discount – prerequisites that were slightly different to the previously existing ones. These changes, along with the new complexity brought by the use of BOSCO and other bureaucracy issues, resulted in a huge number of people that ended up not requesting the grant they were entitled to. (Spanish version of this post, here).

Upon this happening, Civio, a Spanish organisation with the purpose of monitoring public bodies and powers, in collaboration with the National Markets and Competition Commission, created and launched a free application that would allow people to assess whether they were eligible for the grant, as well as help them with the bureaucratic process. However, through this app, they ended up discovering that BOSCO was apparently missassesing eligibility, since people that were entitled to the grant according to the requisites established by the regulation and according to Civio’s app were rejected by BOSCO.

The BOSCO case

In order to enlighten the issue, Civio requested the Ministry, and later the Council of Transparency, access to BOSCO’s source code. However, the Ministry, as well as the Council of Transparency, rejected their request and refused to give access to the code, so Civio filed a lawsuit against that decision. Based on a number of factors, the lawsuit was dismissed and Civio was rejected access to the source code of BOSCO. The judge upheld four main arguments: firstly, that BOSCO is a mere part of the administrative proceedings, so its outcome does not constitute an administrative decision. Secondly, that the non-disclosure of the code makes the application more secure, and since the code is not reusable, as it too specific, it should not be disclosed to avoid endangering security. Thirdly, that the algorithm has already been audited and that the outcome can be cross-checked with the norm to verify whether someone fulfils the requirements and is entitled to the grant. And fourthly, that public security may be threatened by disclosing the code. 

Subsequently, Civio challenged this judgement. In the meantime, the Council of Transparency undid itself and sided with Civio, but the Ministry still opposed to Civio’s responding lawsuit. On May 2024, this last lawsuit was also dismissed on similar grounds. 

every time I read ‘BOSCO’, mi brain can only picture Wall-E

Lessons from BOSCO – And further

Not only the Council of Transparency sided later with Civio, but also the Secretary of Digitalization and Artificial Intelligence did by declaring to be very unsatisfied with the BOSCO case, upholding the main arguments defended by Civio. The Ombudsman Office has called for further safeguards on the whole process, and the Government is currently studying a way to improve it. 

Also, it is to be noted that the general position of the Spanish Government and other administrations on algorithmic governance is clear in this regard. In 2021, the Spanish Government presented the Charter of Digital Rights, that enshrines a series of rights when citizens face the use of artificial intelligence systems. 

Additionally, initiatives like a Public Algorithms Register in Barcelona and shortly in Valencia show that steps are being taken towards transparency and good governance. For the private sector, the Parliament passed a law that regulates algorithmic transparency in the employment field. This norm gives workers the right to be informed about the parameters, rules and instructions via which algorithms or AI systems impact their working conditions and determine access to employment.

Hence, the BOSCO case looks more like an isolated case of malfunctioning rather than anything else. However, it is the whole point of norms and governance to create a framework to prevent such cases, or to offer solutions when they happen. This article will try to illustrate why good algorithmic governance is important, especially focusing on the public sector, how it is currently regulated, and how we can use these norms to obtain redress when something like this happens, as well as their limitations and proposals to address them.

A constitutional approach – What’s at stake?

The rule of law is enshrined in Article 2 of the Treaty on European Union as one of the common values for all Member States. Under the rule of law, all public powers shall act within the constraints set out by law, in accordance with the values of democracy and fundamental rights. The World Justice Project lays down a series of principles that build a rule of law system: accountability, meaning that the government as well as private actors are accountable under the law; just law, meaning that the law must be clear, publicised, and stable and must be applied evenly, and that it must ensure human rights as well as property, contract, and procedural rights; open government, meaning that the processes by which the law is adopted, administered, adjudicated, and enforced are accessible, fair, and efficient; and accessible and impartial justice, meaning that justice is delivered timely by competent, ethical, and independent representatives and neutrals who are accessible, have adequate resources, and reflect the makeup of the communities they serve.

In this sense, in Spain the Constitution enshrines the right of access to the law in the form of the principle of publicity of the norms. According to this principle, the people have the right to know of the existence and content of every norm that governs them. Following the same reasoning, another backbone of the rule of law is the right of people to know the reasoning of legal decisions that affect them, which is also generally applied in administrative law as the principle of motivation of administrative acts.

The two above mentioned principles can easily get impaired when code becomes law, if code is not disclosed. When a law is directly applied by an AI system, the system itself will become a self-enforceable law. In this case, the source code will be what will determine how the system works and how it reaches a decision. This means that the source code will basically be the text of the law, that determines how the law is applied. Hence, if we allow source code to become law by the way of automating such law, it should become law to a full extent. Among other implications, this shall also mean that the source code, as law, must be accessible to the people affected by it. 

This concept, coined as lex informatica by Joel Reidenberg, was subsequently popularised as “code is law” by Lawrence Lessig. The code-ification of the law poses a series of inherent risks, the most obvious one being its lack of capacity to interpret any norm or to adapt to a case-by-case basis: the code just rigidly executes what is written, with no room to interpretability. 

A second relevant risk, that is not inherent to code but to the way we behave around code, is the lack of transparency. Nowadays, as seen in the case of BOSCO and many others, there is a reluctance to give access to the source code of a system. This lack of visibility into the code, as explained, makes it impossible to audit the system in order to know whether it functions as it should, i.e., it makes it impossible to get access to the text of a law that is enforcing itself. 

A legal system is more than the sum of every legal text that composes it. Laws include introductory statements that help understand why they are necessary and how they need to be interpreted; they include principles to guide how they need to be applied, and include clauses and exceptions open to interpretability. Laws are later interpreted by judges, courts, and administrative bodies, on a case-by-case basis and taking all the latter into account. In conclusion: laws need to be able to adapt to a complex reality. 

A practical approach – Applicable legislation

Given the nature of AI systems, two main regulations are applicable to this case: the General Data Protection Regulation (GDPR), and the Artificial Intelligence Act (AIA). Other pieces of legislation relating to human rights and AI will also be taken into account. 

Data protection legislation

BOSCO, as most AI systems, processes personal data. This subjects it to the General Data Protection Regulation. This norm enshrines in Article 22 a general right not to be subject to automated decision making (ADM), when such a decision legally (or similarly) affects someone. When exceptions are met and ADM happens, it also grants the right to obtain human intervention, to express their point of view, and to contest the decision.

Although this Article provides for some exceptions to this prohibition, none of them apply. One of the exceptions can be applied when ADM is authorised by the law. However, in order to be able to apply it, suitable measures to safeguard the data subject’s rights and freedoms and legitimate interests shall be laid down in the law. This is something that does not happen in this case, since it is not specifically authorised by a state law and appropriate safeguards have not been established, as reasoned. 

In the Netherlands, the SyRI case can help us understand certain implications and shed some light on ADM in the public sector in similar cases. The Dutch Government’s System Risk Indication (SyRI) algorithm was an AI system for fraud detection targeted at neighbourhoods hosting poor or minority groups in the country. The system built risk profiles of individuals to detect various forms of fraud, including social benefits, allowances, and taxes fraud.

This case was investigated both by the District Court of The Hague and the Dutch Data Protection Authority (Dutch DPA). One relevant finding from the Court is that the system had a significant effect on the private life of the affected persons, breaching Article 8 of the European Convention on Human Rights (right to respect for private and family life). This implies that cases like this one shall fall under Article 22’s “legal effect”. 

Another relevant finding by the Dutch DPA determined that, irrespectively of whether Article 22 GDPR is applied, principles from Article 5 GDPR must be respected nonetheless. For what is relevant to this case, this includes the transparency and accountability principles. 

On another note, the ADM prohibition requires for the decision to be solely automated. However, case law accepts some degree of human involvement for it to continue to fall under Article 22. According to guidance from the European Data Protection Board (EDPB), not all forms of human involvement in a decision-making process rule out the application of Article 22, as mere token gestures taken by humans are not enough to set aside the ADM prohibition. In the case of BOSCO, even if the judgement declares that the decision is formally made by an administrative body and not by the system (since legally speaking an AI system cannot officially make an administrative decision), human involvement in the decision itself is de facto nowhere to be found. Hence, it shall be considered solely automated decision making, and Article 22 shall apply. 

The GDPR also grants transparency rights to people affected by ADM in its Article 15. Those rights include the right to know about the existence of such decisions, and to obtain meaningful information about the logic involved, as well as the significance and the envisaged consequences of such processing for the data subject.

Artificial intelligence legislation

The Artificial Intelligence Act was only a draft when the BOSCO case started, and most of it has not yet fully entered into force to this day. However, looking to the future, it is helpful to understand how this regulation may affect similar cases one day. 

The AI Act regulates the development, deployment and use of artificial intelligence systems in the European Union. It uses a risk-based approach with four levels of risk: unacceptable risk, high risk, limited risk, and minimal risk. 

High risk AI systems (HRAIS) include, among others, those that are used for evaluating (for or as a public authority) whether essential public assistance benefits and services are or continue to be available to a particular person. Therefore, BOSCO, aimed at evaluating whether citizens are entitled to an electricity grant due to vulnerability reasons, must be considered a HRAIS. 

These systems are subject to several obligations, most of them related to transparency and accountability, but also to robustness, accuracy and resiliency. Interestingly, one of them is that the AIA envisages that HRAIS shall have a conformity assessment carried out by an appropriate third party, what means that the legislator intends for these high-risk systems to be independently audited.Similarly, Recital 73 also requires high-risk systems to be designed so that «natural persons can oversee their functioning, ensure that they are used as intended and that their impacts are addressed over the system’s lifecycle.». The sentence “used as intended” is of great importance to this case, since this is precisely the key of what is happening to the system: it is not being used as intended because it is malfunctioning. 

Additionally, the AIA lays down another obligation that establishes that affected persons shall be informed when an HRAIS is used for decisions concerning them, even if the system is only used in a supporting capacity rather than making the full decision automatedly (which goes further than Article 22 GDPR on ADM). In such a case, the provider is obliged to explain what the key elements of the decision were.

However, contrary to the GDPR, there is no individual right to lodge a complaint with a supervisory authority in the AI Act. Hence, individuals and civil organisations lack any direct redress mechanisms that can be used to enforce their rights or to start a procedure with the supervisory authorities when non compliance happens. 

It is true that Article 67, for example, grants supervisory authorities the power to take any appropriate measures to bring operators into compliance where there is a risk to health or safety, or fundamental rights or public interest are threatened. However, everything is left to the authorities in charge, that will need to surveil the whole market by themselves. This means that, ideally, they would need to be able to be fully aware of every problem and to initiate every necessary actions own volition, which is, in practice, hardly impossible, since it will be extremely difficult to have the capacity to continuously monitor the whole market in order to notice every potential non-compliance case, given the size of the market and the current scale of AI use. 

All this will leave authorities in a delicate position with respect to market actors, both private and public, as authorities will never have enough resources to monitor the whole market, and it will also leave individuals unprotected, not having any possibility for direct redress, as well as civil society, that will lack any resources to directly face problematic AI uses. Hence, this will create an imbalance of power that will favour AI deployers and providers and will difficult enforcement. 

On the other hand, regarding internal coherence of the regulation, it equally makes no sense that individuals are given certain rights (like transparency rights) while they are not given the power to enforce them. 

Apart from the European Union, other countries and jurisdictions are creating legislation on Artificial Intelligence and a great part of it is focusing heavily in transparency and accountability, as the proposed Transparent Automated Governance Act or Algorithmic Accountability Act in the US, or the Directive on Automated Decision-Making in Canada. 

Following the same principles, the European Union, the US, and the UK have signed the first “legally binding” treaty on AI, which aims at ensuring that AI use aligns with “human rights, democracy and the rule of law”. The treaty lays down as fundamental principles, among others, transparency and oversight as well as accountability and responsibility. 

This treaty also establishes the need for appropriate remedies, procedural rights and safeguards, that include the need for documentation, transparency practices that allow people to challenge any decisions made by the system, the possibility of lodging a complain with the competent authorities, effective procedural guarantees, and notice when one is interacting with an AI system. 

Charter of Digital Rights

In 2021, the Spanish Government presented the Charter of Digital Rights, that enshrines a series of principles to be observed when dealing with artificial intelligence, including transparency, auditability, explicability, traceability, and accessibility. However, as happens in the AI Act, this Chart does not lay down any obligations that are directly enforceable nor includes any direct redress mechanisms, although it demands that people interacting with AI systems have the right to request human intervention and supervision, the right to challenge automated decisions, and the right to be assisted by a human at the citizen’s request. 

oh, justice

Applying our principles

As seen through our analysis of applicable legislation, there are a series of principles that are repeated throughout most of the norms: transparency; accountability; human in the loop; and rights and redress mechanisms. 

Transparency

The transparency principle, generally speaking, aims at facilitating the task of holding the representatives of the people, and institutions and other actors accountable. Yet it is in itself a backbone of the rule of law, as the legislative process, the text of the norms, and the decisions made in interpretation of the norms need to be carried out in a transparent manner. Transparency is a prerequisite to the rule of law as well as necessary for accountability. 

However important transparency might be, traditional transparency on its own has proven not to be enough. Transparency cannot be the only solution in all cases but also needs for other measures to complement it. For instance, the transparency rights enshrined by the GDPR and the AIA are clearly not enough in the case of BOSCO. Here, both rights relate to the logic involved and the reasoning behind the decisions made by the algorithm. Yet the logic and the reasoning of BOSCO are already known to us, but they have still not been enough. 

With BOSCO, there is no complexity whatsoever in the system’s decision making: the software only needs to check whether very simple requirements are met or not. There is no other value or reasoning behind the decision. 

Interestingly, in AG Opinion C-203/22, the Advocate General considers that, from a GDPR perspective, ‘meaningful information about the logic involved’ must enable the data subject to exercise the rights guaranteed to them. That presupposes that the information, apart from being concise, easily accessible and easy to understand, must be sufficiently complete and contextualised to enable that person to verify its accuracy and whether there is an objectively verifiable consistency and causal link between, on the one hand, the method and criteria used and, on the other, the result arrived at by the automated decision.

In the case of BOSCO, this means that the information should be enough to determine whether the method and criteria used to arrive to the decision are consistent.

Additionally, the AG takes into account the existence of rights of other parties (third-party personal data and trades secrets) when dealing with delicate parts of the software or the source code itself. Where these rights may be affected, the AG offers a solution: that the necessary information is given to an authority or court to be examined, instead of giving it to the affected party. This, interpreted sensu contrario, leads to a reasonable conclusion: when such third party rights do not exist (i.e. there are no trade secrets involved nor third-party data), there is no reason not to disclose any information necessary to enable the person to verify the accuracy of the decision. In this case, there is no reason not to disclose BOSCO’s source code. 

In this sense, the AI Act also grants supervisory authorities the power to request the source code of high-risk AI systems in certain cases, meaning that the source code is not meant to be “sacrosanct”.

It is true that the Court offered, in its judgement against Civio, cybersecurity reasons against the disclosure of the code. Yet this reasoning sounds like a made-up excuse rather than anything else. It is a completely outdated argument that does not hold itself; security through obscurity has long been proven to be an inadequate way of protecting software from vulnerability. Even the American National Security Agency (NSA) has an open-source project where it provides free access to the code of many of their own-developed software and tools. One would rather believe that the NSA would not provide such code if there was any risk. 

But we do have closer examples without needing to cross the Atlantic: the Spanish Government has released the source code of own-developed apps for public scrutiny and auditing. The COVID tracing app’s source code was revealed due to transparency reasons, as was also done in many other European countries. If this meant a vulnerability, the disclosure of the source code of such app could risk unauthorised disclosure of health data of millions of people. However, the Government confirmed the app to be perfectly secure and privacy-friendly, while stating that technology should be put at the service of the people. Why would be the reasoning any different in the case of BOSCO or other AI systems created by or for the public sector?

Another of the main arguments against algorithmic transparency have always been intellectual property rights and the rationale behind the existence of such rights, since intellectual property seeks to protect, among others, the investment and effort used for an intellectual creation. However, when such creation is paid for or directly made by the public administration, the reasoning above makes no sense, as the investment is originally made in the interest of the citizenry and seeks no economic profit, quite the opposite to the private company.

In such a case, the public administration shall have no other interest than the people’s interest. Therefore, preventing the reuse of the source code lacks any sense, since there is no profit motivation, while the disclosure of the code may be an asset for future projects. Also, preventing the code from being audited would only lead to hindering potential improvement and error detection. “Public money, public code”.

Accountability

The principle of accountability means to be a way that allows for actors to be scrutinised and held accountable for their actions. In the realm of the highly complex and constantly evolving landscape of artificial intelligence and the impact in our lives and in society in general, accountability acquires more importance than ever.

In this sense, the AI Act requires from high-risk AI systems an elevated level of accountability. Given the Act’s risk-based approach to AI regulation, it imposes a gradual scheme of requirements and obligations depending on the level of risk posed by the system to health, safety and fundamental rights. Hence, actors are given the main responsibility for good governance and are obliged to produce an array of relevant internal knowledge and documentation, as well as to create safe processes, and to be externally audited. 

Accountability, as anointed by Article 5(2) GDPR, is also one of the GDPR core principles; principles that shall be applicable to any system that processes personal data, including BOSCO, as remarked above. And once again, transparency, always linked to accountability, is another of the data protection principles to be applied, as well as lawfulness, and fairness.

The need for fair governance in the public sector becomes more and more important the more AI systems become able to affect our fundamental rights. This implies that putting special emphasis in transparency and accountability is needed. And accountability requires that we are able to scrutinise them and hold them accountable. When talking about AI systems, the administration shall make available any means for the citizenry to inspect the use of such systems. 

This can be done in several ways, one of them being the necessity for independent and external auditing of the source code of public AI systems, as well as making documentation publicly available, including the source code where possible, creating a public inventory of such systems, and establishing solid supervision processes. 

However, relying on accountability without supervision makes no sense. If actors know they will never be held accountable, the whole point of demanding accountability gets lost.

Human in the loop

“Human in the loop” (HITL) is one of the most recurring solutions when talking about safeguards for AI systems. The right to request human intervention, the right not to be subject to decisions made solely by a machine, or the right to challenge a decision made by an AI system appear again and again as ways of minimising the risks that these systems pose to people’s rights and liberties.

However, as seen, this solution presents some limitations. Mainly, that HITL is, in many cases, mostly an a posteriori safeguard. When talking about ADM or non-complex tasks or systems, no human will normally be involved in the process; otherwise, if a human was needed, the whole point of automatising certain actions would be missed. Happening a posteriori means that 1) the affected person will be already impacted by the AI system, possibly having their rights affected, and 2) that many affected persons may accept the decision made by the system without contemplating (or without being able to understand) the possibility of wrongness, so they may not even notice that their rights have been affected. 

However, in the case of BOSCO, the algorithm is so simple that having a human in the loop would make no sense. Adding human review by default would mean that there would not be a need for using BOSCO, since reviewing BOSCO’s output or reviewing a form with a few ticks would mean the same amount of time and effort to the person in charge; hence rendering BOSCO useless.  

Rights and redress

Redress mechanisms are indispensable where rights are granted; as coherent as it is, there is no better way to ensure that rights are respected than giving individuals an appropriate way to enforce them. 

However, it is equally important not to place the whole weight of enforcement on individuals, since most persons usually don’t have the knowledge nor the capacity to engage in legal procedures. This is why the action of civil society is equally important, and that’s why in regulations such as the GDPR, civil organisations are also given the capacity to file complaints of behalf of individuals. Several of the most important GDPR enforcement actions come from civil organisations. An action by La Quadrature du Net resulted in the biggest fine under the GDPR (a 746M € fine against Amazon), while noyb managed to get the European Data Protection Board to initiate a taskforce to deal with several complaints regarding to the use of cookies, which led to a more harmonised application of the law. They also led the Irish Data Protection Authority to a key decision on Meta’s business model. Following an action by the Irish Council for Civil Liberties (ICCL), the European Commission will start regularly checking the progress of all “large-scale” GDPR cases across the EU.

As seen, the good functioning of individual and civil procedural rights has been proven of great importance; for this reason, the European Commission has a project to adopt new rules to ensure stronger enforcement of the GDPR in cross-border cases. As the saying goes, “laws without enforcement are just good advice”. 

Conclusions

All the principles referred to above are inextricably linked together. It is the sum of them what will ensure the good governance of artificial intelligence and the respect for the human rights of those impacted by AI.

As remarked by Virginia Eubanks, an algorithm can never be a way of releasing regulators and decision-makers from human consequences of political decisions. Particularly, when those decisions are not even carried out as intended by the algorithm, as proven and explained by Civio. The fact that it is not the norm that has shaped the malfunctioning, but the software itself, reveals the compelling need of having access to the source code of BOSCO or any other algorithm impacting fundamental rights. 

It is necessary for the civil society to have the capacity to examine machines that are making decisions or directly determining the outcome of a decision with a relevant effect; otherwise, hindering the rule of law would be as easy as automating every significant decision, so there would not be means to scrutinise them.

Citizens are already given certain rights with regard to the use of AI systems that affect them. However, such rights have been proven not to be enough, or that they are not being fairly applied, at least. The existing framework lays down several transparency and accountability obligations that complement each other, as well as principles that should have prevented, in theory, what has happened from happening. Yet such principles have indeed not prevented the system (as in “AI system”, in “legal system”, and in “public administration system”) from malfunctioning. Partly, because the whole weight of a good and fair governance cannot be placed solely on the citizens. Good and fair governance must come from within the administration, and the administration shall make available to the citizenry and civil actors every way possible to scrutinise them and hold them accountable. 

the world if AI systems governance was perfect

La entrada Lessons from BOSCO se publicó primero en Citizen8.

La cantidad de horas que pasamos al día en internet ya supera en ocasiones a la cantidad de horas que dormimos. Navegamos por internet en nuestro tiempo de ocio, en el trabajo, cuando estamos con gente y cuando estamos a solas. Navegamos por internet desde nuestro móvil, nuestro ordenador, y ahora también desde nuestros relojes o televisores.

Sin embargo, la mayoría de las páginas que visitamos durante estas horas son gratuitas. Redes sociales, buscadores, infinidad de blogs y periódicos, páginas informativas o de know-how, vídeos, música… En un mundo en el que cada vez se fomenta más el consumo y existen menos cosas gratis… ¿Por qué no pagamos por aquello a lo que le dedicamos tantísima atención? ¿Qué sacan las plataformas de ofrecernos esos servicios “gratis”? Es más: ¿cómo puede ser que, usándolo tanto, sepamos tan poco de internet y lo que hay detrás?

TLDR: Si no te apetece leer hoy, tienes un vídeo y un resumen al final del artículo.

La adtech y la publicidad personalizada

La publicidad ha existido siempre. Bueno, no siempre, pero casi siempre desde que la mayoría podemos recordar. Solo hay que pensar en esos antiguos anuncios de Coca-Cola, por ejemplo. Hoy en día, ya entendemos la publicidad como parte del ecosistema capitalista y de consumo (y de otros ecosistemas, seguramente, pero este es el nuestro). La publicidad empezó en carteles en las paredes, vallas en las carreteras y páginas en los periódicos. Después, saltó a la televisión, en anuncios cada vez más originales y que competían por llamar la atención.

Hoy, la publicidad ya está en todas partes. Y donde más la consumimos es en internet. Si buscas en Google, los primeros resultados serán “promocionados”. En Instagram y Twitter, verás tweets, stories y posts publicitarios según hagas scroll. En el artículo que te han pasado por el grupo de Whatsapp también habrá publicidad. Y, sin embargo, si yo entro en ese mismo artículo, no veré los mismos anuncios que estás viendo tú. O que verá tu madre cuando lo lea. ¿Por qué?

Os damos la bienvenida al mundo de la publicidad personalizada; es decir, a publicidad seleccionada para ti en base a unos criterios definidos con base en la información que alguien tiene sobre ti.

Y hay toda una industria enorme detrás de la publicidad personalizada; la industria que sostiene el modelo actual de internet: la adtech (advertising technology, o tecnología publicitaria), con sus gigantes tecnológicos, con sus editores y su miríada de intermediarios. Intentaremos aclararlo más adelante, pero como el propio internet sobre el que se asienta, es un simbionte que puede cambiar en cualquier momento.

La mayoría de la gente que navega por internet (o sea, casi toda en nuestro contexto) lo hace sin saber de la existencia de esta industria y de sus consecuencias. Si has llegado hasta aquí y te interesa, debajo te contamos un poquito más de qué es esta industria y cómo funciona. Si no… imaginamos que ya no estarás leyendo.

El iceberg de la adtech

Empecemos con algo más visual. El iceberg que ves debajo ilustra de forma simplificada de qué van el famoso modelo de internet y la adtech:

Ahora sí, vamos con la explicación seria:

El cuento de Hansel y Gretel: de migas y cookies

Cuando navegas por internet, vas dejando miguitas de pan. Sí, como hacían Hansel y Gretel en el cuento, pero un rastro que ofrece más información de tu viaje: tu “huella digital” Esas migas de pan trazan el camino que has recorrido. Sin embargo, aunque los dos hermanos lo hacían conscientemente, para no perderse; tú… no.

En este modelo de internet, el que existe hoy en día, cada miga de pan que dejas sirve para algo: para seguirte, conocerte, entenderte y monitorizarte. Y existen una serie de actores que las recogen precisamente para estos propósitos. Pero esas migas o rastro que vamos dejando sobre todo lo que hacemos a través de internet, ¿cómo las recogen aquellos que nos quieren perfilar para fusilarnos a publicidad personalizada?

Las cookies

¿Se te viene a la mente alguna otra cosa que también nos encontramos cada día en internet, además de la publicidad, una y otra vez, en cada página web que visitamos? ¡Efectivamente, los ***** avisos de cookies!

Vale, pero… ¿qué tiene todo esto de la adtech y la publicidad que ver con las dichosas cookies?

Mucho.

Las cookies son unos pequeños archivos que las webs envían a tu ordenador, móvil o lo que sea con acceso a internet y un navegador cuando las visitas. Estos archivos sirven para recopilar información sobre ti y enviársela a la web. Parte de esta información es necesaria. Por ejemplo, la web necesita recordar qué idioma has elegido o qué tienes en el carrito de la compra. Si no, cada vez que hicieses click en otra parte de la web, todo eso desaparecería (y adiós a tu carrito de Zara en rebajas).

Sin embargo, hay muchos otros tipos de cookies que recopilan diferentes tipos de información. Y, sí, también lo habrás adivinado: no solo les interesa saber en qué idioma quieres ver la web. Estas otras son las cookies que aceptas cuando haces click en “aceptar” sin pensar.

Si te está entrando cargo de conciencia porque recuerdas alguna vez (o veces) que hiciste click instintivamente cuando querías leerlo; no te preocupes, ha sido culpa de la brujería de los patrones oscuros o “dark patterns”. Los patrones oscuros consisten en cosas como botones difuminados con el fondo, ausencia de botón o botones en verde para aprobado/bien y rojo para suspenso/malo, diseñados para que tu cabeza ni se lo piense. Y, aunque estén bastante relacionados con las cookies y esta industria, mejor los dejamos para otro momento.

Pues bien: estas cookies lo que hacen es recopilar toda clase de información sobre ti y lo que haces (y después la unen con la que ya poseen). Esto incluye desde qué ordenador navegas, qué otros dispositivos usas, tu localización, qué otras páginas visitas y qué haces en ellas, desde qué páginas has entrado en la web, con quién te comunicas, qué música escuchas o qué ves, qué aplicaciones usas, qué compras… Básicamente, todo lo que haces online: volvemos a tu “huella digital”.

De hecho, muchas páginas web no usan solamente cookies propias, sino también cookies de terceros; es decir, cookies de Google, o de Facebook, o de otras empresas, que también recopilan esta información.

También, si te fijas en el ejemplo de banner de arriba, encontramos otro elemento más que sumar a esta ya compleja ecuación: “tecnologías similares”. Aquí se engloban todas aquellas tecnologías, como el famoso tracking pixel, que te puede seguir allá por dónde vayas, o el omnipresente java, que actúan como cookies, pero no lo son (aunque, a efectos prácticos y legales, sí se podría decir que lo son). Si quieres saber un poco más sobre esto, te dejamos este enlace.

Por supuesto, y en cuanto a lo que nos ocupa, aquí solo nos interesan las cookies de publicidad comportamental o personalizada (más conocidas, como casi todo, por su nombre en inglés: “behavioural/personalized advertising cookies”), y no otras cookies más benévolas como aquellas que ayudan a mostrar publicidad no personalizada o, como decíamos antes, a conservar las cosas en tu carrito. (Para saber más, te dejamos directamente con la AEPD).

Seguimiento, perfilamiento y segmentación

Pues bien: todas estas empresas y ecosistema generan un perfil detallado e individualizado de cada persona. En este caso, de ti. En ese perfil, al que te asocian con un ID, se incluye absolutamente toda la información que se ha ido recopilando sobre ti. Es, posiblemente, más información de la que tú mismo tengas sobre ti. Esto puede consistir en: dispositivos utilizados, sus localizaciones (es decir, tu ubicación geográfica de prácticamente los últimos 15 años), tus contactos, todo tu historial de navegación, qué has comprado, qué has leído, qué páginas web has visitado, qué te interesa, qué películas y series ves, qué música escuchas, tus hobbies, dónde vives, dónde viven tus padres, en qué trabajas, qué has estudiado… y un largo etcétera.

Todos estos datos no los recopila una sola empresa, sino cientos de ellas, que comparten tus datos unas con otras para elaborar este perfil. Por supuesto, posteriormente, este perfil sirve para etiquetarte. Es decir, segmentarte y discriminarte (tanto en el sentido positivo como en el sentido negativo de la palabra).

En un ejemplo típico de navegación durante una tarde de trabajo y consultas, puedes ver la cantidad de empresas que me han seguido y recopilado mis datos:

Los círculos blancos representan las cookies instaladas en mi ordenador por la propia web visitada. Los triángulos son cookies de terceras webs, que instalan sus cookies a partir de las primeras. Y eso que yo nunca acepto dichas cookies…

La lista de socios de IAB (uno de estos intermediarios que se dedican a la publicidad personalizada) comprende, o ha comprendido, más de 450 socios. Debajo puedes ver qué te indica, por ejemplo, La Razón, sobre las cookies que utiliza. Fíjate en la cantidad de cosas que hacen (no es una lista completa) y, más abajo, en las empresas con las que comparten tus datos. No las he contado, pero son muchísimas (no las he contado porque, como veis en la barrita de scroll al lado de la lista de socios, tendría que ir muuuuy para abajo para contarlas todas).

Si quieres hacer el ejercicio, entra en https://www.larazon.es/ y, cuando aparezca el banner, dale a “configurar”. Ahí podrás ver los propósitos y, más abajo, podrás hacer click también para ver la lista de socios. (Si ya hubieras aceptado o configurado las cookies, puedes entrar en modo incógnito para poder ver el banner de nuevo).

Subasta en tiempo real

Si creías que no podía ser peor y que el negocio no podía ser más oscuro y complicado, espera a saber qué sucede detrás del telón. Cada vez que entras en una página web que te muestra publicidad personalizada, tiene lugar una subasta en la que el mejor postor será el que te enseñe su anuncio. Sí, sí, en ese segundo que tarda en cargar la web, cientos de empresas pujan por ese anuncio mientras comparan todos tus datos (los que hay en tu perfil individualizado) con lo que ellas buscan para elegir lo que más les convenga. Es decir, por cada anuncio que se te muestra en cada página web que visitas, cientos de empresas pasan toda tu vida digital por sus filtros.

Esto se conoce como subasta en tiempo real o “real time bidding” (RTB). Suena divertido, ¿verdad? También suena tremendamente proporcional y transparente (cartel de ironía).

Las consecuencias de todo esto

Antes, que alguien te siguiera por la calle era un motivo para ponerse nervioso. Ahora, solo queremos que los demás nos sigan en redes sociales. Quizá debido a esto y al desconocimiento de lo que realmente sucede, parece que el término “seguir” se ha diluido hasta pasar a no significar nada.

Sin embargo, solo hace falta pensarlo un poco y ponerse en situación para darse cuenta de que lo que sucede en el patio trasero de internet debería asustarnos.

¿No nos asustaríamos si el carnicero nos siguiera a todas partes y fuese apuntando en una libreta a dónde vamos, con quién hablamos, qué comemos y qué compramos? ¿Dónde trabajamos y dónde vivimos?

La Asociación Danesa de Consumidores lo ilustra magníficamente con este vídeo:

(Escoge los subtítulos en español o inglés en el vídeo)

Pero no se trata solamente de la recogida de datos, sino de la escala de recogida y perfilado que las nuevas tecnologías hacen posible. Ya no es tu panadero siguiéndote, que tendría un acceso muy limitado a datos sobre tu vida, aun pudiendo seguirte sin que lo denunciaras. Ni siquiera es un detective privado, con más medios. Es todo un sistema montado por las más grandes tecnológicas, que tienen casi el tamaño de países (o sin el casi), y que operan en un contexto virtual en el que hoy en día pasamos gran parte de nuestra vida.

Tampoco se trata ya siquiera de que sepan ya más de nuestra vida que nuestras madres y abuelas (a pesar de que no deja de ser aberrante y peligroso). Las nuevas tecnologías permiten un tratamiento posterior de tus datos que entraña muchísimos más peligros.

Muchos de los datos recopilados sobre ti también sirven para inferir otros datos. Por ejemplo, como se ha ilustrado más arriba, la raza puede ser utilizada para discriminar. Sin embargo, la raza puede no haber sido recopilada directamente como tal, sino inferida de otros datos: dónde vives, dónde estudias, qué idioma hablas, a dónde vas, o qué cultura consumes.

Un estudio muy interesante de The Markup muestra las miles de etiquetas con las que nos segmentan y clasifican. De tus datos pueden inferir, por ejemplo, que estás embarazada, o que tienes SIDA, o problemas de salud mental. Esto ha derivado en situaciones en las que se ha mostrado a mujeres que han perdidos a sus hijos durante su embarazo anuncios de carritos o de leche para bebé. Es fácil imaginarse el daño emocional que algo así puede producir. Y aunque pueda ser un (lamentable) error, también se han hecho cosas parecidas de forma intencional. Por ejemplo, clínicas antiabortistas han pagado para que se mostrasen anuncios de dichas clínicas antiabortistas a mujeres que buscan información de clínicas dónde abortar. ¿No es perverso?

La granularidad es tal que ya se ha comprobado que es posible conseguir que Facebook muestre un anuncio a una persona concreta, en base a sus atributos. ¿Te imaginas a un maltratador utilizando esto para saltarse la prohibición de comunicación con su víctima, al no disponer de otros medios de comunicación? Todo esto suena a Black Mirror, pero es muy real. Por ejemplo, hace ya años que unos periodistas demostraron que Facebook permitía discriminar por raza, discapacidad, u otros atributos, a la hora de mostrar anuncios personalizados de vivienda. En teoría, Facebook ya no permite hacer eso. En teoría.

Estas empresas se justifican en que la publicidad personalizada es la base de este el modelo de internet y en que, sin ella, internet, tal y como lo conocemos hoy, no existiría.

Sin embargo, cuando Apple permitió a sus usuarios elegir si querían o no ser objecto de este seguimiento, la mayoría dijeron que no. Una clara muestra de que, teniendo elección, la gente valora su privacidad y no quiere ser monitorizada. Y, por culpa de este movimiento de Apple, Facebook perdió 10B de dólares (10 billones americanos no son 10 billones europeos, pero siguen siendo muchos ceros) al no poder recopilar datos de estas personas. ¿Pero no decían que esto era gratis?

Se prevé que los beneficios de la adtech alcancen el trillón de dólares en 2030 (o sea, un billón europeo… creo. Como para no perderse con tantos ceros). Un trillón de dólares a cambio de nuestra privacidad. A cambio de nuestra autonomía y nuestra capacidad para decidir. ¿Desde cuándo se pueden comprar los derechos humanos, aún a ese precio?

Si bien es cierto que el modelo actual de internet no está formado solamente por la industria publicitaria, sí que sabemos que todo el modelo está diseñado para lo mismo: para que pensemos menos y actuemos más. Y actuemos más rápido y más impulsivamente, para que así estas empresas nos puedan dirigir más fácilmente. Dirigir nuestros pensamientos y nuestras acciones. Pensaremos menos, y pensaremos como ellos quieren. Consumiremos más, y consumiremos como ellos quieren. Para que puedan llegar a ese trillón de dólares.

Black Mirror comenzó a emitirse en 2011. 12 años después, nuestro mundo se parece más al de la serie que al de hace 20 años. ¿Queremos seguir en esa dirección?

Si no has visto la serie, quizá sea mucho pedir que te veas 27 capítulos y una película después de haberte leído todo este artículo para entender un poco más a dónde nos dirigimos (atención: dramatización). Sin embargo, 4 minutos de vídeo de la Organización Europea de Consumidores (BEUC) cumplen su cometido:

(De nuevo, puedes escoger los subtítulos en español o inglés en el vídeo)

TLDR; Hay miles de empresas que se dedican a recopilar absolutamente todos tus datos y qué haces en internet (y cuando digo todos, son todos) para poder mostrarte publicidad personalizada según tu perfil y embolsarse miles de millones de euros. También utilizan estos datos y todos los medios disponibles a su alcance para segmentarte, discriminarte y manipularte para que hagas lo que ellas quieren y pases más tiempo de internet, y así poder embolsarse todavía más dinero.

DISCLAIMER: Muchos conceptos y procesos han sido simplificados para facilitar su entendimiento. Este artículo no pretende ser académico sino divulgativo.

La entrada En Internet, el producto no solo eres tú se publicó primero en Citizen8.