Un número creciente de estados están desplegando herramientas avanzadas de vigilancia de la IA para monitorear, rastrear y vigilar a los ciudadanos. El nuevo índice de Carnegie explora cómo los diferentes países están tratando de hacerlo.
Steven Feldstein es un miembro senior en el Programa de Democracia, Conflicto y Gobernanza de Carnegie, donde se centra en temas de democracia, tecnología, derechos humanos, política exterior de Estados Unidos, tendencias de conflictos y Africa.
RESUMEN EJECUTIVO
La tecnología de inteligencia artificial (IA) está proliferando rápidamente en todo el mundo. Los desarrollos sorprendentes siguen emergiendo, desde el inicio de vídeos deepfake que desdibujan la línea entre la verdad y la falsedad, hasta algoritmos avanzados que pueden vencer a los mejores jugadores del mundo en el poker multijugador. Las empresas aprovechan las capacidades de IA para mejorar el procesamiento analítico; los funcionarios de la ciudad aprovechan la IA para monitorear la congestión del tráfico y supervisar la medición inteligente de energía. Sin embargo, un número creciente de estados está desplegando herramientas avanzadas de vigilancia de la IA para monitorear, rastrear y vigilar a los ciudadanos para lograr una serie de objetivos políticos: algunos lícitos, otros que violan los derechos humanos y muchos de los cuales caen en un terreno medio turbio.
Con el fin de abordar adecuadamente los efectos de esta tecnología, es importante entender primero dónde se están implementando estas herramientas y cómo se utilizan. Desafortunadamente, esa información es escasa. Para proporcionar una mayor claridad, este documento presenta un índice de vigilancia global de IA (AIGS), que representa uno de los primeros esfuerzos de investigación de su tipo. El índice recopila datos empíricos sobre el uso de la vigilancia de la IA en 176 países de todo el mundo. No distingue entre usos legítimos e ilícitos de la vigilancia de la IA. Más bien, el propósito de la investigación es mostrar cómo las nuevas capacidades de vigilancia están transformando la capacidad de los gobiernos para monitorear y rastrear a individuos o sistemas. Específicamente pregunta:
¿Qué países están adoptando la tecnología de vigilancia de la IA?
¿Qué tipos específicos de vigilancia de la IA están desplegando los gobiernos?
¿Qué países y empresas suministran esta tecnología?
La tecnología de vigilancia de la IA se está extendiendo a un ritmo más rápido a una gama más amplia de países de lo que los expertos han entendido comúnmente. Al menos setenta y cinco de los 176 países de todo el mundo utilizan activamente las tecnologías de IA con fines de vigilancia. Esto incluye: plataformas de ciudades inteligentes/ciudades seguras (cincuenta y seis países), sistemas de reconocimiento facial (sesenta y cuatro países) y vigilancia inteligente (cincuenta y dos países).
China es uno de los principales impulsor de la vigilancia de la IA en todo el mundo. La tecnología vinculada a las empresas chinas, en particular Huawei, Hikvision, Dahua y ZTE, suministra tecnología de vigilancia de IA en sesenta y tres países, treinta y seis de los cuales han firmado la Iniciativa de Cinturón y Carreteras de China (BRI). Huawei es el único responsable de proporcionar tecnología de vigilancia de IA a al menos cincuenta países de todo el mundo. Ninguna otra compañía se acerca. El siguiente mayor proveedor no chino de tecnología de vigilancia de IA es NEC Corporation de Japón (catorce países).
Las presentaciones de productos chinos a menudo van acompañadas de préstamos blandos para alentar a los gobiernos a comprar sus equipos. Estas tácticas son particularmente relevantes en países como Kenia, Laos, Mongolia, Uganda y Uzbekistán, que de otro modo podrían no acceder a esta tecnología. Esto plantea preguntas preocupantes sobre la medida en que el gobierno chino está subvencionando la compra de tecnología represiva avanzada.
Pero China no es el único país que suministra tecnología avanzada de vigilancia en todo el mundo. Las empresas estadounidenses también están activas en este espacio. La tecnología de vigilancia de IA suministrada por empresas estadounidenses está presente en treinta y dos países. Las empresas estadounidenses más significativas son IBM (once países), Palantir (nueve países) y Cisco (seis países). Otras empresas con sede en democracias liberales (Francia, Alemania, Israel, Japón) también están desempeñando un papel importante en la proliferación de esta tecnología. Las democracias no están tomando las medidas adecuadas para supervisar y controlar la propagación de tecnologías sofisticadas vinculadas a una serie de violaciones.
Las democracias liberales son los principales usuarios de la vigilancia de la IA. El índice muestra que el 51 por ciento de las democracias avanzadas despliegan sistemas de vigilancia de IA. En contraste, el 37 por ciento de los estados autocráticos cerrados, el 41 por ciento de los estados autocráticos/competitivos electorales y el 41 por ciento de las democracias electorales/democracias iliberales despliegan tecnología de vigilancia de la IA.1 Los gobiernos de plena democracia están desplegando una gama de tecnología de vigilancia, desde plataformas de ciudad seguras hasta cámaras de reconocimiento facial. Esto no significa inevitablemente que las democracias estén abusando de estos sistemas. El factor más importante que determina si los gobiernos implementarán esta tecnología con fines represivos es la calidad de su gobernanza.
Los gobiernos de los países autocráticos y semiautocráticos son más propensos a abusar de la vigilancia de la IA que los gobiernos en las democracias liberales. Algunos gobiernos autocráticos ,por ejemplo, China, Rusia y Arabia Saudita, están explotando la tecnología de IA con fines de vigilancia masiva. Otros gobiernos con tristes registros de derechos humanos están explotando la vigilancia de la IA de maneras más limitadas para reforzar la represión. Sin embargo, todos los contextos políticos corren el riesgo de explotar ilegalmente la tecnología de vigilancia de la IA para obtener ciertos objetivos políticos.
Existe una fuerte relación entre los gastos militares de un país y el uso por parte de un gobierno de los sistemas de vigilancia de la IA: cuarenta de los cincuenta principales países de gasto militar del mundo (basados en gastos militares acumulados) también utilizan tecnología de vigilancia de la IA.2
El informe «Freedom on the Net 2018» identificó dieciocho países de sesenta y cinco que habían accedido a la tecnología de vigilancia de la IA desarrollada por empresas chinas.3 El índice AIGS muestra que el número de países que acceden a la tecnología de vigilancia de la IA china ha aumentado a cuarenta y siete de los sesenta y cinco países en 2019.
NOTAS
El índice AIGS presenta una instantánea país por país de la vigilancia tecnológica de la IA con la mayoría de las fuentes cayendo entre 2017 y 2019. Dada la opacidad del uso de la vigilancia gubernamental, es casi imposible fijar por año específico qué plataformas o sistemas de IA están actualmente en uso.
El índice AIGS utiliza la misma lista de estados independientes incluidos en el proyecto Variedades de Democracia (V-Dem) con dos excepciones, con un total de 176.4 La lista de países de V-Dem incluye todas las políticas independientes en todo el mundo, pero excluye los microestado con poblaciones inferiores a 250.000 habitantes.
El índice AIGS no presenta una lista completa de las empresas de vigilancia de la IA que operan en determinados países. El documento utiliza informes de código abierto y análisis de contenido para obtener sus conclusiones. En consecuencia, existen ciertas limitaciones integradas. Algunas empresas, como Huawei, pueden tener un incentivo para destacar nuevas capacidades en este campo. Otras empresas han optado por restar importancia a su asociación con la tecnología de vigilancia y han mantenido deliberadamente documentos fuera del dominio público.
PRESENTACIÓN DEL ÍNDICE DE VIGILANCIA GLOBAL DE IA (AIGS)
La tecnología de IA fue relegada al mundo de la ciencia ficción, pero hoy nos rodea. Alimenta nuestros teléfonos inteligentes, cura nuestras preferencias musicales y guía nuestros canales de redes sociales. Tal vez el aspecto más notable de la IA es su repentina ubicuidad.
En términos generales, el objetivo de la inteligencia artificial es «hacer que las máquinas sean inteligentes» automatizando o replicando comportamientos que «permitan a una entidad funcionar adecuadamente y con previsión en su entorno», según el científico informático Nils Nilsson.5 La IA no es una tecnología específica. En cambio, es más preciso pensar en la IA como un sistema integrado que incorpora objetivos de adquisición de información, principios de razonamiento lógico y capacidades de autocorrección. Un subcampo importante de IA es el aprendizaje automático, que es un proceso estadístico que analiza una gran cantidad de información con el fin de discernir un patrón para explicar los datos actuales y predecir usos futuros.6 Varios avances están haciendo posibles nuevos logros en el campo: la maduración del aprendizaje automático y el inicio del aprendizaje profundo; computación en la nube y recopilación de datos en línea; una nueva generación de microchips avanzados y hardware informático; mejorar el rendimiento de algoritmos complejos; incentivos impulsados por el mercado para nuevos usos de la tecnología de IA.7
Como era de esperar, el impacto de la IA va mucho más allá de las opciones individuales de los consumidores. Está empezando a transformar los patrones básicos de gobernanza, no sólo proporcionando a los gobiernos capacidades sin precedentes para monitorear a sus ciudadanos y dar forma a sus elecciones, sino también dándoles nueva capacidad para interrumpir las elecciones, elevar la información falsa y deslegitimar el discurso democrático a través de las fronteras.
Este documento se centra en la vigilancia de la IA y las formas específicas en que los gobiernos están aprovechando una multitud de herramientas, desde sistemas de reconocimiento facial y plataformas de big data hasta algoritmos de vigilancia predictiva, para avanzar en sus objetivos políticos. Fundamentalmente, el índice no distingue entre la vigilancia de la IA utilizada con fines legítimos y la vigilancia digital ilegal. Más bien, el propósito de la investigación es arrojar luz sobre las nuevas capacidades de vigilancia que están transformando la capacidad de los estados, desde las autocracias hasta las democracias avanzadas, para vigilar a los individuos.
INDICE AIGS: METODOLOGÍA
El índice AIGS proporciona una imagen empírica detallada de las tendencias mundiales de vigilancia de la IA y describe cómo los gobiernos de todo el mundo están utilizando esta tecnología. Aborda tres preguntas principales:
¿Qué países están adoptando la tecnología de vigilancia de la IA?
¿Qué tipos específicos de vigilancia de la IA están desplegando los gobiernos?
¿Qué países y empresas suministran esta tecnología?
El índice AIGS figura en el Apéndice 1. Incluye información detallada para setenta y cinco países donde las investigaciones indican que los gobiernos están desplegando tecnología de vigilancia de la IA. El índice desglosa las herramientas de vigilancia de la IA en las siguientes subcategorías: 1) ciudad inteligente/ciudad segura, 2) sistemas de reconocimiento facial y 3) vigilancia inteligente. Se puede acceder a una versión completa del índice en línea en https://carnegieendowment.org/files/AI_Global_Surveillance_Index1.pdf. Se puede acceder a un mapa interactivo con clave en el índice que representa visualmente la propagación global de la tecnología de vigilancia de IA en https://carnegieendowment.org/publications/interactive/ai-surveillance.
La mayoría de las fuentes a las que hace referencia el índice se producen entre 2017 y 2019. Un pequeño número de fuentes datan de 2012. El índice utiliza la misma lista de países que se encuentran en el proyecto Variedades de Democracia (V-Dem) con dos excepciones menores.8 La lista de países de V-Dem incluye todas las políticas independientes en todo el mundo, pero excluye los microestado con poblaciones inferiores a 250.000 habitantes. El esfuerzo de la colección de investigación se peinó a través de material de código abierto, país por país, en inglés y otros idiomas, incluyendo artículos de noticias, sitios web, documentos corporativos, artículos académicos, informes de ONG, presentaciones de expertos y otras fuentes públicas. Se basó en el análisis sistemático de contenidos para cada país que incorporaba múltiples fuentes para determinar la presencia de la tecnología de vigilancia de IA pertinente y las empresas correspondientes. Las fuentes se clasificaron en niveles escalonados de fiabilidad y precisión. Las fuentes de primer nivel incluyen los principales medios de impresión y revistas de noticias (como el New York Times,El Economista,el Financial Timesy el Wall Street Journal). Las fuentes de segundo nivel incluyen los principales medios de comunicación nacionales. Las fuentes de tercer nivel incluyen artículos web, entradas de blog y otros abastecimientos menos justificados; estos sólo se incluyeron después de la corroboración múltiple.
Dados los limitados recursos y las limitaciones de personal (un investigador a tiempo completo más asistencia voluntaria para la investigación), el índice solo puede ofrecer una instantánea de los niveles de vigilancia de la IA en un país determinado. No proporciona una evaluación exhaustiva de toda la tecnología pertinente, los usos de vigilancia gubernamental y las empresas aplicables. Debido a que la investigación se basó principalmente en el análisis de contenido y las revisiones de la literatura para obtener sus hallazgos, hay ciertas limitaciones incorporadas. Algunas empresas, como Huawei, pueden tener un incentivo para destacar nuevas capacidades en este campo. Es posible que otras empresas deseen restar importancia a los enlaces a la tecnología de vigilancia y mantener deliberadamente los documentos fuera del dominio público.
Sería útil llevar a cabo investigaciones sobre el terreno que impliquen recopilación y verificación de información sobre el terreno. Varios países —como Angola, Azerbaiyán, Bielorrusia, Hungría, Perú, Sri Lanka, Túnez y Turkmenistán— proporcionaron pruebas circunstanciales o anecdóticas de la vigilancia de la IA, pero no suficientes datos verificables para justificar su inclusión en el índice.
Una dificultad importante era determinar qué tecnologías de IA deberían incluirse en el índice. Las tecnologías de IA que apoyan directamente los objetivos de vigilancia (plataformas de ciudades inteligentes/ciudad seguras, sistemas de reconocimiento facial, sistemas de policía inteligentes) se incluyen en el índice. La habilitación de tecnologías que son fundamentales para el funcionamiento de la IA pero que no son directamente responsables de los programas de vigilancia no se incluye en el índice.
Otro desafío de recopilación de datos es que los gobiernos (y muchas empresas) ocultan deliberadamente sus capacidades de vigilancia. Como tal, es difícil determinar con precisión en qué medida los estados están implementando algoritmos para apoyar sus objetivos de vigilancia, o si el uso de IA es más especulativo que real.
El índice no diferencia entre los gobiernos que implementan ampliamente técnicas de vigilancia de IA frente a aquellos que utilizan la vigilancia de IA en un grado mucho menor (por ejemplo, el índice no incluye una escala de intervalo estandarizada que se correlaciona con los niveles de vigilancia de la IA). Esto es por diseño. Debido a que este es un campo naciente y hay poca información sobre cómo los diferentes países están utilizando técnicas de vigilancia de IA, intentar puntuar el uso relativo de un país de vigilancia de la IA introduciría un nivel significativo de sesgo de los investigadores. En su lugar, se utilizó una variable básica: ¿existe presencia documentada de vigilancia de la IA en un país determinado? Si es así, ¿qué tipos de tecnología de vigilancia de IA está desplegando el estado? Las investigaciones futuras pueden ser capaces de evaluar y analizar los niveles de vigilancia de la IA de forma comparativa.
Por último, los casos de vigilancia de la IA documentados en el índice no están específicamente vinculados a resultados perjudiciales. El índice no diferencia entre la vigilancia ilegal y la legítima. En parte, esto se debe a que es extremadamente difícil determinar qué están haciendo específicamente los gobiernos en el ámbito de la vigilancia y cuáles son los impactos asociados; hay demasiado que es desconocido y oculto.
HALLAZGOS Y TRES PERSPECTIVAS CLAVE
Los resultados indican que al menos setenta y cinco de los 176 países de todo el mundo están utilizando activamente las tecnologías de IA con fines de vigilancia. Esto incluye: plataformas de ciudades inteligentes/ciudades seguras (cincuenta y seis países), sistemas de reconocimiento facial (sesenta y cuatro países) y vigilancia inteligente (cincuenta y dos países). De los hallazgos del índice AIGS se desprenden tres perspectivas clave.
En primer lugar, la adopción mundial de la vigilancia de la IA está aumentando a un ritmo rápido en todo el mundo. Setenta y cinco países, que representan el 43 por ciento del total de los países evaluados, están desplegando vigilancia impulsada por la IA de manera lícita e ilegal. El grupo de países es heterogéneo: provienen de todas las regiones y sus sistemas políticos van desde autocracias cerradas hasta democracias avanzadas. El informe «Freedom on the Net 2018» levantó las cejas cuando informó que dieciocho de los sesenta y cinco países evaluados estaban utilizando tecnología de vigilancia de la IA de empresas chinas.9 El período de evaluación del informe se desarrolló del 1 de junio de 2017 al 31 de mayo de 2018. Un año más tarde, el índice AIGS descubre que cuarenta y siete países de ese mismo grupo están desplegando tecnología de vigilancia de IA desde China.
Como era de esperar, los países con sistemas autoritarios y bajos niveles de derechos políticos están invirtiendo fuertemente en técnicas de vigilancia de la IA. Muchos gobiernos del Golfo, Asia Oriental y Asia Meridional y Central están adquiriendo sistemas analíticos avanzados, cámaras de reconocimiento facial y capacidades de monitoreo sofisticadas. Pero las democracias liberales en Europa también están avanzando para instalar controles fronterizos automatizados, vigilancia predictiva, ciudades seguras y sistemas de reconocimiento facial. De hecho, es sorprendente cuántos estudios de casos de vigilancia de ciudades seguras publicados en el sitio web de Huawei se relacionan con municipios de Alemania, Italia, los Países Bajos y España.
A nivel regional, hay claras disparidades. Las regiones de Asia Oriental/Pacífico y Oriente Medio/Norte de Africa son sólidas que adoptan estas herramientas. Asia Meridional y Central y las Américas también demuestran una considerable aceptación de los instrumentos de vigilancia de la IA. El Africa subsahariana es un rezagado: menos de una cuarta parte de sus países están invertidos en vigilancia de la IA. Lo más probable es que esto se deba al subdesarrollo tecnológico (los países africanos están luchando por ampliar el acceso de banda ancha a sus poblaciones; la región tiene dieciocho de veinte países con los niveles más bajos de penetración de Internet).10 Dada la agresividad de las empresas chinas para penetrar en los mercados africanos a través de BRI, es probable que estas cifras aumenten en los próximos años. La Figura 1 muestra el desglose porcentual por región de los países que adoptan la vigilancia de la IA.
En segundo lugar, China es un importante proveedor de vigilancia de la IA. La tecnología vinculada a las empresas chinas se encuentra en al menos sesenta y tres países en todo el mundo. Huawei es el único responsable de proporcionar tecnología de vigilancia de IA a al menos cincuenta países. También hay una considerable superposición entre la Iniciativa de Cinturón y Carretera de China y la vigilancia de la IA: treinta y seis de los ochenta y seis países bri también contienen tecnología significativa de vigilancia de la IA. Sin embargo, China no es el único país que suministra tecnología avanzada de vigilancia. Francia, Alemania, Japón y Estados Unidos también son actores importantes en este sector. Las empresas estadounidenses, por ejemplo, tienen presencia activa en treinta y dos países. La Figura 2 desglosa las empresas líderes en el sector.
En tercer lugar, las democracias liberales son los principales usuarios de la vigilancia de la IA. El índice muestra que el 51 por ciento de las democracias avanzadas despliegan sistemas de vigilancia de IA. En contraste, el 37 por ciento de los estados autocráticos cerrados, el 41 por ciento de los estados autocráticos/competitivos electorales y el 41 por ciento de las democracias electorales/democracias iliberales despliegan tecnología de vigilancia de la IA. Los gobiernos liberales democráticos están utilizando agresivamente herramientas de IA para vigilar las fronteras, detener a los posibles criminales, vigilar a los ciudadanos en busca de malos comportamientos y sacar a los presuntos terroristas de las multitudes. Esto no significa necesariamente que las democracias estén utilizando esta tecnología ilegalmente. El factor más importante que determina si los gobiernos explotarán esta tecnología con fines represivos es la calidad de su gobernanza, ¿existe un patrón existente de violaciones de los derechos humanos? ¿Existen fuertes tradiciones del Estado de derecho e instituciones independientes de rendición de cuentas? Esto debería proporcionar una medida de tranquilidad para los ciudadanos que residen en Estados democráticos.
Pero las democracias avanzadas están luchando para equilibrar los intereses de seguridad con las protecciones de las libertades civiles. En los Estados Unidos, un número cada vez mayor de ciudades han adoptado sistemas avanzados de vigilancia. Una investigación de 2016 de Kim Hart de Axios reveló, por ejemplo, que la policía de Baltimore había desplegado en secreto drones aéreos para llevar a cabo la vigilancia diaria sobre los residentes de la ciudad: «Desde un avión que vuela por encima, potentes cámaras capturan imágenes aéreas de toda la ciudad. Las fotos se togan cada segundo, y el avión puede estar dando vueltas por la ciudad hasta 10 horas al día».11 La policía de Baltimore también desplegó cámaras de reconocimiento facial para monitorear y arrestar a los manifestantes, particularmente durante los disturbios de 2018 en la ciudad.12 La ACLU condenó estas técnicas como el «equivalente tecnológico de poner un monitor GPS de tobillo [Servicio de Posicionamiento Global] en cada persona en Baltimore».13
En la frontera entre Estados Unidos y México, una serie de empresas de alta tecnología también cuentan con equipos de vigilancia avanzados. El contratista de defensa israelí Elbit Systems ha construido «decenas de torres en Arizona para detectar a personas hasta 7,5 millas de distancia», escribe Olivia Solon de The Guardian. Su tecnología se perfeccionó por primera vez en Israel a partir de un contrato para construir una «cerca inteligente» para separar Jerusalén de Cisjordania. Otra compañía, Anduril Industries, «ha desarrollado torres que cuentan con una cámara mejorada por láser, un radar y un sistema de comunicaciones» que escanea un radio de dos millas para detectar el movimiento. Las imágenes capturadas «se analizan utilizando inteligencia artificial para escoger a los seres humanos de la vida silvestre y otros objetos en movimiento».14 No está claro en qué medida estos despliegues de vigilancia están cubiertos por la ley estadounidense, y mucho menos si estas acciones cumplen con el estándar de necesidad y proporcionalidad.
Estados Unidos no es la única democracia que abraza la vigilancia de la IA. En Francia, la ciudad portuaria de Marsella inició una asociación con ZTE en 2016 para establecer el proyecto Big Data of Public Tranquility. El objetivo del programa es reducir la delincuencia mediante el establecimiento de una vasta red de vigilancia pública con un centro de operaciones de inteligencia y casi mil cámaras inteligentes de televisión de circuito cerrado (CCTV) (el número se duplicará para 2020). Las autoridades locales trompetan que este sistema hará de Marsella «la primera ‘ciudad segura’ de Francia y Europa».15 Del mismo modo, en 2017, Huawei «regaló» un sistema de vigilancia de escaparates a la ciudad norteña francesa de Valenciennes para demostrar su modelo de ciudad segura. El paquete incluía vigilancia CCTV de alta definición mejorada y un centro de comando inteligente impulsado por algoritmos para detectar movimientos inusuales y formaciones de multitudes.16
El hecho de que tantas democracias—así como las autocracias— estén asumiendo esta tecnología significa que el tipo de régimen es un mal predictor para determinar qué países adoptarán la vigilancia de la IA.
Un mejor predictor de si un gobierno adquirirá esta tecnología está relacionado con su gasto militar. Un desglose de los gastos militares en 2018 muestra que cuarenta de los cincuenta principales países de gasto militar también tienen tecnología de vigilancia de la IA.17 Estos países abarcan desde democracias completas hasta regímenes dictatoriales (y todo lo demás). Comprenden economías líderes como Francia, Alemania, Japón y Corea del Sur, y estados más pobres como Pakistán y Omán. Este hallazgo no es del todo inesperado; los países con inversiones sustanciales en sus ejércitos tienden a tener mayores capacidades económicas y tecnológicas, así como amenazas específicas de preocupación. Si un país se toma en serio su seguridad y está dispuesto a invertir recursos considerables en mantener sólidas capacidades de seguridad militar, entonces debería sorprender que el país busque las últimas herramientas de IA. Las motivaciones de por qué las democracias europeas adquieren vigilancia de la IA (control de la migración, seguimiento de las amenazas terroristas) pueden diferir de los intereses de Egipto o Kazajstán (mantener una tapa sobre la disidencia interna, reprimir a los movimientos activistas antes de que alcancen la masa crítica), pero los instrumentos son notablemente similares. Las investigaciones futuras podrían examinar las cifras de seguridad interna a nivel de país y compararlas con los niveles de vigilancia de la IA.
DISTINGUIR ENTRE VIGILANCIA LEGÍTIMA E ILEGAL
La vigilancia estatal no es intrínsecamente ilegal. Los gobiernos tienen razones legítimas para llevar a cabo una vigilancia que no se basa en el deseo de hacer cumplir la represión política y limitar las libertades individuales. Por ejemplo, las herramientas de seguimiento desempeñan un papel vital en la prevención del terrorismo. Ayudan a las fuerzas de seguridad a detenciar los malos actos y resolver casos problemáticos. Proporcionan a las autoridades la capacidad de supervisar las amenazas críticas y reaccionar en consecuencia. Pero la tecnología ha cambiado la naturaleza de la forma en que los gobiernos llevan a cabo la vigilancia y lo que eligen monitorear. Internet ha proliferado la cantidad de datos transaccionales o «metadatos» disponibles sobre individuos, como información sobre correos electrónicos enviados y recibidos, identificación de ubicación, seguimiento web y otras actividades en línea. Como señaló el ex relator especial de las Naciones Unidas Frank La Rue en un informe de vigilancia de 2013:
Los datos de comunicaciones son almacenables, accesibles y se pueden buscar, y su divulgación y uso por parte de las autoridades estatales no están regulados en gran medida. El análisis de estos datos puede ser altamente revelador e invasivo, especialmente cuando se combinan y agregan datos. Como tal, los Estados recurren cada vez más a datos de comunicaciones para apoyar las investigaciones policiales o de seguridad nacional. Los Estados también están obligando a la preservación y retención de datos de comunicación para que puedan llevar a cabo una vigilancia histórica.18
No hace falta decir que esas intrusiones afectan profundamente el derecho de una persona a la privacidad, a no ser sometidas a lo que la Oficina del Alto Comisionado de las Naciones Unidas para los Derechos Humanos (ACNUDH) llamó «interferencia arbitraria o ilegal con su privacidad, familia, hogar o correspondencia».19 La vigilancia también puede infringir el derecho de una persona a la libertad de asociación y de expresión. En virtud del derecho internacional de los derechos humanos, tres principios son fundamentales para evaluar la legalidad de una acción de vigilancia en particular.
En primer lugar, ¿permite la vigilancia del derecho interno? El sucesor de La Rue, David Kaye, publicó un informe en 2019 que afirmaba que las regulaciones legales debían «formularse con suficiente precisión para permitir que un individuo regulara su conducta en consecuencia y debe ser accesible al público». Los requisitos legales no deben ser «vagos o excesivos», lo que permitiría una discrecionalidad sin restricciones a los funcionarios gubernamentales. El propio marco jurídico debe ser «accesible públicamente, claro, preciso, amplio y no discriminatorio».20
En segundo lugar, ¿satisface la acción de vigilancia el criterio jurídico internacional de «necesidad y proporcionalidad», que restringe la vigilancia a situaciones que son «estrictamente y demostrablemente necesarias para alcanzar un objetivo legítimo»?21
En tercer lugar, ¿son legítimos los intereses que justifican la acción de vigilancia? Abundan los desacuerdos a la hora de determinar qué constituye una vigilancia legítima y qué es un abuso de poder. Si bien los gobiernos suelen justificar la vigilancia por motivos de seguridad nacional o de orden público, el ACNUDH advierte que esas restricciones pueden restringir «injustificada o arbitrariamente» el derecho de los ciudadanos a la libertad de opinión y de expresión. Sostiene que la vigilancia legítima exige a los Estados que «demuestren el riesgo que representa una expresión específica para un interés definido en la seguridad nacional o el orden público», y que se requiere un «sistema de supervisión sólido e independiente» que encomiende a los jueces que autoricen las medidas de vigilancia pertinentes y proporcionen recursos en casos de abuso.22 Kaye añade que la vigilancia legítima sólo debe aplicarse cuando el interés de una «nación entera está en juego», y debe excluir la vigilancia llevada a cabo «en interés exclusivo de un gobierno, régimen o grupo de poder».23
Las normas legales necesarias para llevar a cabo la vigilancia legítimamente son elevadas, y los gobiernos luchan por cumplirlas. Incluso las democracias con fuertes tradiciones del Estado de derecho y sólidas instituciones de supervisión con frecuencia no protegen adecuadamente los derechos individuales en sus programas de vigilancia. Los países con una aplicación legal débil o sistemas autoritarios «eluden rutinariamente estas obligaciones».24 Como concluye el informe inaugural del ACNUDH sobre la privacidad en la era digital, los Estados que , con «la falta de legislación y/o aplicación adecuadas, las débiles salvaguardias procesales y la supervisión ineficaz» reducen la rendición de cuentas y las condiciones más estrictas para la vigilancia digital ilegal.25
La vigilancia de la IA exacerba estas condiciones y hace que sea más probable que los gobiernos democráticos y autoritarios puedan llevar a cabo una vigilancia que contravenga las normas internacionales de derechos humanos. Frank La Rue explica: «Los avances tecnológicos significan que la eficacia del Estado en la realización de la vigilancia ya no está limitada por escala o duración. La disminución de los costos de la tecnología y el almacenamiento de datos ha erradicado los desincentivos financieros o prácticos para llevar a cabo la vigilancia. Como tal, el Estado tiene ahora una mayor capacidad para llevar a cabo una vigilancia simultánea, invasiva, dirigida y a gran escala que nunca.»26
La vigilancia de la IA, en particular, ofrece a los gobiernos dos capacidades principales. En primer lugar, la vigilancia de la IA permite a los regímenes automatizar muchas funciones de seguimiento y supervisión anteriormente delegadas a los operadores humanos. Esto aporta eficiencias de costos, disminuye la dependencia de las fuerzas de seguridad y anula los posibles problemas de lealtad de los agentes principales (donde las mismas fuerzas que operan a instancias del régimen deciden tomar el poder por sí mismas).
Dos, la tecnología de IA puede lanzar una red de vigilancia mucho más amplia que los métodos tradicionales. A diferencia de los agentes humanos «con reservas limitadas de tiempo y atención», los sistemas de IA nunca se cansan ni se fatigan.27 Como resultado, esto crea un «efecto escalofriante» sustancial incluso sin recurrir a la violencia física; Los ciudadanos nunca saben si un bot automatizado está monitoreando sus mensajes de texto, leyendo sus publicaciones en las redes sociales o geotrackando sus movimientos por la ciudad.28
Este documento reconoce que la tecnología de vigilancia de la IA es «valor neutral». En sí mismas, estas herramientas no fomentan la represión, y su presencia no significa que un gobierno las esté utilizando con fines antidemocráticos. El índice no especifica, país por país, si estos instrumentos están siendo utilizados por los gobiernos de manera lícita o ilegítima. Más bien, el objetivo del índice es identificar qué países poseen herramientas suficientemente avanzadas que les permitan perseguir una serie de objetivos de vigilancia.
¿CUÁNTO ESTÁ IMPULSANDO CHINA LA PROPAGACIÓN DE LA VIGILANCIA DE LA IA?
Empíricamente, el índice AIGS muestra que las empresas chinas, lideradas por Huawei, son proveedores líderes de vigilancia de la IA en todo el mundo. En general, China está haciendo un impulso sostenido para el liderazgo y la primacía en la IA.29 Un consenso creciente señala a China como un motor global de la «tecnología autoritaria». Los expertos afirman que las empresas chinas están trabajando directamente con las autoridades estatales chinas para exportar «tecnología autoritaria» a gobiernos afines con el fin de difundir influencia y promover un modelo de gobernanza alternativo.30 Pero, ¿es esto exacto?
Hay algo de verdad en este argumento: un subconjunto de las exportaciones chinas va directamente a países como Zimbabwe y Venezuela que son violadores graves de los derechos humanos y que de otro modo no podrían acceder a esa tecnología. Pero la vigilancia de la IA no va únicamente de un país autoritario (China) a otros estados autoritarios. Más bien, las transferencias están sucediendo de una manera mucho más heterogénea. China está exportando tecnología de vigilancia a las democracias liberales tanto como se dirige a los mercados autoritarios. Del mismo modo, las empresas con sede en democracias liberales (por ejemplo, Alemania, Francia, Israel, Japón, Corea del Sur, el Reino Unido y los Estados Unidos) están vendiendo activamente equipos sofisticados a regímenes desagradables.
Saudi Arabia is a good case in point. Huawei is helping the government build safe cities, but Google is establishing cloud servers, UK arms manufacturer BAE has sold mass surveillance systems, NEC is vending facial recognition cameras, and Amazon and Alibaba both have cloud computing centers in Saudi Arabia and may support a major smart city project.31 The index shows that repressive countries rarely procure such technology from a single source. In Thailand, government officials repeatedly emphasized the importance of “foreign policy balancing” and not affiliating too strongly with any one side: “Always been that way. That’s why we’re still a kingdom. We compromise, we negotiate, and we balance.”32
Dicho esto, hay razones especiales por las que los expertos están aplicando un mayor escrutinio a las empresas chinas. Huawei es el proveedor líder de sistemas de vigilancia avanzados en todo el mundo por un factor enorme. Su tecnología está vinculada a más países del índice que cualquier otra empresa. Está buscando agresivamente nuevos mercados en regiones como el Africa subsahariana. Huawei no solo proporciona equipos avanzados, sino que también ofrece soporte tecnológico continuo para configurar, operar y administrar estos sistemas.
Un informe de investigación reciente del Wall Street Journal ofrece un ejemplo revelador. Los periodistas descubrieron que los técnicos de Huawei en Uganda y Zambia ayudaron a los funcionarios del gobierno a espiar a los opositores políticos. Esto incluyó «interceptar sus comunicaciones cifradas y las redes sociales, y usar datos celulares para rastrear su paradero». Los empleados de Huawei no sólo desempeñaron un «papel directo en los esfuerzos del gobierno para interceptar las comunicaciones privadas de los oponentes», sino que también alentaron a los funcionarios de seguridad ugandeses a viajar a Argelia para que pudieran estudiar el «sistema inteligente de videovigilancia» de Huawei que operaba en Argel.33 Uganda posteriormente acordó comprar un sistema similar de vigilancia de reconocimiento facial de Huawei que costaba 126 millones de dólares.34
El proyecto del Instituto Australiano de Política Estratégica sobre la cartografía de los gigantes tecnológicos de China indica que Huawei es responsable de setenta y cinco «proyectos de seguridad pública-ciudad inteligente», y ha visto un aumento colosal en su línea de negocio: «En 2017, Huawei incluyó 40 países donde se habían introducido sus tecnologías de ciudades inteligentes; en 2018, ese alcance había tenido más del doble que 90 países (incluidas 230 ciudades).»35 Huawei está presentando directamente el modelo de ciudad segura a las agencias de seguridad nacional, y el Banco Exim de China parece estar endulzando el acuerdo con préstamos subsidiados. El resultado es que un país como Mauricio obtiene financiación a largo plazo del gobierno chino, que ordena la contratación con empresas chinas.36 El gobierno de Mauricio recurre entonces a Huawei como el principal contratista o sub-premiado para establecer la ciudad segura e implementar controles avanzados de vigilancia.
También está cada vez más claro que empresas como Huawei operan con mucha menos independencia del gobierno chino de lo que afirman. Huawei fue fundada en 1987 por Ren Zhengfei, un ex oficial del Ejército Popular de Liberación que sirvió en su «división de tecnología militar», señaló Anna Fifield en el Washington Post.37 Hay informes consistentes de que Huawei recibe importantes subsidios del gobierno chino.38 También parece haber fuertes conexiones entre el liderazgo de Huawei y el aparato de seguridad e inteligencia de China. Sun Yafang, por ejemplo, presidenta de la junta directiva de Huawei de 1999 a 2018, alguna vez trabajó en el Ministerio de Seguridad del Estado de China.39 Max Chafkin y Joshua Brustein informaron en Bloomberg Businessweek que hay acusaciones de que Ren puede haber sido un «maestro de espionaje chino de alto rango y de hecho todavía puede ser».40 Los expertos sostienen que el Partido Comunista Chino está estableciendo cada vez más «células de partido» en empresas privadas para permitir un mayor acceso y control.41 Huawei ha demostrado públicamente que «definitivamente diría que no» a cualquier demanda del gobierno chino de entregar los datos de los usuarios.42 Pero esto contraviene una ley de seguridad nacional china de 2015 que obliga a las empresas a permitir el acceso de terceros a sus redes y a entregar el código fuente o las claves de cifrado a petición.43 La estructura de propiedad declarada de Huawei es notablemente opaca. Un estudio académico reciente de Christopher Balding y Donald C. Clarke concluyó que el 99 por ciento de las acciones de Huawei están controladas por un «comité sindical», que con toda probabilidad es un apoderado para el control estatal chino de la compañía».44
Incluso si las empresas chinas están haciendo un mayor impulso para vender tecnología de vigilancia avanzada, la cuestión de la intencionalidad sigue siendo desconcertante, ¿hasta qué punto las empresas chinas como Huawei y ZTE operan de su propio interés económico al vender tecnología de vigilancia en comparación con llevar a cabo las ofertas del Estado chino? Al menos en Tailandia, las entrevistas recientes a la investigación no presentaron indicios de que las empresas chinas están impulsando una agenda concertada para vender equipos avanzados de vigilancia de la IA o alentar al gobierno a construir sofisticados sistemas de monitoreo. Un funcionario del Ministerio del Interior de Tailandia señaló que mientras la tecnología de IA está «ahí fuera» y algo en lo que el gobierno está pensando más, «China no ha ofrecido ninguna IA. No le da IA, los tailandeses tienen que preguntar».45 El modelo de ciudad inteligente/ciudad segura también obtuvo escepticismo. Somkiat Tangkitvanich, un experto en tecnología líder en Tailandia, comentó: «La idea de una ciudad inteligente es una broma». Transmitió una conversación reciente que tuvo con el ministro de tecnologías de la información y las comunicaciones (TIC) de Tailandia: «El [ministro] se jactó de la ciudad inteligente de Phuket… Me dijo que estamos pensando en dar pulseras a los turistas para que podamos rastrearlas, podemos ayudarles. Algo así. Pero en realidad no está implementado. ¡La ciudad inteligente de Phuket ofrece conexión Wi-Fi e Internet gratis a los turistas!»46 Esto sirve como un recordatorio útil de que se necesita más investigación sobre el terreno para separar la hipérbole de los hechos en esta área.
TIPOS DE VIGILANCIA DE LA IA
En las secciones siguientes se describirán las técnicas clave de vigilancia de la IA y cómo los gobiernos de todo el mundo las están desplegando para apoyar objetivos políticos específicos.
Los Estados utilizan la tecnología de IA para lograr una amplia gama de objetivos de vigilancia. Esta sección detalla tres herramientas principales de vigilancia de IA incorporadas en el índice AIGS: plataformas de ciudades inteligentes/ciudades seguras, sistemas de reconocimiento facial y vigilancia inteligente. También describe tecnologías de habilitación, como la computación en la nube y las redes de Internet de las cosas (IOT), que son integrales para que las herramientas de vigilancia de IA funcionen. Las tecnologías de habilitación no se incorporan en el índice.
Es importante destacar que la vigilancia de la IA no es un instrumento independiente de represión. Forma parte de un conjunto de herramientas de represión digital: las tecnologías de información y comunicaciones utilizadas para vigilar, intimidar, coaccionar y hostigar a los oponentes con el fin de imponer una sanción a un objetivo y poner enunciar actividades o creencias específicas que desafían al estado.47 (Véase el Apéndice 2 para obtener más información.) La Tabla 1 resume cada técnica y su nivel correspondiente de implementación global.
CIUDADES INTELIGENTES/CIUDADES SEGURAS
El Banco Mundial describe las ciudades inteligentes como centros urbanos «intensivos en tecnología» con una serie de sensores que recopilan información en tiempo real de «miles de dispositivos interconectados» con el fin de facilitar la mejora de la prestación de servicios y la gestión de la ciudad.48 Ayudan a las autoridades municipales a gestionar la congestión del tráfico, dirigir los vehículos de emergencia a los lugares necesarios, fomentar el uso sostenible de la energía y agilizar los procesos administrativos. Pero existe una creciente preocupación de que las ciudades inteligentes también estén permitiendo un aumento espectacular de la vigilancia pública y de las capacidades de seguridad intrusivas. IBM, uno de los acuñadores originales del término, diseñó un modelo municipal similar al cerebro en el que la información relevante para las operaciones de la ciudad podría procesarse y analizarse de forma centralizada.49 Un componente clave de la ciudad inteligente de IBM es la seguridad pública, que incorpora una serie de sensores, dispositivos de seguimiento y tecnología de vigilancia para aumentar las capacidades de la policía y las fuerzas de seguridad.
Huawei ha estado al frente sobre la trompeta de las tecnologías de seguridad pública para las ciudades inteligentes. Está comercializando «ciudades seguras» a las comunidades encargadas de hacer cumplir la ley para «predecir, prevenir y reducir la delincuencia» y «abordar las amenazas nuevas y emergentes».50 In a 2016 white paper, Huawei describes a “suite of technology that includes video surveillance, emergent video communication, integrated incident command and control, big data, mobile, and secured public safety cloud” to support local law enforcement and policing as well as the justice and corrections system.51 Huawei explicitly links its safe city technology to confronting regional security challenges, noting that in the Middle East, its platforms can prevent “extremism”; in Latin America, safe cities enable governments to reduce crime; and that in North America, its technology will help the United States advance “counterextremism” programs.52
¿Cómo funcionan estas plataformas en la práctica para avanzar en los objetivos de vigilancia? La firma de TI Gartner, que se asocia con Microsoft en ciudades inteligentes, ofrece un ejemplo:
La Autoridad de Desarrollo de la Región de La Meca de Arabia Saudita (MRDA) creó un sistema de control de multitudes para aumentar la seguridad de los peregrinos del Hayy. Los datos se recopilan a través de una pulsera que incorpora información de identidad, requisitos especiales de atención médica y un GPS. Además, se instalan cámaras de vigilancia para recopilar y analizar vídeo en tiempo real a lo largo de la Línea Sur del Metro Al Mashaaer Al Mugaddassah (MMMSL), así como en los sitios sagrados, como la Gran Mezquita de La Meca, el Monte Arafat, Jamarat y Mina.53
Como era de esperar, estos sistemas se prestan a un uso indebido. Recientemente, el proyecto de ciudad segura de Huawei en Serbia, que tiene la intención de instalar 1.000 cámaras de alta definición (HD) con reconocimiento facial y capacidades de reconocimiento de matrículas en 800 lugares de Belgrado, provocó indignación nacional.54 Huawei publicó un estudio de caso (desde que se eliminó) sobre los beneficios de las ciudades seguras y describió cómo una tecnología de vigilancia similar había facilitado la aprehensión de un perpetrador serbio que había huido del país a una ciudad de China: «Basado en imágenes proporcionadas por la policía serbia, el … [local] La Oficina de Seguridad Pública hizo un arresto en un plazo de tres días utilizando nuevas tecnologías».55 En lugar de aplaudir la eficacia del sistema, los comentaristas serbios observaron que en un país atormentado por la corrupción endémica y la invasión del autoritarismo, esa tecnología ofrece una poderosa herramienta para que las autoridades serbias frenen la disidencia y perpetran los abusos.
Las plataformas de ciudades inteligentes con un vínculo de seguridad pública directo se encuentran en al menos cincuenta y seis de setenta y cinco países con tecnología de vigilancia de IA.
SISTEMAS DE RECONOCIMIENTO FACIAL
El reconocimiento facial es una tecnología biométrica que utiliza cámaras, tanto imágenes fijas o de vídeo, para que coincidan con imágenes almacenadas o en directo de personas con imágenes de una base de datos. No todos los sistemas de reconocimiento facial se centran en la identificación individual a través de la coincidencia de bases de datos. Algunos sistemas están diseñados para evaluar tendencias demográficas agregadas o para llevar a cabo análisis de opiniones más amplios a través del escaneo de multitudes de reconocimiento facial.
A diferencia de la CCTV ordinaria, que ha sido un pilar de las fuerzas policiales durante veinticinco años, las cámaras de reconocimiento facial son mucho más intrusivas. Pueden escanear rasgos faciales distintivos con el fin de crear mapas biométricos detallados de individuos sin obtener el consentimiento. A menudo, las cámaras de vigilancia de reconocimiento facial son móviles y ocultables. Por ejemplo, las fuerzas de seguridad en Malasia han concertado una asociación con la empresa tecnológica china Yitu para equipar a los oficiales con cámaras corporales de reconocimiento facial. Esto permitirá a los funcionarios de seguridad «comparar rápidamente las imágenes capturadas por las cámaras del cuerpo en vivo con las imágenes de una base de datos central».56
Huawei es un importante proveedor de videovigilancia de reconocimiento facial, particularmente como parte de sus plataformas de ciudad segura. Describe los beneficios de la tecnología en el proyecto Kenya Safe City:
Como parte de este proyecto, Huawei desplegó 1.800 cámaras HD y 200 sistemas de vigilancia del tráfico HD en toda la capital del país, Nairobi. Se estableció un centro de mando de la policía nacional que apoya a más de 9.000 agentes de policía y 195 comisarías de policía para lograr el seguimiento y la resolución de casos. El sistema funcionó durante la visita del Papa Francisco a Kenia en 2015, donde más de ocho millones de personas acogieron con beneplácito su llegada. Con la videovigilancia HD de Huawei y una solución de comando integrada visualizada, la eficiencia de los esfuerzos policiales, así como las tasas de detención, aumentaron significativamente.57
Los expertos detallan varias preocupaciones asociadas con el reconocimiento facial.
En primer lugar, pocas reglas rigen el acceso y el uso de bases de datos de imágenes (repositorios que almacenan imágenes capturadas de cámaras de reconocimiento facial). La forma en que los gobiernos utilizan esta información, cuánto tiempo se almacenan las imágenes y dónde las autoridades obtienen esas imágenes en primer lugar son cuestiones opacas y varían según la jurisdicción. Divulgaciones recientes que las agencias de aplicación de la ley de los Estados Unidos (la Oficina Federal de Investigación e Inmigración y Control de Aduanas) escanearon a través de millones de fotos en las bases de datos de licencias de conducir estatales sin conocimiento previo o consentimiento son una pequeña sorpresa. El vacío de controles legales y equilibrios ha llevado a un «sistema de vigilancia primero, pedir-permiso-más tarde», señaló Drew Harrell en el Washington Post.58
En segundo lugar, la precisión de la tecnología de reconocimiento facial varía significativamente. Ciertas pruebas han revelado tasas de coincidencia falsa inaceptablemente altas. Un reciente informe independiente de la Policía Metropolitana del Reino Unido encontró que su tecnología de reconocimiento facial tenía una tasa de error extraordinaria del 81 por ciento.59 Del mismo modo, Axon, un proveedor líder de cámaras de cuerpos policiales en los Estados Unidos, anunció que dejaría de ofrecer reconocimiento facial en sus dispositivos. El consejo de ética independiente de Axon declaró: «La tecnología de reconocimiento facial no es lo suficientemente confiable para justificar éticamente su uso».60
Pero otras evaluaciones demuestran resultados mucho más favorables. Las evaluaciones realizadas entre 2014 y 2018 de 127 algoritmos de treinta y nueve desarrolladores por el Instituto Nacional de Estándares y Tecnología de estados Unidos mostraron que «el software de reconocimiento facial obtuvo 20 veces mejor en la búsqueda de una base de datos para encontrar una fotografía coincidente». La tasa de fracaso en el mismo período disminuyó de 4.0 por ciento a 0.2 por ciento.61
Una razón para la discrepancia es que en condiciones ideales, el reconocimiento facial puede funcionar muy bien. Pero cuando se lanzan variables inesperadas (imágenes de base de datos de mal tiempo o difusas), las tasas de fallas comienzan a dispararse. La tecnología de reconocimiento facial también ha sido incapaz de sacudir sesgos raciales y de género consistentes, lo que conduce a falsos positivos elevados para las minorías y las mujeres —»cuanto más oscura es la piel, más errores surgen— hasta casi un 35 por ciento para las imágenes de mujeres de piel más oscura», señaló Steve Lohr en el New York Times.62
Los ciudadanos están empezando a luchar contra los sistemas de reconocimiento facial. Los manifestantes en Hong Kong, por ejemplo, se han encubiertado la cara y han desactivado sus inicios de sesión de reconocimiento facial de teléfonos inteligentes para impedir el acceso de las fuerzas del orden. También han dado la vuelta a la policía tomando fotos de oficiales sin bolsa y usando imágenes de reconocimiento facial buscando exponer las identidades de los oficiales en línea.63
Los sistemas de reconocimiento facial se están extendiendo rápidamente por todo el mundo. El índice identifica al menos sesenta y cuatro países que están incorporando activamente sistemas de reconocimiento facial en sus programas de vigilancia de la IA.
POLICÍA INTELIGENTE
La idea detrás de la policía inteligente es introducir inmensas cantidades de datos en un algoritmo (ubicación geográfica, niveles históricos de detención, tipos de delitos cometidos, datos biométricos, fuentes de redes sociales) con el fin de prevenir el crimen, responder a actos delictivos o incluso hacer predicciones sobre actividades criminales futuras. Como señala Privacy International: «Con la proliferación de cámaras de vigilancia, reconocimiento facial, inteligencia de código abierto y redes sociales, biometría y datos que surgen de ciudades inteligentes, la policía ahora tiene acceso sin precedentes a cantidades masivas de datos». Por lo tanto, un componente importante para la regulación inteligente es crear plataformas automatizadas que puedan desagregar inmensas cantidades de material, facilitar la entrada de datos procedentes de múltiples fuentes y permitir la recopilación afinada de información individual.
Un área que ha recibido considerable atención reciente es la vigilancia predictiva. La técnica se aceleró en los Estados Unidos después de que el Instituto Nacional de Justicia comenzara a emitir subvenciones para proyectos piloto de vigilancia predictiva en 2009. En esencia, estos programas afirman predecir con notable precisión, basado en la agregación masiva de datos, dónde se cometen futuros crímenes y qué individuos es probable que cometan esos crímenes. La vigilancia predictiva ha explotado en popularidad. El programa de análisis predictivo de PredPol, por ejemplo, es desplegado «por más de 60 departamentos de policía de todo el país».64
Pero hay crecientes preocupaciones sobre el sesgo y los prejuicios algorítmicos, así como la eficacia de estas predicciones. Informes recientes de Caroline Haskins for Vice describen cómo funciona el algoritmo de pronóstico predictivo de delitos de PredPol. El software de Predpol genera pronósticos de criminalidad para los oficiales de policía «en una escala tan pequeña como 500 por 500 pies cuadrados», que puede identificar casas específicas. Se supone que «ciertos crímenes cometidos en un momento determinado son más propensos a ocurrir en el mismo lugar en el futuro».65 PredPol revela que «los conjuntos de datos de eventos históricos se utilizan para entrenar el algoritmo para cada nueva ciudad (idealmente de 2 a 5 años de datos). A continuación, PredPol actualiza el algoritmo cada día con nuevos eventos a medida que se reciben del departamento.» Las nuevas predicciones se resaltan en cajas rojas especiales superpuestas en Google Maps que representan áreas de alto riesgo que merecen una atención especial por parte de las patrullas policiales.66 Una deficiencia clave en la metodología de PredPol es que genera predicciones futuras basadas en datos de actividades criminales pasadas y detenciones. Ciertos vecindarios minoritarios que han sufrido de «sobrepolítica» y conducta policial sesgada aparecen con mayor frecuencia en el tablero de PredPol. Esto puede no representar una predicción de crimen algorítmico afinada tanto como implica la perpetuación de la vigilancia estructuralmente sesgada.
China ha adoptado con entusiasmo la policía predictiva como parte de su represión de Xinjiang. Human Rights Watch informa sobre la creación de una Plataforma Integrada de Operaciones Conjuntas (IJOP), que recopila datos de cámaras CCTV, dispositivos de reconocimiento facial y«sniffers wifi»(dispositivos que escuchan actividades o comunicaciones dentro de redes inalámbricas). IJOP obtiene datos adicionales de matrículas y tarjetas de identificación escaneadas en los puntos de control, así como registros de salud, bancarios y legales.67 Las autoridades chinas están complementando el IJOP con muestras obligatorias de ADN de todos los residentes de Xinjiang de doce a sesenta y cinco años.68 Esta información se introduce en los ordenadores IJOP y los algoritmos se tamizan a través de los pasos de datos en busca de patrones amenazantes. Una vez que el IJOP abandera a un individuo, esa persona es recogida por las fuerzas de seguridad y detenida para ser interrogada.69
Las técnicas policiales inteligentes se utilizan en al menos cincuenta y tres de setenta y cinco países con vigilancia de la IA.
TECNOLOGÍAS DE HABILITACIÓN DE LA IA
Una segunda categoría de tecnología no es directamente responsable de apoyar los programas de vigilancia, pero proporciona capacidades críticas que son esenciales para implementar aplicaciones. Las cámaras avanzadas de videovigilancia y reconocimiento facial no podrían funcionar sin capacidades de computación en la nube. Como dijo un experto, si la videovigilancia son los «ojos», entonces los servicios en la nube son los «cerebros» que «conectan cámaras y hardware a los modelos de computación en la nube a través de redes 5G».70 Sin embargo, la computación en la nube de forma aislada no está intrínsecamente orientada hacia la vigilancia. Por lo tanto, estas tecnologías secundarias se colocan en una categoría de «tecnologías habilitadores» y se describen a continuación.71 No están incluidos en el índice AIGS.
SISTEMAS AUTOMATIZADOS DE CONTROL DE FRONTERAS
Estos se encuentran principalmente en aeropuertos internacionales y cruces fronterizos. Según la consultora Accenture, los sistemas ABC utilizan «coincidencia biométrica multimodelo» (reconocimiento de imágenes faciales combinado con pasaportes electrónicos u otros documentos biométricos) para procesar pasajeros.72 El proceso se inicia cuando un pasajero se pone delante de una pared multicámara. Los espejos digitales situados junto a las cámaras atraen los ojos de los pasajeros para la captura de imágenes. A continuación, se realiza una evaluación del riesgo mediante pruebas automatizadas de identidades con el pasaporte de una persona y ciertas listas de vigilancia de seguridad.73 Aquellos que no son autorizados por el sistema automatizado deben entrar en el examen secundario con agentes humanos.
Los gobiernos están pilotando nuevas características, como la tecnología automatizada de detección de mentiras, en los sistemas ABC. Por ejemplo, la Unión Europea está probando una tecnología llamada iBorderCtrl en tres países (Grecia, Hungría y Letonia) para examinar a los migrantes en los pasos fronterizos. A las personas se les hacen preguntas sobre sus países de origen y las circunstancias de salida. A continuación, las respuestas se evalúan mediante un sistema de detección de mentiras basado en IA.74 Los viajeros que han respondido honestamente a las preguntas reciben un código que les permite cruzar. Todos los demás son transferidos a guardias fronterizos humanos para interrogarlos adicionales. La tecnología detrás de iBorderCtrl se basa en «afectar a la ciencia de reconocimiento», que pretende leer expresiones faciales e inferir estados emocionales con el fin de emitir juicios legales o decisiones políticas. Los psicólogos han criticado ampliamente estas herramientas, manteniendo que es difícil confiar sólo en las expresiones faciales para determinar con precisión el estado mental de una persona.75 A pesar del escepticismo científico sobre estas técnicas, los gobiernos continúan explorando su uso.
COMPUTACIÓN EN LA NUBE
Los gobiernos y las empresas almacenan cada vez más datos en ubicaciones masivas fuera del sitio, conocidas como la nube, que son accesibles a través de una red, generalmente Internet.76 La computación en la nube es una tecnología de uso general que incluye todo, desde mapas GPS giro a giro, comunicaciones de redes sociales y correo electrónico, almacenamiento de archivos y acceso a contenido de streaming. El Instituto Nacional de Estándares y Tecnología define la computación en la nube como un «modelo para permitir el acceso de red ubicuo, conveniente y bajo demanda a un grupo compartido de recursos informáticos configurables (por ejemplo, redes, servidores, almacenamiento, aplicaciones y servicios) que se pueden aprovisionar y liberar rápidamente con un mínimo esfuerzo de administración o interacción con el proveedor de servicios».77 En términos básicos, los centros de datos de computación en la nube funcionan como la columna vertebral de Internet, almacenando, comunicando y transportando al instante la información producida. Como tal, la computación en la nube es esencial para ejecutar eficazmente los sistemas de IA. Microsoft, IBM, Amazon, Huawei y Alibaba han establecido estos centros de datos para facilitar las operaciones de IA.
Un número creciente de países han adoptado plenamente la computación en la nube y han externalizado todas sus necesidades de almacenamiento de datos a una única plataforma corporativa. En 2018, por ejemplo, Islandia firmó un acuerdo de servicio con Microsoft para que la empresa fuera el único proveedor de TI para todo el sector público del país.78 La tendencia de computación en la nube no está exenta de problemas. Por un día, los servidores en la nube presentan objetivos desdinvoluciones para los piratas informáticos cibernéticos. Las empresas de seguridad como NSO Group afirman que son capaces de penetrar en los servidores en la nube y acceder a los «datos de ubicación, mensajes o fotos» archivados de un objetivo, lo que lleva a muchos a preguntarse si las empresas de computación en la nube pueden mantener segura la información personal, los secretos corporativos, el material gubernamental clasificado o los registros de salud (sin embargo, generalmente representan un método de almacenamiento más seguro que las instalaciones de almacenamiento de datos in situ heredadas).79 Una preocupación relacionada es la divulgación forzada de datos, incluso si los servidores en la nube permanecen técnicamente seguros, los gobiernos pueden obligar a las empresas a divulgar ciertos datos (como comunicaciones por correo electrónico o mensajes de texto de críticos de régimen) que se conservan en la nube.
INTERNET DE LAS COSAS
El IOT se basa en la realidad de que cada vez más dispositivos se conectarán entre sí a través de Internet, lo que permite compartir datos para el procesamiento analítico en la nube.80 Un obstáculo importante de IOT es la falta de interoperabilidad entre dispositivos. En la actualidad, los iPhones, los altavoces Alexa, los termostatos Nest y los sistemas automáticos OnStar funcionan desde diferentes plataformas y utilizan diferentes fuentes de información. El objetivo de IOT es «ayudar a domar esta Torre de Babel» y garantizar la integración de dispositivos y la agregación de datos (aunque empresas como Amazon, Apple y Google también están configurando ecosistemas distintos que solo tienen interoperabilidad limitada con otras plataformas).81 Si bien el IOT aportará mayores eficiencias, también puede transformar los dispositivos tradicionales no conectados a la red, como los altavoces inteligentes, en instrumentos de vigilancia omnipresentes:
El Internet de las cosas promete una nueva frontera para los objetos de red, las máquinas y los entornos de maneras que [estamos] empezando a entender. Cuando, por ejemplo, un televisor tiene un micrófono y una conexión de red, y es reprogramable por su proveedor, podría ser utilizado para escuchar en un lado de una conversación telefónica que tiene lugar en su habitación, sin importar cuán encriptado podría estar el servicio telefónico en sí. Estas fuerzas están en una trayectoria hacia un futuro con más oportunidades de vigilancia.82
La controversia en torno a la tecnología IOT está creciendo. A principios de 2019, Amazon reveló que miles de sus trabajadores escucharon conversaciones grabadas por los altavoces inteligentes Echo. En algunos casos, sus trabajadores debatieron si las grabaciones de posibles delitos debían entregarse a las autoridades encargadas de hacer cumplir la ley.83 Amazon analizó estas transcripciones sin el conocimiento o consentimiento de sus clientes. Del mismo modo, salió a la luz que los contratistas de Google y Facebook han estado escuchando regularmente grabaciones entre sus plataformas y consumidores individuales.84
La vigilancia móvil impulsada por IOT es otra posibilidad para esta clase de tecnología. Recientemente se demostró un nuevo dispositivo que se conecta a un coche Tesla Model S o Model 3 y convierte sus cámaras incorporadas «en un sistema que detecta, rastrea y almacena matrículas y caras con el tiempo», describió el periodista Andy Greenberg. Cuando el propietario ha aparcado el coche, «puede rastrear las caras cercanas para ver cuáles aparecen repetidamente». El propósito del dispositivo es advertir a los propietarios de automóviles contra ladrones y vándalos. Pero como el inventor del dispositivo Truman Kain reconoce, «convierte su Tesla en una estación de vigilancia impulsada por IA» y proporciona «otro conjunto de ojos, para ayudar y decirle que ha visto una matrícula que le sigue durante varios días, o incluso múltiples vueltas de un solo viaje».85
CONCLUSIÓN
La propagación de la vigilancia de la IA continúa sin cesar. Su uso por parte de regímenes represivos para diseñar la represión contra poblaciones objetivo ya ha sonado campanas de alarma. Pero incluso en países con fuertes tradiciones de Estado de derecho, la IA da lugar a preguntas éticas problemáticas. Los expertos expresan su preocupación por las tasas de error de reconocimiento facial y el aumento de los falsos positivos para las poblaciones minoritarias. El público es cada vez más consciente del sesgo algorítmico en los conjuntos de datos de entrenamiento de IA y su impacto perjudicial en los algoritmos de regulación predictiva y otras herramientas analíticas utilizadas por las fuerzas del orden. Incluso las aplicaciones IOT benignas (altavoces inteligentes, bloqueos remotos de entrada sin llave, pantallas de tablero inteligentes para automóviles) pueden abrir caminos preocupantes para la vigilancia. Las tecnologías piloto que los estados están probando en sus fronteras, como el sistema de reconocimiento afectivo de iBorderCtrl, se están expandiendo a pesar de las críticas de que se basan en la ciencia defectuosa y la investigación sin fundamento. El impacto acumulativo da pausa. Surgiendo preguntas inquietantes con respecto a la exactitud, la equidad, la coherencia metodológica y el impacto perjudicial de las tecnologías avanzadas de vigilancia. Los gobiernos tienen la obligación de proporcionar mejores respuestas y una transparencia más completa sobre cómo utilizarán estas nuevas herramientas intrusivas.
El propósito del índice y el documento de trabajo es destacar las tendencias emergentes de una tecnología que no se entiende bien pero que dará cada vez más forma a la vida moderna. La buena noticia es que hay tiempo suficiente para iniciar un debate público muy necesario sobre el equilibrio adecuado entre la tecnología de IA, la vigilancia gubernamental y los derechos de privacidad de los ciudadanos. Pero a medida que estas tecnologías se incrustirán más en la gobernanza y la política, la ventana para el cambio se reducirá.
RECONOCIMIENTOS
Agradecimiento especial a Luke Lamey, estudiante de pregrado en la Universidad de Georgetown, por la asistencia de investigación en la compilación de referencias para el índice de vigilancia global de IA. Muchas gracias también van a Jon Bateman (Carnegie Endowment for International Peace), Thomas Carothers (Carnegie Endowment for International Peace), Adrian Shabhaz (Freedom House), Brian Wampler (Boise State University) y Nick Wright (Intelligent Biology, Georgetown University) por dar generosamente su tiempo para leer los borradores anteriores de este artículo y ofrecer comentarios y consejos invaluables.
Tipo de régimen: El índice AIGS utiliza una tipología de categoría de régimen de cuatro partes establecida por V-Dem y Regímenes del Mundo: autocracias cerradas, autocracias electorales, democracias electorales y democracias liberales. Los países con una puntuación media inferior a 2,5 se etiquetan con autocracias cerradas. Los países con una puntuación media entre 4,9 y 2,5 están etiquetados como autocracias electorales. Los países con una puntuación media entre 7,9 y 5,0 están etiquetados como democracias electorales. Los países con una puntuación media de 8 o más están etiquetados como democracias liberales. Véase Anna Luhrmann, Marcus Tannenberg, y Staffan I. Lindberg, «Regimes of the World (RoW): Opening New Avenues for the Comparative Study of Political Regimes», Politics & Governance 6, No. 1 (2018).
Datos sobre gastos militares recopilados por el Instituto Internacional de Investigación de la Paz de Estocolmo y a los que se puede acceder en https://www.sipri.org/databases/milex.
1 El índice utiliza una tipología de categoría de régimen de cuatro partes establecida por V-Dem y Regímenes del Mundo: autocracias cerradas, autocracias electorales, democracias electorales y democracias liberales. Como lo describen los autores: «En las autocracias cerradas, el director ejecutivo no está sujeto a elecciones o no hay una competencia significativa y de facto en las elecciones. Las autocracias electorales celebran elecciones multipartidista de facto para el jefe ejecutivo, pero no son las normas democráticas debido a irregularidades significativas, limitaciones a la competencia de los partidos u otras violaciones de los requisitos institucionales de Dahl para las democracias. Para ser contados como democracias electorales, los países no sólo tienen que celebrar elecciones libres y justas y multipartidista, sino también … lograr un nivel suficiente de garantías institucionales de la democracia como la libertad de asociación, el sufragio, las elecciones limpias, un ejecutivo electo y la libertad de expresión. Además, una democracia liberal se caracteriza por tener una supervisión legislativa y judicial eficaz del ejecutivo, así como por la protección de las libertades individuales y el Estado de derecho.» Anna Luhrmann, Marcus Tannenberg, y Staffan I. Lindberg, «Regimes of the World (RoW): Opening New Avenues for the Comparative Study of Political Regimes», Politics & Governance 6, No. 1 (2018).
2 Información del Instituto Internacional de Investigación de la Paz de Estocolmo (SIPRI), Base de datos de gastos militares SIPRI, 2019, https://www.sipri.org/databases/milex.
4 A diferencia de V-Dem, el índice AIGS no evalúa los Territorios Palestinos (Cisjordania, Gaza) y Zanzíbar debido al trato inconsistente por fuentes externas. Véase Michael Coppedge, John Gerring, Carl Henrik Knutsen, Staffan I. Lindberg, Jan Teorell, David Altman, Michael Bernhard, et al, «V-Dem Country-Year Dataset 2019», Varieties of Democracy (V-Dem) Project, 2019, https://doi.org/10.23696/vdemcy19.
5 Nils J. Nilsson, The Quest for Artificial Intelligence (Estados Unidos: Cambridge University Press, 2009), pág. 4.
8 Como se describe en el resumen ejecutivo, a diferencia de V-Dem, el índice AIGS no evalúa los Territorios Palestinos (Cisjordania, Gaza) y Zanzíbar debido al trato inconsistente por fuentes externas. «V-Dem Country-Year Dataset 2019», 2019.
9 «Freedom on the Net 2018: The Rise of Digital Authoritarianism», 30 de octubre de 2018, 9.
20 «Surveillance and Human Rights, Report of the Special Relator on the Promotion and Protection of the Right to Freedom of Opinion and Expression», A/HRC/41/35, 28 de mayo de 2019, https://undocs.org/A/HRC/41/35.
21 «Necessary and Proporcional», Necessary and Proporcional: International Principles on the Application of Human Rights to Communications Surveillance, 4 de marzo de 2016. https://necessaryandproportionate.org/principles.
22 «El derecho a la privacidad en la era digital», A/HRC/27/37.
25 «El derecho a la privacidad en la era digital», A/HRC/27/37.
26 «Informe del Relator Especial sobre la Promoción y Protección del Derecho a la Libertad de Opinión y Expresión, Frank La Rue», A/HRC/23/40.
27 Steven Feldstein, «The Road to Digital Unfreedom: How Artificial Intelligence Is Reshaping Repression», Journal of Democracy 30, No. 1 (2019): 42.
28 Nicholas Wright señala: «La gente sabrá que el monitoreo omnipresente de sus actividades físicas y digitales se utilizará para predecir comportamientos no deseados, incluso acciones que simplemente están contemplando… Con el fin de evitar que el sistema haga predicciones negativas, muchas personas comenzarán a imitar los comportamientos de un miembro «responsable» de la sociedad. Estos pueden ser tan sutiles como el tiempo que uno mira a diferentes elementos en la pantalla de un teléfono. Esto mejorará el control social no sólo forzando a las personas a actuar de ciertas maneras, sino también cambiando su forma de pensar». Nicholas Wright, «How Artificial Intelligence Will Reshape the Global Order», Foreign Affairs, 10 de julio de 2018, https://www.foreignaffairs.com/articles/world/2018-07-10/how-artificial-intelligence-will-reshape-global-order.
32 Korkit Danchaivichit (Secretario General Adjunto de la Comisión Nacional de Telecomunicaciones y Radiodifusión), entrevista con el autor, 17 de mayo de 2019.
38 El ex alto funcionario comercial de la UE, Karel De Gucht, está observando con récord: «Ellos [Huawei] reciben subsidios. Si usted tiene una línea de un par de decenas de miles de millones con el banco que se puede utilizar a su discreción esto es un enorme subsidio, no? Shawn Donnan y Christian Oliver, «Eu Commissioner Attacks China’s Telecoms Subsidies», Financial Times, 27 de marzo de 2014, https://www.ft.com/content/d6d0bcc6-b5cb-11e3-b40e-00144feabdc0. Asimismo, un informe del Congreso de los Estados Unidos de 2012 del Comité de Inteligencia de la Cámara de Representantes señaló que Huawei obtiene el «beneficio de miles de millones de dólares en financiamiento del gobierno chino», y que tanto Huawei como ZTE «proporcionan una gran cantidad de oportunidades para que las agencias de inteligencia chinas inserten implantes de hardware o software maliciosos en componentes y sistemas de telecomunicaciones críticos». «Informe de investigación sobre las cuestiones de seguridad nacional de los Estados Unidos planteado por las empresas chinas de telecomunicaciones Huawei y ZTE», Cámara de Representantes de los Estados Unidos, Comité Permanente de Inteligencia de La Selección,
44 Christopher Balding y Donald C. Clarke, «¿Quién es el dueño de Huawei?» SSRN Scholarly Paper, Rochester, NY: Red de Investigación en Ciencias Sociales, 17 de abril de 2019, https://papers.ssrn.com/abstract=3372669.
45 Entrevista de autor con un funcionario del Ministerio del Interior de Tailandia, 14 de mayo de 2019.
46 Somkiat Tangkitvanich (presidente del Instituto de Investigación para el Desarrollo de Tailandia), entrevista con el autor, 14 de mayo de 2019.
47 Christian Davenport, «State Repression and Political Order», Annual Review of Political Science 10 (2007): 2.
71 Para una mirada en profundidad a la cadena de valor del aprendizaje automático de IA, incluido un examen incisivo de las modalidades de almacenamiento de datos, véase: Charlotte Stanton et al., «What the Machine Learning Value Chain Means for Geopolitics», Carnegie Endowment for International Peace, 5 de agosto de 2019, https://carnegieendowment.org/files/7-1-19_Stanton_etal_Machine_Learning.pdf.
76 Patricia Moloney Figliola y Eric A Fischer, «Overview and Issues for Implementation of the Federal Cloud Computing Initiative: Implications for Federal Information Technology Reform Management», Congressional Research Service, 20 de enero de 2015,
Steven Feldstein es un miembro senior en el Programa de Democracia, Conflicto y Gobernanza de Carnegie, donde se centra en temas de democracia, tecnología, derechos humanos, política exterior de Estados Unidos, tendencias de conflictos y Africa.
NOTAS
