REC · CAM 07--:--:--

Escaneo en curso

¿Así de fácil regalas tus datos?

Sin pedirte permiso, esta página ya sabe:

Informe · IA en Contexto · Algoritmo en uso

Sonría, está siendo sospechado

Aitor Gabarro · Camila Ordenes · Magdalena Soto · Maximiliano Anglada · Esteban Soto
IA Ética y Responsable · Universidad Adolfo Ibáñez · Prof. Thomas Wachter · 2026

01Contexto

El 25 de abril de 2019 la Ciudad de Buenos Aires activó el Sistema de Reconocimiento Facial de Prófugos. Al partir, 300 cámaras comparaban cada rostro con la base nacional de prófugos (CONARC) y avisaban a la policía si había coincidencia (Infobae, 2019a). La ley solo permitía usarlo para buscar prófugos o con orden de un juez.

En la práctica el sistema fue mucho más allá. La base de prófugos tenía unas 40 mil personas, pero la Ciudad pidió los datos biométricos de más de 7 millones al registro nacional de identidad (Juzgado CAyT N° 4, 2022). Además detuvo a inocentes por errores en la base. Guillermo Ibarrola estuvo seis días preso por un delito que no cometió (Infobae, 2019b), y no fue el único caso.

En el caso participan cinco actores. El Gobierno de la Ciudad, a través de su Ministerio de Justicia y Seguridad, diseñó y operó el sistema. La empresa Danaide lo vendió por cerca de US$1,5 millones (Al Sur, 2021). La policía recibía las alertas y hacía las detenciones. La justicia intervino por una demanda del Observatorio de Derecho Informático Argentino (ODIA), con apoyo del CELS. Y los afectados son los millones de personas que pasaron frente a las cámaras sin saber que su cara estaba siendo comparada.

  1. Se activa el sistema con 300 cámaras.
  2. Ibarrola pasa 6 días preso. Al menos 8 personas son identificadas por error en los primeros meses (Chequeado, 2020).
  3. El Observatorio de Derecho Informático Argentino (ODIA) presenta un amparo.
  4. La jueza Elena Liberatori declara inconstitucional el sistema.
  5. La Cámara confirma el fallo y exige probar si el software discrimina (Diario Judicial, 2023).
  6. Sigue suspendido. La Ciudad no sabe cómo fue entrenado el software (CELS, 2024).
  7. La Fiscalía porteña compra una licencia de Clearview AI, sin licitación (Ministerio Público Fiscal CABA, 2025).

02Objetivo

La pregunta que guía el trabajo es la siguiente: ¿qué falló en el diseño, la compra y el control del sistema, y qué condiciones deberían cumplirse antes de volver a usar una tecnología así?

La tensión ética central está entre la seguridad que promete el sistema y los derechos de las personas. En concreto, la privacidad, la presunción de inocencia y el derecho a no ser vigilado sin una razón. Nos importa porque el reconocimiento facial se ofrece en toda la región como una respuesta rápida a la inseguridad, y Chile no es la excepción.

03Marco teórico

El marco central es el tecnosolucionismo. Morozov (2013) lo define como la tendencia a buscar soluciones técnicas, vistosas y de mirada estrecha para problemas sociales que son complejos y disputados. La inseguridad depende de la pobreza, del sistema judicial y del trabajo policial. Aun así, la respuesta fue instalar cámaras.

Selbst et al. (2019) describen esto como la trampa del solucionismo: no reconocer que la mejor solución a un problema puede no incluir tecnología. En Buenos Aires nunca se evaluó si había que instalar el sistema. Se partió de la herramienta y no del problema.

Para evaluar el daño usamos los cinco principios de Floridi y Cowls (2019). El caso falla en cuatro de ellos.

PrincipioQué pasó
No maleficenciaPersonas inocentes fueron detenidas por errores de la base.Falla
AutonomíaNadie aceptó que su cara fuera escaneada.Falla
JusticiaEstos sistemas se equivocan más con algunos grupos: 34,7% de error en mujeres de piel oscura y 0,8% en hombres de piel clara (Buolamwini y Gebru, 2018).Falla
ExplicabilidadEl Estado compró una caja negra que no puede revisar.Falla
BeneficenciaNo hay datos oficiales y consistentes de cuántos prófugos encontró.Sin datos

04Metodología

Hicimos una revisión documental, sin datos propios. Elegimos las fuentes con tres criterios. Primero, preferimos documentos originales: la sentencia de 2022, el escrito del CELS en la causa y los documentos de compra de la Fiscalía. Segundo, cuando usamos prensa, buscamos medios reconocidos o de verificación de datos, como Infobae, Chequeado y Diario Judicial. Tercero, contrastamos cada cifra con un documento original o con dos fuentes distintas. Los datos que aparecían en una sola fuente secundaria los dejamos fuera.

Usamos dos marcos del curso. Floridi y Cowls (2019) nos sirve para evaluar el daño, porque sus cinco principios permiten revisar el caso punto por punto. Selbst et al. (2019) nos ayuda a explicar por qué pasó, con la idea de las trampas de abstracción. A eso sumamos el tecnosolucionismo de Morozov (2013) para conectar el caso con un fenómeno más grande.

Con esas fuentes ordenamos los hechos en una línea de tiempo, cruzamos cada hecho con los marcos y de cada falla sacamos una recomendación.

05Resultados y análisis ético

La pericia citada en la sentencia de 2022 muestra que la Ciudad pidió los datos biométricos de 7.087.359 personas distintas al registro nacional de identidad (RENAPER). La base de prófugos tenía cerca de 40 mil (Juzgado CAyT N° 4, 2022).

7.087.359personas cuyos datos biométricos pidió la Ciudad
9.900.282pedidos de datos entre 2019 y 2022
+15 milpersonas buscadas que no eran prófugas
141falsos positivos entre 1.648 personas puestas a disposición de la Justicia
7,53%margen de error que reconoció la Ciudad en 2020
US$27.588pagó la Fiscalía por Clearview AI en 2025

Con estos datos identificamos cuatro tensiones.

La primera tensión es entre seguridad y presunción de inocencia. Según una nota oficial del Gobierno porteño, citada por el CELS en la causa, hubo 141 falsos positivos entre 1.648 personas puestas a disposición de la Justicia (CELS, 2021). Es decir, 1 de cada 12 personas entregadas no tenía orden de captura. Esto viola el principio de no maleficencia. La causa principal fue la base CONARC, que tenía datos incorrectos y desactualizados (Chequeado, 2020). El sistema confiaba en esa base y la policía actuaba sobre la alerta.

La segunda tensión es entre seguridad y privacidad. El sistema debía buscar a unas 40 mil personas, pero se consultaron más de 7 millones, y más de 15 mil de ellas no eran prófugas (Juzgado CAyT N° 4, 2022). Nadie dio su consentimiento, lo que choca con el principio de autonomía. Esto pasó porque nadie controlaba el uso del sistema. La comisión de la Legislatura que la ley exigía nunca se formó y la Defensoría del Pueblo no emitió informes (Juzgado CAyT N° 4, 2022).

La tercera tensión es entre eficiencia y justicia. Los sistemas comerciales de reconocimiento facial se equivocan mucho más con algunos grupos (Buolamwini y Gebru, 2018). En 2023 la Cámara exigió probar si el software tenía un impacto distinto según las características de las personas (Diario Judicial, 2023). Eso muestra que no se había probado antes de usarlo. La causa es que la Ciudad compró el sistema como una caja negra, sin saber cómo fue entrenado (CELS, 2024).

La cuarta tensión es entre rapidez y rendición de cuentas. En 2024 la autoridad de datos de Países Bajos multó a Clearview AI con €30,5 millones por armar una base ilegal de más de 30 mil millones de fotos (Autoriteit Persoonsgegevens, 2024). Un año después la Fiscalía de Buenos Aires compró ese mismo software sin licitación ni evaluación de impacto (Ministerio Público Fiscal CABA, 2025). Aquí se ve la trampa del solucionismo de Selbst et al. (2019): otra vez se partió de la herramienta.

Las cuatro tensiones tienen una causa común. En cada una, el Estado puso la herramienta antes que las preguntas. No revisó la base antes de usarla, no formó los órganos de control y no exigió saber cómo funcionaba el software. Eso es justamente lo que Morozov (2013) llama tecnosolucionismo: tratar la inseguridad como un problema técnico, cuando sus causas son sociales.

Buenos Aires tampoco es un caso aislado. Al Sur (2021) identificó 38 sistemas de reconocimiento facial en 9 países de la región. Más del 60% no tenía una base legal específica.

El contraargumento más fuerte es que el sistema sí sirvió para encontrar prófugos. A marzo de 2020 la Ciudad informó 1.924 personas identificadas y 418 detenidas (Chequeado, 2020). La misma Cámara dijo que no se puede afirmar que el sistema sea ineficiente si se somete a los controles previstos (Télam, 2023). Estamos de acuerdo en que la tecnología puede ayudar. Sin embargo, el problema es que funcionó sin esos controles. Incluso con las cifras oficiales, 1 de cada 12 personas entregadas a la Justicia no tenía orden de captura. Además las cifras del Gobierno no coinciden entre sí según la fecha, así que no es posible saber cuántos prófugos encontró de verdad. Una herramienta que nadie puede revisar tampoco se puede defender con datos.

06Conclusiones y recomendaciones

La respuesta a la pregunta es que fallaron las tres etapas. En el diseño, el sistema dependía de una base con errores y no tenía revisión humana antes de detener. En la compra, el Estado adquirió software que no podía revisar, y lo volvió a hacer en 2025. En el control, los órganos que la ley exigía nunca se formaron. El problema no fue solo técnico. La inseguridad tiene raíces sociales, pero se respondió con cámaras.

Proponemos tres recomendaciones, una por cada etapa que falló.

RecomendaciónTipoResponsableLimitación
Evaluación de impacto obligatoria y pública antes de usar reconocimiento facial, con una prueba de sesgo.RegulaciónLegislatura de la CiudadUna ley tarda en aprobarse y puede quedar sin fiscalización.
Auditoría independiente y permanente del sistema y de la base de prófugos, con informes públicos.GobernanzaDefensoría del Pueblo y comisión especial de la LegislaturaDepende del presupuesto y del acceso técnico al software.
Revisión humana obligatoria antes de cualquier detención y base de prófugos al día.ImplementaciónMinisterio de Justicia y Seguridad de la Ciudad y Ministerio de Justicia de la Nación, a cargo de la CONARCLa revisión puede volverse un trámite si el policía confía demasiado en la alerta.

La primera recomendación responde a la falta de control previo. La segunda responde a la caja negra y a los órganos de control que nunca funcionaron. La tercera responde directamente a los falsos positivos. Las tres sirven también para Chile, donde Al Sur (2021) identificó 10 iniciativas de reconocimiento facial. Antes de todo, la pregunta de fondo es si el problema necesita tecnología.

Nuestro trabajo también tiene límites. No tuvimos acceso a los datos completos del sistema, así que dependemos de lo que muestran la sentencia, el escrito del CELS y la prensa. Además las cifras oficiales cambian según la fecha y la fuente. Por eso preferimos usar los números con respaldo en documentos originales y dejar fuera los que no pudimos contrastar.

07Referencias

Al Sur. (2021). Reconocimiento facial en América Latina: tendencias en la implementación de una tecnología perversa. alsur.lat

Autoriteit Persoonsgegevens. (2024). Dutch DPA imposes a fine on Clearview because of illegal data collection for facial recognition. autoriteitpersoonsgegevens.nl

Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Proceedings of Machine Learning Research, 81, 77–91.

CELS. (2021, 14 de octubre). Presentación en ODIA y otros c/ GCBA s/ amparo, Exp. 182908/2020-0. srfp.odia.legal

CELS. (2024, febrero). El sistema de reconocimiento facial sigue suspendido en CABA. cels.org.ar

Chequeado. (2020, 28 de mayo). Video-vigilancia en Buenos Aires: la otra cara del control. chequeado.com

Diario Judicial. (2023, 28 de abril). Contra-cara. diariojudicial.com

Floridi, L., & Cowls, J. (2019). A unified framework of five principles for AI in society. Harvard Data Science Review, 1(1). doi.org/10.1162/99608f92.8cd550d1

Infobae. (2019a, 24 de abril). Reconocimiento facial en la ciudad de Buenos Aires: cómo será el sistema que ayudará a capturar a los 46 mil prófugos de la Justicia. infobae.com

Infobae. (2019b, 2 de agosto). Un hombre estuvo seis días preso por un error del sistema de reconocimiento facial. infobae.com

Juzgado de Primera Instancia en lo Contencioso Administrativo y Tributario N° 4 de la Ciudad de Buenos Aires. (2022). ODIA y otros c/ GCBA s/ amparo, Exp. 182908/2020-0. Sentencia

Ministerio Público Fiscal de la Ciudad Autónoma de Buenos Aires. (2025). Proveído OAF N° 213/2025 y Disposición OAF N° 36/2025. mpfciudad.gob.ar

Morozov, E. (2013). To save everything, click here: The folly of technological solutionism. PublicAffairs.

Selbst, A. D., boyd, d., Friedler, S. A., Venkatasubramanian, S., & Vertesi, J. (2019). Fairness and abstraction in sociotechnical systems. Proceedings of the Conference on Fairness, Accountability, and Transparency, 59–68. doi.org/10.1145/3287560.3287598

Télam. (2023, 28 de abril). Revés para Larreta: la Justicia rechazó el uso indiscriminado de reconocimiento facial. telam.com.ar

08Uso de IA

El grupo hizo la búsqueda y el contraste de fuentes, la extracción de información y el diseño, con apoyo de Claude (Anthropic) en esas tareas. Lo usamos para encontrar fuentes, ordenar la estructura del informe y armar el póster y la página del QR. Para verificar, contrastamos cada cifra con el documento original (la sentencia de 2022, el escrito del CELS y los documentos de compra de la Fiscalía) y dejamos fuera los datos que aparecían en una sola fuente secundaria. La elección del caso, la pregunta y la revisión final son del grupo. Las imágenes de vigilancia son una simulación. La página del QR no guarda ni envía ningún dato de quien la visita.