En febrero de 2021, a un niño le apareció una infección en la ingle. Y su padre, Mark, como es normal, le hizo una foto para enviársela a su pediatra, pues no podía atender presencialmente por la pandemia. Así, podría identificar el problema y aportar posibles curas.

El final no fue del todo feliz: al niño se le curó la infección con antibióticos gracias a un diágnostico hecho con lo observado en las imágenes, pero, según cuenta The New York Times el padre acabó con las cuentas de Google cerradas y hasta sin número de teléfono (al ser usuario de Google Fi).

¿El motivo? La compañía etiquetó las imágenes como material de abuso sexual infantil. Lo lo peor no es perder una cuenta, que por lo que dependemos de ellas hoy en día ya puede ser algo muy grave, sino que, mientras tratas de ayudar a tu hijo, una compañía tecnológica gigante te etiquete como criminal. En el momento del bloqueo, la compañía alegaba “violación severa de las políticas de la compañía y que podía ser ilegal”.

Cuando la inteligencia artificial se va de las manos con los falsos positivos

La inteligencia artificial lleva años funcionando relativamente bien para detectar ciertos contenidos desinformadores, para detectar pornografía infantil, etc. Pero como siempre, hay falsos positivos y falsos negativos. Y en casos como este de las fotos de un padre a su hijo, que además no distribuyó masivamente, hace falta que las herramientas se entrenen mejor y que, ante una conclusión tan dramática, actúe siempre una persona que escuche la versión del supuesto criminal.

Las herramientas que se utilizan a día de hoy para esto son polémicas por cómo pueden vulnerar nuestra privacidad. Porque para funcionar, tienen que comparar nuestras fotos con las bases de datos de pornografía infantil. Y claro, puede ocurrir algo como el incidente que ha sufrido Mark, que pese a tratarse de una imagen personal que no estaba en ningún lugar previo, el sistema saltó. Y lo hizo, según Google, porque en los seis meses anteriores, su cuenta ya contaba con un vídeo de una mujer desnuda en la cama con el niño, que el sistema entendió que podía ser problemática.

En el polémico sistema propuesto por Apple para iCloud Photos, que le valió ser tildado de “spyware gubernamental” lo que se escaneaba eran hashes, no fotos. Es decir, según Apple, la compañía no sabe lo que hay en la foto que el sistema escanea, ve números que comparar con otros números de la base de datos.

Los expertos en protección a menores argumentaban que el margen de error era ínfimo con el sistema de Apple, pero finalmente no se ha puesto en práctica. El de Google, que sí está activo con su Content Safety API ha caído en ese margen de error al usar inteligencia artificial para “proactivamente identificar CSAM (Contenido de Abuso Sexual Infantil) de imágenes nunca antes vistas”.

Aunque el sistema falle, la parte extraña del caso es la del análisis que hay que hacer antes de enviar la información al Centro Nacional para Niños Desaparecidos y Explotados, o desde allí a las autoridades, pues intervienen personas. En 2021, el NCMEC avisó a las autoridades sobre 4.260 víctimas potenciales.

Según el NYT, esa lista incluía al hijo de Mark. El total de veces que Google informó al NCMEC para que tomaran las acciones oportunas, eso sí, fue mucho más alto: más de 600.000 casos, según el informe de transparencia. Es decir, el NCMEC tuvo que hacer un gran cribado, pero aun así no fue suficiente para casos como el de Mark.

El proceso de escaneo comenzó al subirse las fotos del padre a Google Fotos, que es la “acción afirmativa” que necesitan para que el sistema tengo vía libre con fotografías personales. Una portavoz de Google dijo a The New York times que la compañía mantenía sus decisiones, pese a que legalmente todo se había aclarado. A día de hoy, Mark sigue sin poder acceder a su cuenta pero a que legalmente el caso se aclaró. En un comunicado a The Verge, Google ha defendido lo siguiente:

“El material de abuso sexual infantil es abominable y estamos comprometidos a evitar que se propague en nuestras plataformas. Seguimos la ley de los EE.UU. al definir lo que constituye CSAM y usamos una combinación de tecnología de comparación de hash e inteligencia artificial para identificarlo y eliminarlo de nuestras plataformas. Además, nuestro equipo de expertos en seguridad infantil revisa el contenido marcado para verificar su precisión y consulta con pediatras para ayudar a garantizar que podamos identificar instancias en las que los usuarios pueden estar buscando asesoramiento médico”.