PRL Seguridad: Prácticas de IA prohibidas y sistemas de alto riesgo

En cuanto a uso y prácticas de inteligencia artificial, la normativa prohíbe de manera expresa ciertos usos de la inteligencia artificial por su potencial dañino para las personas y la sociedad:

Manipulación subliminal o engañosa

No se permite comercializar, poner en servicio ni utilizar sistemas de IA que empleen técnicas subliminales o manipuladoras para influir de forma sustancial en el comportamiento de personas o colectivos, reduciendo su capacidad de decidir libremente y provocando perjuicios importantes. Esta prohibición apunta a evitar que la IA utilice métodos ocultos o manipulativos para influir en las personas sin que estas sean plenamente conscientes. En concreto:

“Subliminal” significa que la influencia actúa por debajo del umbral de la conciencia (por ejemplo, mensajes o estímulos que el usuario no percibe de manera consciente pero afectan sus decisiones).

“Manipuladora” o “engañosa” implica que el sistema presenta información o estímulos diseñados para alterar emociones, percepciones o juicios de forma intencionada.

El riesgo principal de estas técnicas es que reducen la capacidad de una persona para tomar decisiones informadas. Pueden llevar a acciones que normalmente no habría tomado. Provocan un perjuicio significativo, ya sea personal (económico, emocional, de seguridad) o colectivo. El espíritu de la norma es proteger la autonomía y libertad de decisión, evitando que la IA actúe como una herramienta de manipulación psicológica oculta.

Explotación de vulnerabilidades

Se prohíbe el uso de IA que aproveche debilidades derivadas de la edad, discapacidad o situación socioeconómica para modificar de forma significativa el comportamiento de una persona o grupo, con consecuencias perjudiciales previsibles.

Puntuación social. Queda vetada la IA que evalúe o clasifique a personas según su comportamiento o características personales para otorgar “puntuaciones” que generen trato desfavorable en contextos ajenos al que originó la puntuación; o discriminación desproporcionada respecto a la conducta valorada.

Predicción de delitos basada en perfiles No se admite la IA que calcule el riesgo de que una persona cometa un delito solo a partir de perfiles o características de personalidad. Esto no impide su uso como apoyo a investigaciones basadas en hechos comprobados.

Bases de datos de reconocimiento facial

Está prohibida la creación o ampliación de bases de datos faciales mediante extracción indiscriminada de imágenes de internet o cámaras de vigilancia.

Detección de emociones en ámbitos laborales o educativos. No se permite el uso de IA para inferir emociones de personas en el trabajo o en entornos formativos, salvo en casos justificados por motivos médicos o de seguridad.

Clasificación biométrica sensible. Se prohíbe categorizar personas por datos biométricos para inferir raza, religión, orientación sexual, ideas políticas o afiliaciones. Esto no afecta al etiquetado de datos biométricos obtenidos legalmente con fines legítimos de cumplimiento normativo.

Identificación biométrica remota “en tiempo real” en lugares públicos. El uso de IA para identificar personas en espacios públicos en tiempo real con fines policiales solo será posible de forma excepcional y bajo autorización judicial o administrativa independiente, en casos como para localizar víctimas de delitos graves o personas desaparecidas, prevenir amenazas terroristas o riesgos graves para la vida; o identificar sospechosos de delitos graves tipificados.

En todos estos casos:

- La intervención debe ser estrictamente necesaria, con límites claros de tiempo, lugar y alcance.

- Debe existir evaluación de impacto sobre derechos fundamentales y notificación a autoridades de protección de datos.

- Se requerirá registro del sistema en la base de datos de la UE, salvo casos de urgencia debidamente justificada.

- La Comisión Europea y las autoridades nacionales publicarán informes anuales con datos agregados sobre estos usos, siempre sin incluir información operativa sensible.

Sistemas de IA de Alto Riesgo

Un sistema de IA se considera de alto riesgo si se usa como componente de seguridad de un producto regulado por las leyes de la UE (Anexo I) o es en sí mismo ese tipo de producto; y cuando el producto o sistema necesita evaluación de conformidad por terceros antes de salir al mercado.

Además, la UE ha definido otros usos de IA que se consideran de alto riesgo por su impacto potencial.

Aunque un sistema esté listado, no se considerará de alto riesgo si demuestra que no genera riesgos significativos para la salud, seguridad o derechos fundamentales. Esto se aplicaría cuando realiza tareas limitadas o de apoyo; cuando mejora una actividad humana previa sin reemplazarla, cuando detecta patrones sin tomar decisiones finales sin revisión humana; o cuando actúa como herramienta preparatoria para un análisis posterior.

Si el sistema realiza perfilado de personas, siempre será de alto riesgo.

El proveedor que considere que su IA no es de alto riesgo deberá documentarlo y registrarlo antes de comercializarlo.

Requisitos para IA de Alto Riesgo es que los sistemas deben cumplir estándares técnicos y legales considerando su propósito y el estado actual de la tecnología. El Sistema de Gestión de Riesgos es obligatorio, documentado y activo durante todo el ciclo de vida del sistema; y ha de incluir Identificación y análisis de riesgos previsibles. Evaluación de riesgos en uso normal y en uso indebido previsible. Análisis de nuevos riesgos detectados tras la salida al mercado. Medidas de mitigación para reducir riesgos.

Son principios clave:

- Diseñar para eliminar o minimizar riesgos desde el inicio.

- Incluir controles y mitigaciones cuando no sea posible eliminarlos.

- Proporcionar información y, si es necesario, formación a los responsables de despliegue.

- Realizar pruebas previas al lanzamiento y, cuando sea necesario, en condiciones reales.

- Se debe prestar atención especial a impactos sobre menores y colectivos vulnerables.

- Si la empresa ya tiene sistemas de gestión de riesgos bajo otras normativas europeas, puede integrar las obligaciones de IA en esos procesos.

Datos y Gobernanza en IA de Alto Riesgo

Cuando un sistema de IA de alto riesgo se entrena con datos, estos (entrenamiento, validación y prueba) deben cumplir estándares de calidad. La gestión de datos debe ser clara y ajustada al uso previsto del sistema. Esto implica:

- Definir criterios de diseño.

- Documentar el origen y finalidad de los datos (en especial si son personales).

- Preparar datos con procesos adecuados (anotación, limpieza, etiquetado, actualización, integración).

- Explicitar supuestos sobre lo que miden o representan los datos.

- Evaluar si hay datos suficientes, relevantes y apropiados.

- Revisar posibles sesgos que puedan impactar derechos, seguridad o causar discriminación.

- Aplicar medidas para prevenir o corregir sesgos detectados.

- Detectar carencias y definir planes para corregirlas.

Los conjuntos de datos deben ser relevantes y representativos; lo más completos y libres de errores posible; estadísticamente adecuados para el público, contexto o casos donde se aplicará el sistema.

Si el uso de la IA está ligado a un contexto geográfico, social o funcional específico, los datos deben contemplar esas características.

El uso de categorías especiales de datos personales solo será excepcional y bajo fuertes garantías, cumpliendo además con la normativa europea (RGPD y directivas asociadas). Se podrá realizar únicamente si:

- No es posible detectar y corregir sesgos con datos anónimos o sintéticos.

- Existen barreras técnicas para evitar su reutilización indebida.

- Se aplican medidas de seguridad avanzadas, acceso restringido y controlado.

- No se comparten con terceros.

- Se eliminan cuando ya no sean necesarios.

- Se documenta la justificación de su uso.

Para sistemas de IA de alto riesgo que no se entrenan, estas reglas aplican solo a los datos de prueba.

Supervisión humana en sistemas de IA de alto riesgo

Los sistemas de IA de alto riesgo deben diseñarse para que su funcionamiento pueda ser supervisado de manera efectiva por personas mientras estén en uso, incorporando interfaces que faciliten la interacción y el control. El objetivo de esta supervisión es minimizar cualquier riesgo para la salud, la seguridad o los derechos fundamentales, tanto en el uso previsto como en escenarios de uso indebido previsible.

Las medidas de supervisión deben ser proporcionales al riesgo, nivel de autonomía y contexto de uso y pueden incluir funciones integradas directamente en el sistema por el proveedor; y procedimientos definidos por el proveedor para que sean implementados por el responsable de su despliegue.

Para que la supervisión sea efectiva, quienes la ejerzan deben:

- Comprender las capacidades y limitaciones del sistema y ser capaces de detectar anomalías o comportamientos inesperados.

- Reconocer el riesgo de confiar excesivamente en los resultados (sesgo de automatización).

- Interpretar correctamente las salidas del sistema con ayuda de las herramientas disponibles.

- Poder decidir no utilizar el sistema o anular sus resultados cuando sea necesario.

- Tener la capacidad de detener su funcionamiento de manera segura.

En los sistemas que realizan identificación biométrica, cualquier resultado de identificación debe ser verificado de manera independiente por al menos dos personas con la formación y autoridad necesarias, salvo en casos excepcionales previstos por la normativa nacional o europea en ámbitos como seguridad, migración, fronteras o asilo, cuando este requisito sea desproporcionado.