Existe la falsa creencia generalizada de que el Reglamento Europeo de Inteligencia Artificial (AI Act) solo concierne a las compañías que desarrollan algoritmos. Sin embargo, la gran mayoría de las organizaciones no fabrican estos sistemas, sino que los integran y despliegan en sus operaciones cotidianas.
A partir del 2 de agosto, fecha en la que entra en pleno vigor el marco normativo para los sistemas de alto riesgo, aquellos que toman decisiones sobre personas en ámbitos como recursos humanos, créditos, seguros o servicios esenciales, la responsabilidad recae de forma directa sobre las empresas usuarias. Las sanciones por incumplimiento pueden alcanzar hasta los 15 millones de euros o el 3% de la facturación global, elevándose a 35 millones o el 7% en casos de prácticas prohibidas.
Las dos caras de la normativa: Desarrollador frente a Desplegador
El marco legal diferencia con claridad dos perfiles cuyas obligaciones difieren notablemente:
- Empresa Desarrolladora: Fabrica el sistema y asume la carga técnica y documental más pesada (evaluaciones de conformidad, marcado CE y registros oficiales).
- Empresa Desplegadora: Contrata y utiliza el sistema. Su responsabilidad se centra en una mochila operativa que incluye el uso conforme a las instrucciones del fabricante, la implantación de supervisión humana, la trazabilidad de los registros y la comunicación a los afectados.
El riesgo invisible de cruzar la frontera (Artículo 25)
Una organización puede convertirse en fabricante de forma involuntaria si incurre en alguna de estas tres situaciones:
- Marca blanca (white label): Integrar un modelo de terceros dentro de un producto propio y ofrecerlo al mercado como solución corporativa.
- Modificación sustancial: Aplicar procesos de fine-tuning agresivos con datos propios que alteren el comportamiento original del modelo.
- Cambio de finalidad: Utilizar un sistema para un fin de alto riesgo para el cual el proveedor no lo diseñó (por ejemplo, emplear una herramienta de análisis de texto para realizar cribas de candidatos laborales).
Obligaciones clave para las empresas usuarias
1. Requisitos operativos para el desplegador
- Formación de la plantilla: Obligatoria y proporcional al riesgo asociado al uso del sistema.
- Supervisión humana real: Asignar personas con la formación, autoridad y tiempo necesarios para intervenir o contradecir al sistema.
- Uso estrictamente previsto: Respetar los límites de finalidad definidos por el creador.
- Transparencia: Informar de manera clara a los trabajadores y usuarios afectados, garantizando el derecho a una explicación en decisiones críticas.
- Gestión de incidentes: Monitorear el rendimiento, suspender el funcionamiento ante fallos graves y notificar tanto al proveedor como a la autoridad competente (AESIA).
- Conservación de registros (logs): Guardar la trazabilidad de las decisiones y pruebas de supervisión durante al menos seis meses.
- Evaluación de impacto: Requisito indispensable en sectores regulados como banca, seguros y servicios públicos.
2. Requisitos documentales exigibles al proveedor antes de firmar
- Instrucciones de uso técnicas y específicas (más allá del material comercial).
- Declaración UE de conformidad y marcado CE visible.
- Comprobante de registro verificado en la base de datos oficial de la UE (para sistemas de alto riesgo).
- Protocolos claros de gestión y recuperación de registros.
- Delimitación por escrito de qué constituye una modificación sustancial.
- Métricas de precisión, mitigación de sesgos y ciberseguridad.
- Canales formales de vigilancia posventa y notificación de incidencias.
Conclusión: Un desafío de arquitectura, no solo legal
El cumplimiento del AI Act no se resuelve únicamente mediante una revisión de cláusulas jurídicas en el departamento legal. Requiere diseñar una arquitectura de decisiones donde la empresa mantenga el criterio humano y evite la deuda cognitiva organizacional derivada de delegar decisiones críticas sin la debida supervisión.
Plan de acción inmediato
- Auditoría de contratos: Identificar qué acuerdos sitúan a la empresa como cliente final y cuáles corren el riesgo de cruzar los límites del artículo 25.
- Validación documental: Comprobar la existencia de las piezas técnicas y legales exigidas al proveedor.
- Mapeo de supervisión: Asignar y documentar de manera nominal qué persona supervisa cada sistema automatizado dentro de los flujos de trabajo.
Te dejo un vídeo que lo explica todo!!!
