La Inteligencia Artificial está integrada ya en todos los aspectos del negocio. Sin embargo, el nuevo Reglamento Europeo de IA que entró en vigor este año establece límites muy estrictos sobre qué se puede y qué no se puede hacer al usar estas tecnologías para filtrar clientes.
Prácticas prohibidas
Está completamente prohibido usar sistemas de IA que exploten vulnerabilidades específicas de las personas, como su edad, discapacidad o situación socioeconómica, para influir en su comportamiento de manera que les cause perjuicio.
También se prohíbe expresamente la creación de sistemas de puntuación ciudadana que evalúen a las personas basándose en su comportamiento social o características personales, especialmente cuando esto pueda resultar en un trato injustificado o desproporcionado.
Es especialmente sensible el uso de sistemas que clasifiquen a las personas por datos biométricos para inferir aspectos como raza, opiniones políticas, convicciones religiosas o orientación sexual. Estas prácticas están terminantemente prohibidas.
Sistemas de alto riesgo: cuando la supervisión es obligatoria
Si tu empresa utiliza IA para gestión de recursos humanos, control de acceso a servicios esenciales como seguros o créditos, o evaluación de estudiantes, te encuentras ante lo que el Reglamento considera “sistemas de IA de alto riesgo”.
Estos sistemas requieren una serie de salvaguardas obligatorias. Deben incluir supervisión humana efectiva, documentación técnica exhaustiva y sistemas de gestión de riesgos. Además, necesitas mantener registros detallados de su funcionamiento y garantizar la transparencia en su uso.
La normativa es clara: cualquier decisión tomada por estos sistemas debe poder ser revisada, invalidada o revertida por una persona. Los afectados tienen derecho a obtener explicaciones claras sobre el papel que la IA ha tenido en decisiones que les afecten significativamente.
Métricas permitidas vs. métricas prohibidas
Puedes usar métricas relacionadas con:
- Capacidad financiera objetiva y verificable
- Historial crediticio factual
- Datos empresariales públicos y verificables
- Información proporcionada voluntariamente por el cliente
- Patrones de comportamiento comercial legítimo
No puedes usar métricas que incluyan:
- Inferencias sobre características personales protegidas (raza, religión, orientación sexual)
- Datos biométricos para categorización
- Puntuaciones basadas en comportamiento social general
- Información que explote vulnerabilidades específicas
- Predicciones sobre propensión a cometer delitos basadas únicamente en perfiles
Las obligaciones de transparencia
La normativa señala que si utilizas IA para interactuar con clientes, debes informarles claramente que están interactuando con un sistema automatizado, salvo que sea evidente por el contexto. Esta obligación se extiende a cualquier contenido generado por IA que uses en tu comunicación comercial.
Cuando tu sistema de IA tome decisiones que afecten significativamente a una persona, esa persona tiene derecho a recibir explicaciones claras y comprensibles sobre cómo se llegó a esa decisión y qué papel jugó la IA en el proceso. Esto para la mayoría de empresas es un problema ya que no lo registran, e incluso el sistema blackbox genera imposibilidades de seguimiento. Por ello, se debería plantear instalar un registro de chain of thought.
Documentación, gestión de riesgos y supervisión humana
Todo sistema de IA de alto riesgo debe contar con un sistema de gestión de riesgos que funcione durante todo su ciclo de vida, incluyendo la identificación, evaluación y mitigación de riesgos potenciales. La documentación técnica debe mantenerse actualizada y disponible durante al menos diez años, incluyendo información sobre el entrenamiento del sistema, sus capacidades, limitaciones y las medidas de supervisión implementadas. Además, la normativa exige supervisión humana efectiva, donde las personas responsables deben tener la competencia y autoridad necesarias para comprender las capacidades del sistema, interpretar sus resultados y decidir cuándo invalidar sus decisiones.
Consecuencias del incumplimiento y recomendaciones prácticas
Las sanciones por incumplimiento son severas: hasta 35 millones de euros o el 7% del volumen de negocios mundial anual para las infracciones más graves, y hasta 15 millones de euros o el 3% para otros incumplimientos. Para cumplir con la normativa, realiza una auditoría completa de tus sistemas de IA actuales, implementa procesos claros de supervisión humana y establece procedimientos para que los clientes puedan solicitar explicaciones sobre decisiones automatizadas. La inteligencia artificial puede ser una herramienta poderosa para mejorar la eficiencia en la selección de clientes, pero debe usarse de manera responsable, encontrando el equilibrio entre innovación tecnológica y protección de los derechos fundamentales de las personas.
Cumplir con la normativa sobre inteligencia artificial requiere más que buenas intenciones: implica decisiones legales estratégicas. En Navas&Cusí te ayudamos a revisar y adaptar tus sistemas automatizados con garantías. Consulta con un abogado especializado en inteligencia artificial para asegurar que tus procesos cumplen con la ley. Actuar a tiempo puede evitar sanciones graves.
