2025, año de los agentes de Inteligencia artificial. Estos agentes están revolucionando el mundo y la productividad, ya que su finalidad es ejecutar tareas empresariales de forma autónoma. Estos agentes plantean interrogantes jurídicos sobre la distribución de responsabilidades cuando estos sistemas fallan. El Reglamento (UE) 2024/1689 de Inteligencia Artificial establece un marco normativo que las empresas deben conocer para evitar riesgos legales.
¿Qué son los agentes de IA autónomos?
Los agentes de IA autónomos van más allá de la simple automatización. Herramientas como 8n8, Make.com o Zapier han evolucionado hacia sistemas que no solo automatizan tareas, sino que toman decisiones complejas sin intervención humana inmediata. Estos agentes pueden redactar contratos, procesar pagos, gestionar comunicaciones comerciales o manejar datos sensibles basándose en algoritmos de inteligencia artificial.
La característica fundamental que distingue estos sistemas de la automatización tradicional es su capacidad de adaptación y toma de decisiones autónomas, lo que puede convertirlos en sistemas de IA de alto riesgo según el artículo 6 del Reglamento.
Obligación de supervisión humana efectiva
La IA tiene capacidad de tomar decisiones conforme a los criterios marcados, pero hay ocasiones en las que puede alucinar y provocar daños. El artículo 26.2 del Reglamento establece que los responsables del despliegue encomendarán la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias. Esta obligación requiere supervisión efectiva y proporcionada al nivel de autonomía del sistema, lo que implica que las empresas deben implementar mecanismos que permitan intervenir en el funcionamiento del sistema, detectar anomalías y comportamientos inesperados, así como invalidar o revertir decisiones automáticas cuando sea necesario.
Este requerimientos es para evitar las responsabilidades, las cuales vemos a continuación conforme a la legislación, responsabilidades que hay que tener en cuenta.
Tipología de responsabilidades empresariales
Responsabilidad por falta de revisión humana
Cuando un agente genera contenido crítico como contratos, comunicaciones oficiales o documentos legales sin revisión posterior, la empresa asume responsabilidad por errores que pueden tener consecuencias jurídicas directas. El Reglamento no exime de responsabilidad por confiar exclusivamente en outputs automatizados.
Los sistemas que ejecutan acciones irreversibles, tales como transferencias bancarias, envío de documentos contractuales o modificaciones de bases de datos, generan responsabilidad objetiva para la empresa. El artículo 14.4 del Reglamento exige expresamente que las personas responsables puedan decidir no utilizar el sistema de IA o descartar, invalidar o revertir los resultados.
Vulnerabilidades de ciberseguridad
El artículo 15.5 establece obligaciones específicas de ciberseguridad que requieren que las empresas mantengan sistemas resistentes a manipulaciones externas y ataques adversarios.
Las empresas que despliegan agentes autónomos son responsables de los daños derivados de vulnerabilidades conocidas no corregidas, incluidos ataques de envenenamiento de datos, manipulación de modelos o ejemplos adversarios.
Distribución de responsabilidades
El artículo 25 del Reglamento clarifica la cadena de responsabilidades estableciendo que el desarrollador del agente responde por defectos de diseño del sistema, falta de advertencias sobre limitaciones, deficiencias en la documentación técnica e incumplimiento de estándares de seguridad.
Por su parte, el usuario empresarial asume responsabilidad por el uso inadecuado o fuera de la finalidad prevista, la falta de supervisión humana efectiva, no implementar medidas de seguridad recomendadas y las modificaciones sustanciales del sistema que realice.
Recomendaciones de cumplimiento
Las empresas que implementen agentes autónomos deben establecer protocolos claros de supervisión humana y mantener registros detallados de decisiones automatizadas conforme al artículo 12 del Reglamento. Es fundamental asegurar capacidad de intervención humana efectiva en todo momento, implementar sistemas de revisión para contenido crítico y mantener actualizada la documentación técnica.
La experiencia de nuestro despacho en derecho de las nuevas tecnologías nos ha enseñado que la prevención y el cumplimiento normativo son elementos fundamentales para evitar responsabilidades posteriores. Al hilo de esta realidad, resulta imprescindible que las empresas evalúen periódicamente los riesgos asociados a sus sistemas de IA y mantengan una supervisión continua sobre su funcionamiento.
¿Su empresa utiliza agentes de IA autónomos? En Navas & Cusí, contamos con un equipo legal con amplia experiencia en el ámbito tecnológico. Si busca abogados especialistas en nuevas tecnologías, podemos ayudarle a evaluar el nivel de cumplimiento normativo de sus sistemas de IA y diseñar protocolos de supervisión efectivos conforme al Reglamento europeo. Atendemos con cita previa, tanto de forma presencial en Madrid, Barcelona o Bruselas, como por videoconferencia.
Preguntas frecuentes sobre agentes de IA autónomos y el Reglamento Europeo
¿Qué responsabilidades legales tiene una empresa que utiliza agentes de IA?
La empresa es responsable de supervisar y validar los resultados generados por el agente. Si no se realiza una revisión humana efectiva, puede incurrir en responsabilidades legales por daños derivados de errores, vulnerabilidades o decisiones automatizadas.
¿Qué diferencia a un agente de IA autónomo de una herramienta de automatización clásica?
Los agentes de IA autónomos no solo ejecutan tareas repetitivas, sino que también toman decisiones complejas sin intervención humana directa, lo que los convierte en sistemas potencialmente de alto riesgo según el Reglamento (UE) 2024/1689.
¿Qué dice el Reglamento sobre la supervisión humana?
El artículo 26.2 obliga a las empresas a asignar la supervisión a personas capacitadas y con autoridad para intervenir, revertir o invalidar decisiones del sistema. No basta con tener al sistema funcionando, debe existir una vigilancia activa y efectiva.
¿Qué pasa si el agente de IA comete un error crítico como enviar un contrato erróneo?
La empresa sigue siendo responsable. El uso de sistemas de IA no exime del deber de diligencia, por lo que se recomienda contar con revisiones humanas especialmente en tareas críticas como contratos, pagos o comunicaciones legales.
¿Quién responde si el agente tiene una vulnerabilidad de ciberseguridad?
El artículo 15.5 exige a las empresas garantizar la resistencia de sus sistemas ante ataques. Si se produce un daño por no corregir vulnerabilidades conocidas, la empresa puede ser considerada responsable.
¿Cómo se reparten las responsabilidades entre desarrollador y usuario empresarial?
El desarrollador responde por defectos de diseño y documentación. El usuario empresarial es responsable del uso indebido, falta de supervisión o modificaciones del sistema sin control. Ambos tienen obligaciones claras según el artículo 25 del Reglamento.
