En los últimos meses, con la llegada de ISO/IEC 42001, han proliferado cientos de artículos, posts y opiniones sobre “gobierno de IA”, “sistemas de gestión de IA” y “cómo implantar IA responsable”. Problema: analizando muchos de ellos, la mayoría confunde gobierno con gestión, o incluso usan ambos términos como sinónimos y… no lo son. Eso confunde al lector y genera ruido en la industria.

Entender la diferencia entre gobierno de IA y gestión de la IA es crítico para cualquier organización que quiera cumplir correctamente los estándares, prepararse para auditorías o alinearse con el AI Act europeo.

Por ello, queremos proporcionaros una visión rigurosa, técnica y basada en estándares internacionales, para que tengáis claro:

• qué es gobierno de la IA,
• qué es gestión de la IA,
• qué estándar se relaciona con cada cosa,
• y cómo encajan todas dentro de un sistema organizacional coherente.

Error común: Hablar de Gobierno y Gestión como si fueran lo mismo

En el contexto empresarial, el gobierno y la gestión son funciones complementarias, pero radicalmente distintas. El Gobierno es la responsabilidad de la Alta Dirección y se encarga de:

• marcar principios y valores,
• definir expectativas, límites y visión,
• evaluar impactos estratégicos, éticos y sociales,
• asumir la responsabilidad última de las decisiones,
• y supervisar que la organización se comporta de manera coherente.

Por otro lado, la Gestión es responsabilidad de los equipos directivos y operativos y se encarga de:

• convertir el gobierno en políticas, procesos y controles,
• documentar roles, responsabilidades y procedimientos,
• controlar la ejecución de actividades,
• mantener registros y evidencias,
• evaluar riesgos de forma continua,
• auditar, revisas y mejorar los procesos.

Por tanto, los sistemas de gestión se encargan de operacionalizar el gobierno.

¿Qué estándar cubre el gobierno de la IA? — ISO/IEC 38507

ISO/IEC 38507 forma parte de la familia ISO 38500 (Gobierno de TI) y su propósito es guiar a la Alta Dirección en el gobierno de la IA dentro de la organización.

ISO 38507 establece principios de:

• responsabilidad,
• estrategia,
• adquisición,
• desempeño,
• conformidad,
• comportamiento humano,

y los aplica a la IA para asegurar que las decisiones corporativas sobre tecnología sean seguras, éticas y alineadas con el propósito corporativo. Por tanto, ISO 38507 define qué debe decidir la Alta Dirección respecto a la IA, pero no baja al “cómo” debe gestionarse internamente.

¿Qué estándar cubre la gestión organizacional de la IA? — ISO/IEC 42001

Aquí entra el estándar ISO/IEC 42001 “AI Management System — Requirements” (Sistema de Gestión de la IA — Requisitos), que representa la contrapartida organizacional y certificable de los principios de gobierno definidos por ISO 38507.

ISO 42001 exige:

• políticas de IA responsable,
• procedimientos para el uso, desarrollo e implantación de IA,
• evaluación de riesgos de IA,
• supervisión humana documentada,
• criterios de aceptación de herramientas y proveedores,
• controles éticos, legales y operacionales,
• registros y trazabilidad,
• formación,
• indicadores de desempeño,
• auditoría interna obligatoria,
• revisión por la dirección,
• mejora continua.

Esto es gestión organizacional en estado puro, no gobierno estratégico. Pero cuidado también, porque ISO 42001:

• NO es para entrenar modelos.
• NO regula ingeniería de IA ni MLOps.
• NO aterriza aspectos de ciclo de vida de desarrollo, calidad del software IA o calidad de los datos para la IA, de las cuales se encargan los estándares ISO 5338, ISO 25059 e ISO 5259 respectivamente.

Una forma sencilla de verlo es que ISO/IEC 42001 es para un sistema de gestión, como ISO 9001 o ISO 27001, pero aplicado al uso, desarrollo y/o despliegue de IA.

¿Cómo encajan ISO 38507 e ISO 42001?

Hay que considerar que ISO 38507 establece el gobierno (lo que la Alta Dirección debe decidir), mientras que ISO 42001 se encarga de operacionalizar ese gobierno (a través de políticas, procesos, controles y registros).

Tal como sucede con otras parejas normativas.

¿Y para los aspectos más técnicos de la IA?

Es importante entender que ISO 42001 sirve para gestionar el uso, desarrollo y/o despliegue de la IA, pero no entra en aspectos técnicos. Para ello, a nivel de estándares ISO contamos con otros muchos, entre los que se pueden destacar:

• ISO/IEC 5338 – Define los procesos del ciclo de vida para el desarrollo del software de la IA
• ISO/IEC 25059 – Determina un modelo de calidad para los sistemas de IA
• ISO/IEC 5259 – Define un modelo de calidad y las métricas para poder evaluar la calidad de los datos que se utilizan en IA
• ISO/IEC 29119-11 – Define las guías para el testing de los sistemas basados en IA

Por tanto, es importante deshacer la confusión que existe entre gestión y gobierno de la IA, de manera que la verdad, expresada con rigor profesional y basada en estándares internacionales es que:

• ISO 38507 gobierna la IA desde la alta dirección.
• ISO 42001 gestiona la IA en la organización.
• Además existen normas técnicas para asegurar la calidad de los datos, el software y los procesos del ciclo de vida que se utilizan para desarrollar sistemas IA.

Tres capas, tres funciones, tres niveles de estándares diferentes pero relacionados

Desde I2SC trabajamos con los estándares de gobierno y gestión de la IA, así como con el resto de los estándares técnicos presentados en este post. Si te interesa profundizar en tu organización en alguno de ellos, contacta con nosotros.