En las contribuciones anteriores, Estándares ISO relacionados con el gobierno, la gestión y la calidad de la IA (I), (II) y (III), presentamos las normas que abordan temas relacionados con el gobierno y la gestión de la IA, así como la calidad de los datos.
En esta ocasión abordaremos las normas [1] relacionadas con la calidad del software de los SIA.
Ciclo de vida del software
ISO/IEC 5338 Information technology — Artificial intelligence — AI system life cycle processes
Esta norma establece un marco de referencia internacional para los procesos del ciclo de vida de los SIA, definiendo un conjunto común de procesos, actividades y tareas para ingenieros, desarrolladores y organizaciones, extendiendo y adaptando los procesos del ciclo de vida del software tradicional (como los definidos en ISO/IEC/IEEE 12207).
Esta propuesta de norma proporciona un PAM (Process Assessment Model o Modelo de Evaluación de Procesos) específico para IA, permitiendo determinar de manera objetiva el nivel de capacidad y madurez de una empresa al desarrollar, desplegar o utilizar sistemas de Inteligencia Artificial. Hay que recordar que actualmente para las organizaciones interesadas en este tema, ya existen marcos de este tipo como el MMSIA, diseñado también diseñado en base a la familia de normas ISO/IEC 33000 para la evaluación de procesos e ISO/IEC 5338, que proporciona a los desarrolladores de sistemas de IA una herramienta estructurada para la mejora continua de sus procesos del ciclo de vida de desarrollo, mejorando así la fiabilidad y la eficacia de las aplicaciones de IA.
Modelos de Calidad
Esta especificación técnica, que pertenece a la familia de normas ISO/IEC 25000 conocida como SQuaRE (Systems and Software Quality Requirements and Evaluation) actúa como puente metodológico entre la ingeniería de software tradicional y la ingeniería de IA. ISO/IEC TS 25058 reinterpreta las características de calidad clásicas de SQuaRE y define cómo deben medirse específicamente en sistemas de IA, y estandariza un flujo de trabajo riguroso para ejecutar la evaluación de calidad de cualquier producto o sistema de IA.
Esta norma establece formalmente el Modelo de Calidad de referencia para sistemas de IA, extendiendo el modelo de calidad de software general (ISO/IEC 25010) con características y subcaracterísticas específicas diseñadas para capturar los riesgos, dependencias de datos y comportamientos probabilísticos inherentes a los SIA. Hay que destacar que ya existen certificaciones relacionadas con esta norma.
El informe técnico ISO/IEC TR 42106 proporciona un marco metodológico para el benchmarking diferenciado de las características de calidad de los sistemas de IA. El objetivo es medir cómo se comportan las características de calidad críticas (definidas en la norma ISO/IEC 25059, bajo diferentes contextos operativos, perfiles de carga y dominios de riesgo.
Testing
Este Informe Técnico (Technical Report) pertenece a la serie ISO/IEC/IEEE 29119, el estándar global para pruebas de software. Esta parte 11 está dedicada exclusivamente a proporcionar directrices para las pruebas de sistemas basados en Inteligencia Artificial.
La ISO/IEC TR 29119-11 aborda el problema de que los sistemas de IA (especialmente el Aprendizaje Automático o Machine Learning) son probabilísticos y estocásticos. No hay un código estático que auditar, sino un modelo que aprende de los datos. Por lo tanto, el comportamiento del sistema puede ser impredecible, haciendo que los métodos de prueba tradicionales sean insuficientes para validar la precisión, el sesgo o la seguridad.
ISO/IEC TS 42119-2 Artificial intelligence — Testing of AI Part 2: Overview of testing AI systems
El documento ISO/IEC TS 42119-2 es una Especificación Técnica (Technical Specification) que proporciona una visión general para las pruebas de sistemas basados en IA, definiendo un espectro multidimensional de características críticas que deben ser probadas: Rendimiento Funcional Estadístico, Robustez y Resiliencia, Equidad y Mitigación de Sesgo, Explicabilidad y Transparencia, etc. y enfatiza que las pruebas de IA no son una fase aislada al final del desarrollo, proporcionando un marco para integrar las actividades de prueba de forma continua.
Esta Parte 3 profundiza en la metodología analítica de la Verificación y la Validación V&V), y establece directrices para estructurar un Caso de V&V que recopile evidencias matemáticas, estadísticas y de ingeniería para demostrar la fiabilidad de un SIA.
ISO/IEC AWI TS 42119-7 Artificial intelligence — Testing of AI Part 7: Red teaming
Este proyecto normativo ISO/IEC AWI TS 42119-7 proporcionará el primer marco internacional estandarizado para planificar, ejecutar y reportar ejercicios de Red Teaming diseñados específicamente para descubrir vulnerabilidades críticas, riesgos de seguridad física/lógica y fallas de alineación ética que los métodos de prueba automatizados convencionales no logran detectar.
La ISO/IEC AWI TS 42119-8 establecerá el primer marco internacional para medir, evaluar y certificar cuantitativa y cualitativamente la calidad, consistencia y seguridad de las respuestas textuales generadas por los sistemas basados en prompts.
[1] Los resúmenes de los contenidos presentados en esta entrada han sido proporcionados directamente por GEMINI, y revisados por I2SC.