Los sistemas de inteligencia artificial en general son de bastante complejidad desde el punto de vista cognitivo, es decir, las expectativas en cuanto a sus prestaciones y los mecanismos que permiten hacer inferencias en el sentido expresado no son tan precisas y objetivables como en los sistemas que podríamos denominar de software convencional.

Por ejemplo, la tasa de error esperable en un sistema de gestión de nóminas debe ser cero porque no tiene sentido que el sistema una vez evaluado cometa ningún error. En cambio, un sistema de ayuda a la decisión en el diagnóstico y tratamiento de determinado grupo de enfermedades podría tener una tasa de aciertos del 70% y aun así superar la tasa de aciertos de muchos de los equipos de hospitales reputados.

Por estas y otras razones es necesario diseñar nuevas estrategias complejas para la certificación de este tipo de sistemas, y aquí es dónde I2SC juega un papel diferencial gracias a la experiencia acumulada durante muchos años en cuanto a certificación de software e inteligencia artificial.

¿En qué se deben focalizar estas estrategias?

Como se ha visto, los sistemas inteligentes tienen unas características específicas que no permiten en la mayoría de los casos usar métricas precisas para evaluar sus diferentes componentes.

En las entradas que alimentan estos sistemas, hay ya algunas técnicas para estudiar conjuntos de datos estructurados, numéricos y normalizados (que es la entrada final a todos los programas o librerías de aprendizaje automático). Pero estas técnicas habitualmente solo son capaces de medir características estadísticas como la dispersión u otras similares, pero no es sencillo por ejemplo evaluar la potencialidad de estos datos para obtener resultados en un problema concreto. La cosa se complica todavía más cuando hay que evaluar la potencialidad del conocimiento humano disponible para afrontar ese problema.

En cuanto a los mecanismos de inferencia, bien sean algoritmos de aprendizaje automático o mecanismos de inferencia basados en lógica, la principal dificultad reside en medir la capacidad de convergencia, es decir, la capacidad de generar patrones en unas condiciones determinadas. Y en los mecanismos de emulación del razonamiento humano mediante estructuras formales, la principal dificultad reside en la capacidad de representar y manipular un conocimiento tan complejo como el que manejamos los humanos.

Por último, debe ser estudiada la capacidad del sistema desarrollado para lograr los objetivos propuestos inicialmente: qué tal predice, cuán buenos son los contenidos que genera, qué tal son sus recomendaciones o cuan bien ayuda en la decisión para la que ha sido diseñado. Esto es lo que habitualmente se denomina ‘validación’ del sistema, pero en el caso de sistemas inteligentes resulta mucho más complejo debido a las expectativas vagas de las que ya hemos hablado.

Es aquí donde I2SC juega de nuevo un papel diferencial debido a la experiencia acumulada durante muchos años en cuanto a certificación de software e inteligencia artificial.