¿POR QUÉ LA IA GENERATIVA TIENE QUE SER EXPLICABLE?
No es trivial ni el concepto ni la necesidad de la explicabilidad aplicada a la Inteligencia Artificial generativa, pero voy tratar de exponerlo de una forma sencilla.
PROBLEMA: La IA generativa se fundamenta en dos gran pilares: (1) Los algoritmos de GenAI están basados en redes neuronales con una arquitectura muy particular denominada “Transformer” que hace que no sabemos que ocurre en su interior cuando nos ofrecen una salida. Es lo que llamamos algoritmos de caja negra. Sabemos diseñarlos, pero no podemos saber qué ocurre en su interior cuando se ejecutan; (2) La gran cantidad de datos que necesita GenAI para ser entrenada contienen sesgos. Por tanto, el problema que tenemos con los algoritmos de GenAI es que no podemos explicar su comportamiento, o dicho de otra forma, cuando nos dan información no sabemos en base a qué criterios lo hacen.
