¿POR QUÉ LA IA GENERATIVA TIENE QUE SER EXPLICABLE?
No es trivial ni el concepto ni la necesidad de la explicabilidad aplicada a la Inteligencia Artificial generativa, pero voy tratar de exponerlo de una forma sencilla.
PROBLEMA: La IA generativa se fundamenta en dos gran pilares: (1) Los algoritmos de GenAI están basados en redes neuronales con una arquitectura muy particular denominada “Transformer” que hace que no sabemos que ocurre en su interior cuando nos ofrecen una salida. Es lo que llamamos algoritmos de caja negra. Sabemos diseñarlos, pero no podemos saber qué ocurre en su interior cuando se ejecutan; (2) La gran cantidad de datos que necesita GenAI para ser entrenada contienen sesgos. Por tanto, el problema que tenemos con los algoritmos de GenAI es que no podemos explicar su comportamiento, o dicho de otra forma, cuando nos dan información no sabemos en base a qué criterios lo hacen.
DESARROLLO: No poder explicar un modelo impide poder utilizarlo en tareas críticas. Por ejemplo, en salud no podemos usar GenAI si le pedimos que analice el historial de un paciente para darnos sus probabilidades de sufrir un infarto sin poder saber en que criterios ha basado su decisión. Igualmente en educación, no podemos utilizar GenAI si le pedimos a la IA una descripción de lo que consiste la democracia si no sabemos que argumentos ha utilizado para darnos su opinión.
SOLUCIÓN: Aumentar nuestra capacidad de análisis crítico 😀. Pero además, existen herramientas como LIME y SHAP que nos ofrecen cierta explicabilidad de los modelos GenAI 🧐. Supongamos un sistema de IA que predice riesgo de infarto para pacientes en un hospital. Si ingresamos los datos de un paciente y el modelo predice “Alto riesgo”: (1) LIME podría destacar: “las variables más importantes en esta predicción fueron su edad (muy alta) y su presión arterial (elevada)”; (2) SHAP también resaltará esas variables pero además podría cuantificar: “edad aportó +30% de riesgo, presión arterial +25%, mientras que el hecho de no fumar restó –5%, etc.”, ofreciendo una descomposición numérica de la predicción.
👉CONCLUSIÓN: Cada vez damos más importancia a la necesidad de explicar modelos de IA generativa si queremos aplicarlos en sectores críticos, y cada vez tenemos más herramientas para hacerlo. Si quieres saber más sobre estos temas, te dejo un vídeo que te ayudará.
