Los problemas de los modelos grandes de lenguaje (LLM), en los que se basan aplicación de IA Generativa como Chat GPT y Gemini, son varios e importantes para la evolución de la tecnología, entre ellos: (1) No son capaces de recordar nada de la interacción con un usuario más allá de una ventana contexto, es decir, llega un momento en que el lenguaje olvida porque no le cabe nada más en su memoria, y cada vez que inicias una conversación nueva, no sabe nada del resto de conversaciones; (2) No aprende nada nuevo de la interacción. Esto sólo se puede lograr con técnicas de fine-tuning y los resultados no son buenos, por experiencia; (3) No pueden mejorar su propia forma de aprender y (4) Intentar actualizar la memoria a largo plazo de los LLM rompe lo anterior.
En este contexto tan limitante para la tecnología (que parecía estar tocando techo), investigadores de Google acaban de publicar un paper con nuevos elementos que parecen solucionar los problemas anteriores. Se trata de una nueva arquitectura que mejora lo anterior y que se llama “Nested Learning” (NL). Esta arquitectura introduce avances técnicos como procesos de optimización por anidación, optimizadores de memoria y sistemas automodificables que permiten que: (1) La IA tiene memoria sobre tus conversaciones (2) La IA se adapta a ti (3) La IA aprende (4) La IA aprende a aprender.
La aplicación de esta nueva arquitectura a modelos como Gemini (por ser de Google) puede ser muy significativa y convertirse en la tecnología necesaria para llevar a la IA a un siguiente nivel. Podemos ver cada vez más novedades en este línea, si hace unos días os comentaba la estrategia MDAP para conseguir modelos de IA con mayor capacidad de razonamiento, esta nueva investigación parece ser clave para dar un salto tecnológico más.
Ahora bien, si la IA se adapta tanto a mí ¿Puede ser que amplifique mi cámara de eco, es decir, que me impida descubrir cosas nuevas? Existen y existirán siempre formas de poder utilizar GenAI para potenciar tu creatividad, y en breve te contaré cómo hacerlo.
Saludos!!!!