DE LA AMNESIA AL CONOCIMIENTO Y APRENDIZAJE PERPETUO: NUEVOS MODELOS DE LENGUAJE DE LA IA
Los problemas de los modelos grandes de lenguaje (LLM), en los que se basan aplicación de IA Generativa como Chat GPT y Gemini, son varios e importantes para la evolución de la tecnología, entre ellos: (1) No son capaces de recordar nada de la interacción con un usuario más allá de una ventana contexto, es decir, llega un momento en que el lenguaje olvida porque no le cabe nada más en su memoria, y cada vez que inicias una conversación nueva, no sabe nada del resto de conversaciones; (2) No aprende nada nuevo de la interacción. Esto sólo se puede lograr con técnicas de fine-tuning y los resultados no son buenos, por experiencia; (3) No pueden mejorar su propia forma de aprender y (4) Intentar actualizar la memoria a largo plazo de los LLM rompe lo anterior.
En este contexto tan limitante para la tecnología (que parecía estar tocando techo), investigadores de Google acaban de publicar un paper con nuevos elementos que parecen solucionar los problemas anteriores. Se trata de una nueva arquitectura que mejora lo anterior y que se llama “Nested Learning” (NL). Esta arquitectura introduce avances técnicos como procesos de optimización por anidación, optimizadores de memoria y sistemas automodificables que permiten que: (1) La IA tiene memoria sobre tus conversaciones (2) La IA se adapta a ti (3) La IA aprende (4) La IA aprende a aprender.





