Este paper de Google Research aporta la idea del “Nested Learning”, un giro inesperado en cómo entendemos a los modelos de lenguaje. Plantea que, como sucede en otros casos, la performance no es un tema de tamaño sino de uso. Porque en lugar de construir modelos cada vez más grandes, habría que cambiar cómo manejan su memoria.
Voy a hacer malabares para explicar un tema bastante complejo. Paciencia.
Un LLM tradicional (como Gemini o ChatGPT) es como una enciclopedia old school: te puede citar todo lo que ya trae impreso, pero no puede agregar ni una línea nueva en esas páginas. Puede usar información reciente mientras conversa, sí, pero no la incorpora a su memoria interna; queda atrapado en un presente constante donde nada se vuelve aprendizaje duradero. Así, muy a grandes rasgos, funcionan los GPT en la actualidad.
En cambio, lo que propone este “Nested Learning” es que ese libro sea en verdad un conjunto de cuadernos anidados, cada uno con su propio ritmo de actualización. El cuaderno del interior se reescribe todo el tiempo, el intermedio guarda aprendizajes cada cierto período, y el externo consolida únicamente lo más estable.
De esa forma el modelo podría procesar y asimilar información de manera continua sin necesidad de reentrenar de cero cada vez. Tómenlo con muchas pinzas.
A nivel técnico, la posible implementación se basa en que algunas partes del modelo se ajusten rápido y otras tarden más en cambiar. Algo así como capas que se actualizan a distinto ritmo. De ese modo, en teoría, los modelos podrían aprender cosas nuevas sin borrar todo lo anterior, aunque esto hoy sigue siendo un planteo experimental más que una capacidad real.
¿Las grandes tech invertirán sus recursos guiados por este nuevo camino? La verdad que ni idea, pero según los autores se abre la puerta a modelos que incorporan nuevo conocimiento en caliente, sin entrenamientos masivos adicionales y que prometen no colapsar.
Para los usuarios contar con un sistema así implicaría una relación completamente distinta con la IA. El cambio sería algo así: en lugar de interactuar con modelos cuyo “recuerdo” es limitado, pasaríamos a trabajar con asistentes capaces de ajustar sus propias funciones internas, refinarse con la experiencia acumulada y mantenerse al día de forma automática.
Si esta línea de investigación efectivamente se prueba y prospera, la siguiente generación de modelos no solamente debería será más potente, sino más adaptativa, compleja y completa