De enciclopedias a cuadernos, Google busca que la IA aprenda mejor

Este paper de Google Research aporta la idea del “Nested Learning”, un giro inesperado en cómo entendemos a los modelos de lenguaje. Plantea que, como sucede en otros casos, la performance no es un tema de tamaño sino de uso. Porque en lugar de construir modelos cada vez más grandes, habría que cambiar cómo manejan su memoria.

Voy a hacer malabares para explicar un tema bastante complejo. Paciencia. 

Un LLM tradicional (como Gemini o ChatGPT) es como una enciclopedia old school: te puede citar todo lo que ya trae impreso, pero no puede agregar ni una línea nueva en esas páginas. Puede usar información reciente mientras conversa, sí, pero no la incorpora a su memoria interna; queda atrapado en un presente constante donde nada se vuelve aprendizaje duradero. Así, muy a grandes rasgos, funcionan los GPT en la actualidad.

En cambio, lo que propone este “Nested Learning” es que ese libro sea en verdad un conjunto de cuadernos anidados, cada uno con su propio ritmo de actualización. El cuaderno del interior se reescribe todo el tiempo, el intermedio guarda aprendizajes cada cierto período, y el externo consolida únicamente lo más estable. 

De esa forma el modelo podría procesar y asimilar información de manera continua sin necesidad de reentrenar de cero cada vez. Tómenlo con muchas pinzas.

A nivel técnico, la posible implementación se basa en que algunas partes del modelo se ajusten rápido y otras tarden más en cambiar. Algo así como capas que se actualizan a distinto ritmo. De ese modo, en teoría, los modelos podrían aprender cosas nuevas sin borrar todo lo anterior, aunque esto hoy sigue siendo un planteo experimental más que una capacidad real.

¿Las grandes tech invertirán sus recursos guiados por este nuevo camino? La verdad que ni idea, pero según los autores se abre la puerta a modelos que incorporan nuevo conocimiento en caliente, sin entrenamientos masivos adicionales y que prometen no colapsar.

Para los usuarios contar con un sistema así implicaría una relación completamente distinta con la IA. El cambio sería algo así: en lugar de interactuar con modelos cuyo "recuerdo" es limitado, pasaríamos a trabajar con asistentes capaces de ajustar sus propias funciones internas, refinarse con la experiencia acumulada y mantenerse al día de forma automática.

Si esta línea de investigación efectivamente se prueba y prospera, la siguiente generación de modelos no solamente debería será más potente, sino más adaptativa, compleja y completa.

A título personal

—Ya te dije que soy yo. 

—No te creo. 

—Ya completé captchas, escribí pines y puse mis huellas, ¿qué más querés de mí, calculadora del averno?

Algo así parece que sucede cuando vas a loggear tu cuenta en un dispositivo nuevo, o cuando la máquina se tara y ya nadie —ni ella ni vos— distinguen entre un ataque masivo de bots de un usuario genuino; ni entre un paso de cebra de un extintor. 

La peor parte: cuando hay que completar el captcha de una motito y hay dos milímetros de la rueda que sobrepasan el límite de la cuadrícula, entonces uno duda si eso cuenta o no como parte del desafío. Ah, qué veneno que me agarra. 

¿No debería ser al revés? No me refiero a no confundir un paso de cebra con un extintor, tampoco a los bordes de las cuadrículas y ni a mi gusto por las proporciones. 

Digo que ahora vale más la palabra del algoritmo que la mía. Qué ironía, ¿no? Un mundo diseñado y entrenado para desconfiar de las personas.  

Tanta sospecha me hace pensar que en realidad la máquina no busca seguridad, sino que se aburrió y quiere molestarme. Está ahí, adormecida, sin nada para hacer y busca la forma de divertirse con una especie inferior para pasar el tiempo. 

Yo hacía exactamente lo mismo, así que empiezo a sospechar que esto es, en realidad, una especie de karma cósmico por todas esas veces que volví locos a los gatitos de la familia con un puntero láser. Horas de diversión aseguradas viendo cómo corrían por toda la casa con desesperación.

Es eso o creer que como sociedad creamos un sistema tan fuerte que nos va a anular la capacidad de-. No, dejá, dejá. Mejor prefiero pensar que solamente la maquinita está aburrida y se divierte conmigo.

#RANDOM

Yo estoy convencido que el mundo no necesita superhéroes para estar mejor. Creo que ni siquiera es necesario ser bueno, sino que alcanza con no ser un imbécil, una mala persona, una rata inmunda, animal rastrero, escoria de la vida, adefesio mal hecho.

Si cada uno se compromete a no ser un forro en todos y cada uno de los pequeños actos de la vida cotidiana por las próximas dos semanas, les aseguro que la cosa va a mejorar bastante.

Y si no me creen, miren lo que le pasó al protagonista de “Mr. Indiferent”, un corto animado bellísimo que se llevó premios en cada festival que participó. Dos minutitos hermososo para disfrutar y amigarse con el planeta.