Hay tres barreras bastante complicadas de sortear — según Ashu Garg, de Foundational Capital —, que están frenando el avance: los datos disponibles, el costo (y consumo) de la computación, y las limitaciones del diseño actual.
- La barrera de los datos
Acá va una mala noticia: la web tiene un montón de texto, pero la mayoría es basura o refrito. Según el paper Chinchilla 2022, para que un modelo sea óptimo, datos y poder de cómputo tienen que crecer a la par. ¿Cuál es el problema? Que ya exprimimos lo mejorcito y la calidad está agotada. Si excluimos bases privadas, lo que queda no alcanza para entrenar modelos que escriban algo decente, como un paper científico — o, incluso, estas líneas—.
¿Cuál es la solución milagrosa? Crear datos sintéticos con IA para entrenar a futuras IA. Suena bárbaro, pero es como hacer un espejo infinito en el que los errores y los sesgos de los modelos actuales van a pasar a los nuevos, de manera amplificada. Al final, es como un mal DJ copiándose de su propio remix hasta la eternidad.
- La barrera de la computación y la energía
Entrenar los modelos más avanzados requiere tanta energía como una ciudad pequeña. Y ya se está poniendo picante: Microsoft y Bill Gates están coqueteando con energía nuclear hace años, porque lo que tenemos no es suficiente. ¿El futuro? Modelos que demanden la energía de un país entero.
¿Y la computación? Escala exponencialmente. Algunos estiman que llegar a un modelo que razone como un humano implicaría nueve órdenes de magnitud más de poder computacional. Ahí no solo el dinero empieza a doler, sino también las leyes de la física: calor, recursos, y un planeta que no da abasto.
- La barrera de la arquitectura
Este es el más filosófico y, para muchos, el más inquebrantable. Los modelos actuales están diseñados para predecir el siguiente token, pero no entienden nada de lo que hacen. Yann LeCun, de Meta, lo explica simple: ningún modelo va a entender realmente algo si seguimos con esta arquitectura.
¿El problema? Por más que les tires más datos, los robots actuales están diseñados para reaccionar, no para razonar. Es como intentar que una calculadora tenga ideas propias.
Para ir terminando, podemos decir que el futuro de la IA no se trata de ponerle más fichas a la máquina. Es hora de inventar algo nuevo, porque si seguimos en esta, la única inteligencia que vamos a necesitar es para explicarle al planeta por qué gastamos tanto en un modelo que escribe mejor que nosotros, pero no sabe qué está diciendo.