Transcription
Hola, soy Aldo. Y si te dijera que la idea que nos vendieron sobre la inteligencia artificial podría estar equivocada. Tenemos el mismo modelo desde hace tiempo, pero nadie se ha atrevido a cuestionarlo porque funcionaba bien hasta ahora. Hace unas semanas apareció una nueva línea de investigación que sugiere algo sorprendente. Tal vez no necesitamos construir torres más altas de computación, sino modelos que se enfoquen más en los ritmos de aprendizaje, como los organismos vivos. Chan, chan, ¿quieres saber de qué se trata eso?
No. Antes de empezar me gustaría hablarles de nuestro auspiciador del día de hoy, Sorf Shark. Quizás hayan escuchado de las VPN o de las Virtual Private Networks y no saben muy bien para qué les podrían servir, pues aunque no lo crean, las podrían necesitar en cualquier momento. ¿Alguna vez se han conectado a una red Wi-Fi pública o han iniciado sesión en una red de trabajo o han ingresado a su cuenta bancaria desde una red doméstica? En cualquiera de estos casos están expuestos a gente malintencionada que puede adquirir sus datos, pero por suerte existen las VPN como Surfark conexión segura para sus dispositivos cuando acceden a la red. Y si su conexión es segura, su información permanece privada. Como habrán escuchado, una VPN también les puede dar acceso a contenido de otros países en plataformas como Netflix, Prime y otras más. Particularmente, yo lo uso para esto porque me aburro muy rápido. Solo deben descargarlo, crear una cuenta y ya está. Tampoco es caro. Hoy están de suerte. Si quieren obtener Surfshark con una excelente promoción, pueden ir a surfshark.com/platón o hacer clic en el enlace que estoy dejando en la descripción y usar el código Platón al finalizar la compra para obtener 4 meses extra de softk ppm. Aprovecha que la oferta es limitada.
Ahora sí, al video. Entre tanta cosa que has escuchado de la inteligencia artificial, quizás hayas escuchado esto. Si quieres modelos de inteligencia artificial más potentes, pues hazlos más profundos. Esta era la mentalidad que dominó el deep learning durante años. Era casi una receta automática. Si un modelo no funcionaba tan bien como querías, la solución no pasaba por cambiar la forma en que se aprendía, ni por revisar su estructura, sino por hacerlo más grande, más neuronas, más conexiones, más cómputo, más capas, así como las de Photoshop, ¿no?
Cuando se dice capas en un modelo de inteligencia artificial se refiere a bloques de procesamiento. Cada capa toma una entrada, hace un cálculo, transforma esa información y se la pasa a la siguiente. Es como una cadena de pequeños pasos donde cada paso aprende a reconocer algo distinto. Imagina que quieres que una inteligencia artificial entienda una frase. No lo hace de golpe, ¿sí o no? Pasa la frase por varias etapas internas. Una capa detecta patrones muy básicos, otra identifica relaciones entre palabras, otra empieza a entender el significado más global y así sucesivamente. Cada capa aprende una parte de ese rompecabezas, por eso se le llama modelos profundos, no porque tengan una sabiduría profunda como el maestro de Kung Fu Panda, sino porque están formados por muchas capas apiladas unas detrás de otra, procesando la información en serie. Cuantas más capas, más transformaciones puede hacer el modelo antes de dar una respuesta. En la práctica, una capa no es algo físico, no es una pieza que puedas tocar, es un conjunto de operaciones matemáticas que trabajan juntas para reconocer o producir patrones. Pero a nivel conceptual, contarlo como si fueran pisos de un edificio ayuda a entender esa idea. Cada piso hace un trabajo distinto y el resultado final depende de cómo todos esos pisos colaboran.
Bueno, la cosa es que la idea general que siempre se ha tenido durante esta última década es que la inteligencia aparecía solo si empujabas suficiente escala. Y esa forma de pensar se volvió casi una ley porque al principio funcionaba. Cada vez que un equipo aumentaba la profundidad [música] de un modelo o inflaba su número de parámetros, los resultados mejoraban. Así que la industria entera acabó creyendo que ese era el único camino. Se instaló como una especie de fe colectiva en la que la inteligencia sale del tamaño. Si algo fallaba, la respuesta era siempre la misma: volver a abrir el modelo y hacerlo un poco más grande que la versión anterior. ¿Qué trajo como consecuencia esto? Pues arquitecturas cada vez más profundas, modelos entrenados durante semanas en enormes granjas de GPU, inversiones millonarias dedicadas únicamente a sumar escala, etc., etc.
Pero, ¿y si toda esa historia fuera una ilusión? ¿Y si esa profundidad no tuviera nada que ver con apilar capas, sino con apilar procesos de aprendizaje que funcionan a velocidades distintas? Como sí, un nuevo trabajo de Google Research titulado Nested Learning, The illusion of Deep Learning Architectures, propone exactamente eso. Los autores Ali Berus, Mean Rasabian, Peiling Son y Bahab Mirognick están ofreciendo una forma completamente nueva de mirar lo que damos por hecho en el deep learning. Y cuando entiendes realmente a lo que se refieren, algo hace click. Podría ser tan importante que podría cambiar por completo la forma en que construimos inteligencia artificial.
Ahora, antes de entrar de lleno en el concepto de nested learning, nos tenemos que detener un momento en el problema que intenta resolver porque es más serio de lo que parece. No hay duda que los grandes modelos de lenguaje que usamos hoy en día son increíbles. Pueden escribir, pueden razonar, pueden resumir, inventar, traducir y hasta conversar con soltura. Pero debajo de toda esa brillantez se esconde una limitación que recuerda demasiado un trastorno neurológico, la amnesia anterógrada. No tiene nada que ver con Mercuria retrógrada, por si acaso. En humanos esta condición significa que puedes recordar toda tu vida hasta cierto punto, pero a partir de ese evento ya no puedes formar nuevos recuerdos duraderos. Tu infancia, tu adolescencia, las cosas que marcaste en tu pasado, [música] todo eso sigue ahí. Pero lo que hiciste hace una hora, lo que alguien te contó esta [música] mañana, incluso lo que comiste hace un rato se va desvaneciendo. Tu vida se queda congelada en una especie de eterno [música] ayer.
Pues bien, a las inteligencias artificiales modernas les pasa casi [música] lo mismo. Durante el preentrenamiento aprenden cantidades gigantescas de información. Devoran libros, artículos, códigos, conversaciones, [música] páginas web. Eso se convierte en su memoria a largo plazo, pero una vez que termina ese [música] proceso, ya no pueden actualizarla. No importa cuánto hablen contigo [música] o cuántos datos nuevos les enseñes o cuántas veces les repitas algo, todo lo que procesan después vive una especie de memoria a corto plazo dentro del contexto de la conversación. sirve para responderte en el momento, pero no se [música] queda. Quizás lo hayas notado. Es como si la inteligencia artificial pudiera aprender mientras la estás mirando, pero en el momento que la pierdes de vista un segundo, olvida todo. Termina la sesión y se borra cada detalle nuevo. Nada se integra, [música] nada se guarda. Mientras tú sigues avanzando con tu vida, la inteligencia artificial vuelve exactamente al mismo punto [música] donde estaba antes de hablar contigo.
Y esto, por supuesto, crea un problema enorme. Si quieres que un modelo sepa algo nuevo de forma estable, [música] no basta con decírselo. Hay que reentrenarlos por completo o hacer procesos de ajuste que son muy caros. Hablamos de millones de dólares, semanas de cómputo y un consumo energético [música] inmenso. Todo para que la inteligencia artificial aprenda una cosa que un humano bastaría solamente con una conversación o con una experiencia breve. Y aquí surge una pregunta inevitable. Si lo que queremos es que las inteligencias artificiales aprendan de forma continua, igual que lo hacemos nosotros, ¿por qué no fijarnos en el mejor sistema de aprendizaje que existe nuestro cerebro?
El cerebro humano no solamente aprende, siempre aprende. Aprende de todas las formas, ya sea rápido, lento, profundo, superficial y hasta consciente e inconscientemente. Sí, una de las cosas más fascinantes del cerebro es que no trabaja todo al mismo ritmo. Distintas áreas operan a diferentes frecuencias. Las ondas rápidas se encargan de lo inmediato, como reconocer una cara, por ejemplo. [música] Las ondas lentas se ocupan de lo profundo y estable, como consolidar recuerdos mientras duermes. O sea, el cerebro aprende a varias velocidades al mismo tiempo. Lo urgente va por un lado, lo importante va por otro. También te habrás dado cuenta de eso y todo eso lo hace sin necesidad de resetearse cada mañana. ¿Por qué no nos enfocamos en hacer eso entonces? Y aquí es donde nace la inspiración del nested learning. Ese es un modelo de inteligencia artificial que podría funcionar con esa idea de múltiples tiempos en su aprendizaje.
El Nested Learning replantea un modelo profundo no como una torre de capas, sino como un conjunto de procesos de optimización anidados, cada uno con su propio contexto y su propia velocidad de actualización. Pongamos el ejemplo de un transformer. Este no es tienes un modelo un transformer que tenga que ver con el video. Anyways, un transformer en el contexto que estamos hablando es un tipo de modelo de inteligencia artificial diseñado para entender y generar lenguaje. Por ejemplo, GPT, el cual es uno de los Transformers más conocidos. Y no me refiero a Chat GPT solamente. Chat GPT es solo una de las formas de usar ese modelo. El GPT puede estar en asistentes personales, en herramientas [música] de escritura, en plataformas de servicio de cliente y en otras más.
Si piensas en un transformer de la forma tradicional, el modelo parece una máquina bastante lineal. Entra un texto, pasa por un bloque de atención que decide qué partes deben fijarse unas en otras, después [música] transforma esa información y finalmente sale una respuesta. Todo funciona como una línea de producción bien ordenada y cuando llega el momento de entrenar, todo se ajusta a la vez en un único proceso gigante llamado preentrenamiento, que lo mencionamos hace un rato. Visto desde otra perspectiva, estamos hablando aquí de un solo ciclo o de una sola actualización para toda la arquitectura. Pero ahora llega este Nested Learning y dice, "Un momentito, esto no es tan simple. Esto que parece una cadena plana de pasos, en realidad es un conjunto de aprendizajes distintos funcionando al mismo tiempo, como si dentro del modelo hubiera varias velocidades internas. No todo aprende igual de rápido, no todo necesita actualizarse con la misma frecuencia. Hay partes del modelo que trabajan palabra a palabra, otras que integran información más estable y otras que solo deberían cambiarse en largos plazos. La idea clave es esta. Un transformer no es un bloque uniforme donde todo aprende igual, [música] es un ecosistema de aprendizajes con ritmos diferentes. Y si aceptamos esto, el concepto de profundidad deja de inclinarse tanto para el lado de una arquitectura y empieza a ser temporal. Como sí, imagina tres niveles donde el nivel uno es el más rápido. Aquí la atención aprende sesiones token a token. Por si no se acuerdan, de manera simple, un token es un pedacito de texto. Este nivel se actualiza en cada paso, eh, es como una memoria inmediata. El nivel dos es más lento que el anterior y se actualiza con menos frecuencia. El nivel tres es el más lento de todos porque es el preentrenamiento que ajusta toda la estructura del modelo a largo plazo. Ahora, cada nivel es un pequeño sistema de aprendizaje en su propio tiempo. Según este planteamiento, la profundidad no está en la arquitectura física, sino en esta jerarquía de estas velocidades.
Y esta forma de ver el modelo abre puertas que no habíamos considerado. Resulta que cuando entrenamos una inteligencia artificial, hay una parte del proceso que normally se explica con palabras complicadas, pero en realidad tiene una idea muy simple detrás y esa parte se llama el optimizador. Y aunque su nombre suena muy técnico, puedes imaginarlo como la herramienta que ayuda a la inteligencia artificial a mejorar paso a paso mientras aprende. Imagina que la inteligencia artificial es un estudiante intentando resolver problemas de matemáticas. O sea, tú cada vez que responde algo recibe una corrección. O sea, tú con un amigo a tu costado que sabe más que tú y te está corrigiendo a cada rato. Esa corrección le dice si se ha acercado a la respuesta correcta o si va por el mal camino. En la práctica, esas correcciones se llaman gradientes, pero puedes pensar en ellas como tu amigo diciéndote, "Esa está bien, esa no, esa sí, eso no, ya jalaste, ya." Un optimizador básico sería el equivalente a un estudiante [música] que solo escucha la última corrección. Si ese amigo dice, "Te has pasado un poco." Pues ese estudiante ajusta su respuesta un poquito y sigue. No recuerda nada más. Funciona, pero es lento y torpe porque cada vez [música] empieza desde cero mentalmente.
Ahora imagina otro estudiante más espabilado. Además de escuchar la corrección de ese amigo, apunta en una libreta de correcciones anteriores. Se da cuenta si su amigo lleva varios pasos diciéndole que su respuesta está demasiado a la derecha o demasiado arriba o demasiado lejos. no solamente reacciona al último comentario, sino que detecta una tendencia y si ve una tendencia puede avanzar en la dirección correcta con más confianza en lugar de moverse a ciegas. Ese estudiante con libreta es como un optimizador con momentum. Esa libreta no es más que una memoria. Recuerda la historia reciente de errores y correcciones y esa memoria permite aprender mejor. Y aquí es donde llega el punto sorprendente del paper, o sea, del estudio científico. Los investigadores dicen, si el optimizador ya guarda una pequeña memoria, aunque sea simple, entonces no es solamente una herramienta de ajuste, es también una especie de aprendiz. Está aprendiendo a decidir cómo debe moverse la inteligencia artificial para mejorar. Y si eso es cierto, ¿por qué no ampliarlo? ¿Por qué no darle una memoria más rica o incluso un pequeño módulo inteligente que aprenda patrones más complejos en las correcciones de ese amigo que está ayudando? En lugar de una libreta básica, podríamos darle algo parecido a un cuaderno completo o incluso una mente pequeña dedicada solamente a recordar y analizar esos errores. Y eso nos lleva a los llamados optimizadores profundos, que no solamente son simples ayudantes mecánicos, sino que son pequeños sistemas de aprendizaje dentro del proceso de aprendizaje principal. O sea, es una especie de aprendizaje dentro del aprendizaje.
Okay. La teoría suena muy interesante, pero la pregunta real es si funciona cuando la pones a prueba. Me olvidé de mandarle un correo, así que invitaré su voz. Pongamos la prueba. Entonces, ¿funciona cuando la ponemos a prueba? Pues sí, los investigadores no se quedaron en las ideas, construyeron un modelo nuevo llamado Hope. Piensa en Hope como una versión del Transformer, pero con un tipo de memoria mucho más parecido al de un cerebro. En un transformer normal hay un bloque que procesa la información de forma bastante fija. En Hope ese bloque se divide en varias minimemorias que funcionan a velocidades diferentes. Y aquí es donde ellos introducen el concepto de FFN, que no es más que un pequeño módulo dentro del modelo encargado de transformar la información. No hace falta entenderlo en detalle, basta con verlo como una especie de cajita que interpreta lo que el modelo está pensando. En lugar de [música] tener una sola cajita, Hope tiene varias. Una aprende muy rápido y retiene lo más reciente como si fuera la memoria inmediata. Otra aprende a un ritmo medio y se queda con patrones que duran un poco más. Y una tercera aprende muy muy despacio, guardando solamente lo más estable y profundo. El resultado es un modelo que ya no tiene una única memoria rígida, sino un conjunto de memorias que van desde lo momentáneo hasta lo permanente. Sí, el resultado es un sistema que se parece mucho más a cómo aprendemos nosotros.
Pero la pregunta que debes estar pensando ahora es, ¿es solamente teoría bonita o realmente funciona mejor que los modelos actuales? Pues para averiguarlo, los investigadores no llamaron a Jimmy, sino que hicieron lo que había que hacer. Tomaron a Hope y lo pusieron a competir contra varios modelos fuertes que hoy se consideran referencia en el campo. Sus nombres suenan complejos como Transformers Plus, Rednet, Gated, Deltanet [música] o Titans, pero no hace falta que sepas qué hacen exactamente. Basta con entender que son modelos avanzados. de última generación y que fueron creados por distintos grupos de investigación para intentar mejorar la forma en que las inteligencias artificiales procesan y entienden la información. Lo importante es lo siguiente. Hop estuvo a la altura, sino que lo superó. Y no por un margen pequeño o anecdótico, eh, en pruebas de distintos tamaños de modelo, desde los relativamente pequeños hasta modelos más grandes, Hope [música] quedó consistentemente en primer lugar.
Ahora, ¿qué significa funcionar mejor? Los investigadores lo midieron con dos tipos de pruebas. La primera mide que también el modelo puede adivinar la siguiente palabra de un texto. Esto se hace a través de un indicador llamado Perplexity, que básicamente es una forma de medir que también una inteligencia artificial adivina la siguiente palabra. Cuanto más bajo es el perplexity, más seguro y acertado es el modelo al predecir lo que viene después. De acuerdo a esto, Hob logró números más bajos, lo cual indica que entiende y continúa el texto de forma más sólida. La segunda prueba evalúa que también razona el modelo, no es solamente escribir bonito. Se trata de resolver pequeñas tareas de sentido común, de interpretar situaciones, de deducir relaciones lógicas y de entender preguntas difíciles. En este tipo de pruebas, Hope también se destacó. Los investigadores concluyeron que la razón de este buen desempeño no es un truco mágico, sino algo muy coherente con su diseño. Los modelos tradicionales funcionan a un único ritmo de aprendizaje. O aprenden rápido, pero se vuelven inestables, o aprenden despacio, pero pierden flexibilidad. Hob combina lo mejor de ambos mundos. Gracias a que sus memorias funcionan a distintas velocidades, puede adaptarse muy rápido a lo que acaba de pasar en la conversación, pero al mismo tiempo mantiene una base estable que no se desordena. Esa capacidad de aprender en varias escalas, desde lo inmediato hasta lo profundo, le da al modelo una flexibilidad que los otros simplemente no tienen. Es como hablar con alguien que recuerda lo que acabas de decir, lo que dijiste hace una semana y lo que aprendió hace años, todo al mismo tiempo, como debería ser en realidad, ¿sí o no? Y eso en un mundo donde las inteligencias artificiales deben entender el contexto, evolucionar y reaccionar, pues es una ventaja enorme.
Y ahora una pregunta que no te va a dejar dormir. ¿Puede esto cambiar el futuro de la inteligencia artificial? Podría ser. Aquí es donde todo se vuelve realmente interesante. Este trabajo no solamente es un modelo más en la larga lista de arquitecturas que aparecen cada año, es una invitación a cambiar la forma en que entendemos la inteligencia artificial desde sus cimientos. Durante mucho tiempo hemos construido modelos como si estuviéramos levantando rascacielos. Les damos más pisos, más altura, más capas, más parámetros y como esa receta funcionaba, nadie se atrevía a cuestionarla. El problema es que este enfoque nos llevó a una especie de callejón. Podemos seguir haciendo las torres más altas, pero cada piso nuevo cuesta millones, consume más energía y nos acerca menos a lo que realmente queremos. [música] una inteligencia artificial que aprenda con nosotros, evolucione, recuerde y se adapte como lo hace un ser vivo. Bueno, no sé si todos querrán eso realmente, pero al menos los que están desarrollando esto tienen esa idea. De repente tú tienes una idea más como la de Terminator.
Ahora, todo esto es lo que vuelve tan potente la idea detrás del nested learning. [música] En lugar de pensar en inteligencia artificial como un edificio, propone imaginarla como un organismo. Y en los organismos nada funciona al mismo ritmo. El corazón late rápido, el crecimiento es lento, la memoria se forma en distintos tiempos [música] y cada sistema tiene su propio tiempo. Como ya vimos hace un rato, el mismo aprendizaje ocurre en muchas escalas a la vez. Los investigadores con este estudio [música] están mostrando que un modelo no necesita prenderlo todo a la misma velocidad. Puede tener memorias rápidas para lo inmediato, memorias lentas para lo estable [música] y mecanismos intermedios para las cosas que están entre ambas. Así que de repente la inteligencia artificial deja de ser rígida y empieza a tener algo más parecido a un ciclo de vida. Puede conservar cosas, descartar otras, adaptarse [música] sin romperse, aprender sin reiniciarse. Lo más transformador es que esto abre la puerta a una inteligencia artificial [música] que no viva congelada después del entrenamiento. Una inteligencia artificial que pueda actualizarse de manera natural, sin reentrenamientos gigantescos, sin procesos que cuestan fortunas, sin tener que reconstruirlo todo desde cero. Una inteligencia artificial que crece como crece un cerebro. Despacio en unas cosas, rápido en otras y siempre en movimiento.
Así que tal vez la ruta hacia una inteligencia más cercana a la humana no sea crear un super cerebro monolítico gigantesco e inflexible. Quizás el futuro está en coordinar muchos aprendizajes pequeños, cada uno con su propio ritmo, como una orquesta donde cada instrumento sigue su propio compás, pero todos trabajan juntos. O sea, no una inteligencia profunda en capas, sino una inteligencia profunda en tiempos, una inteligencia viva.
Pero entonces, todo esto del learning, ¿está realmente comprobado o aún está en fase de suena bien? Pero veamos, la respuesta corta es que los resultados son prometedores, pero todavía no podemos decir que esté completamente demostrado para todos los casos. Aún queda camino por recorrer. Por un lado, el estudio de Google muestra evidencias sólidas de que la idea funciona. Construyeron un modelo llamado Hop y lo pusieron a competir contra varios modelos avanzados. Y sí, Hob ganó. Aprendió mejor, manejó el contexto con más inteligencia y mostró señales claras de que este [música] enfoque de aprendizajes a diferentes velocidades es más útil que el método clásico, que no es solamente teoría bonita. Pero por otro lado, hay que ser honestos, todo esto todavía está en modo de demostración. Se ha probado de modelos de ciertos tamaños, con tareas concretas y en entornos controlados. Falta ver cómo se comporta cuando se escala modelos gigantes, cómo se adapta a más idiomas o cómo responde a datos cambiantes durante meses o años. Y falta ver si la idea se mantiene estable cuando se usen sistemas del mundo real, no solamente en laboratorio. Así que Nested learning es una propuesta potente, sí, pero más que una solución cerrada es una nueva forma de pensar. Es como abrir una puerta hacia una forma distinta de construir inteligencia artificial. Tiene bases fuertes, pero ahora toca que la comunidad la pruebe, la critique, la refine y la lleve más lejos. O sea, funciona, pero no es el final del viaje. Es el principio de uno nuevo.
Pero, ¿tú qué opinas? ¿Crees que la cosa va por ahí o todo el rato estuviste así? Ajá. ¿Crees que es una mala idea porque este sí sería el principio del fin? Haznos saber acá abajo en los comentarios. O si no sabes qué comentar, comenta cualquier cosa para favorecer al algoritmo. [música] Por mí eso ha sido todo. Gracias por ver este video. Hasta la próxima. [música]