Investigadores vinculados a Stanford presentaron Memorilla, un módulo de memoria latente que entrega 16 tokens a un LLM congelado para responder preguntas sobre colecciones de documentos. El sistema obtuvo resultados destacados en varias pruebas, aunque sus evaluaciones también muestran límites en tareas biomédicas y de personalización.
***

• Memorilla utiliza 16 tokens de memoria y un módulo entrenable de 194 millones de parámetros, mientras mantiene congelados el encoder y el modelo generativo.
• En FactKG alcanzó 84,33% de precisión, frente a 80,43% con todos los documentos en contexto, usando 108 veces menos tokens de documento.
• El equipo reportó un promedio de 49,68 en ocho pruebas y la mejor marca en cinco, pero Memorilla quedó por debajo de otros métodos en PubMedQA, PersonalizationV4 y NarrativeQA.

Stanford presenta Memorilla, un módulo que resume colecciones en 16 tokens para LLM

Investigadores vinculados al grupo SNAP de Stanford presentaron Memorilla, un módulo de memoria de código abierto que convierte colecciones de documentos en solo 16 vectores para alimentar un modelo de lenguaje congelado. Según los resultados divulgados por MarkTechPost, el sistema obtuvo 84,33% de precisión en FactKG con un Qwen3-8B, frente a 80,43% al incluir todos los documentos en contexto, y utilizó 108 veces menos tokens de documento.

La propuesta busca atender un problema habitual de los modelos de lenguaje: la dificultad de consultar grandes archivos sin ampliar demasiado la ventana de contexto ni depender únicamente de fragmentos recuperados por similitud. Memorilla no modifica el modelo generativo principal; aprende una representación compacta que se antepone a la pregunta del usuario, con resultados que varían según la tarea evaluada.

Una memoria compacta para modelos que no se vuelven a entrenar

Un LLM congelado conserva sus parámetros sin cambios durante el uso, de modo que no incorpora por sí mismo la información de una colección externa. Una alternativa es colocar los documentos completos en la ventana de contexto, pero esa estrategia demanda más tokens a medida que crece el archivo; otra es recuperar pasajes relacionados con cada consulta, aunque ese filtro puede dejar fuera indicios menos evidentes.

Memorilla intenta combinar acceso amplio a la colección con una entrada breve para el modelo generativo. El sistema produce siempre 16 tokens de memoria, sin importar el tamaño del conjunto documental, y el equipo reporta un promedio geométrico de 16 tokens de documento por consulta al comparar los métodos incluidos en su análisis.

El trabajo procede del grupo SNAP de Jure Leskovec y cuenta con coautores de la Universidad de Toronto, Penn y MIT. El módulo de memoria tiene 194.123.776 parámetros, mientras que el encoder Qwen3-Embedding-4B y el decoder Qwen3-8B permanecen congelados; por tanto, el entrenamiento se concentra en aprender cómo condensar y presentar la información.

En términos prácticos, los 16 vectores funcionan como una representación latente y no como un resumen legible en lenguaje natural. El modelo recibe esos vectores junto a la pregunta, por lo que el procedimiento busca conservar señales útiles para responder sin insertar en cada consulta la colección completa ni depender de un bloque de texto recuperado.

Cómo procesa documentos y prepara sus memorias

El pipeline comienza con un Qwen3-Embedding-4B congelado, que transforma cada documento en una representación y permite reutilizarla cuando llegan nuevas preguntas. Según la descripción del sistema, los documentos recién incorporados no obligan a recodificar los anteriores, una decisión que puede reducir trabajo repetido en colecciones que se actualizan.

Después, 16 slots aprendidos consultan tanto la pregunta como el almacén de documentos mediante dos capas de atención cruzada, cada una con ocho cabezas. El módulo convierte la información relevante en vectores de memoria y luego los proyecta al espacio de embeddings de entrada de Qwen3-8B, donde se colocan delante de la consulta.

El entrenamiento se divide en tres etapas. La primera utiliza cerca de 1,98 millones de ejemplos de reconstrucción de paráfrasis de Wikipedia; la segunda suma aproximadamente 1,34 millones de ejemplos de diez conjuntos de datos de preguntas y respuestas y resumen, y la tercera ajusta el módulo con los ocho benchmarks de evaluación.

La receta completa de entrenamiento toma alrededor de 19 horas en cuatro GPU H100, de acuerdo con los investigadores. El proyecto publica código, recetas y checkpoints bajo licencia Apache 2.0, y el equipo también liberó PersonalizationV4, un conjunto de datos con 149 usuarios sintéticos y 200 conversaciones por usuario, bajo CC BY 4.0.

Resultados fuertes, con diferencias entre benchmarks

El equipo reporta un promedio de 49,68 entre ocho benchmarks y afirma que Memorilla logra la mejor marca en cinco de ellos. En FactKG alcanzó 84,33% de precisión, por encima del 80,43% del contexto completo y del 80,38% de MemoRAG, bajo la comparación con el mismo Qwen3-8B congelado descrita en el trabajo.

La distancia fue especialmente amplia en PersonaMem-v2: Memorilla registró 44,60%, mientras que xRAG, el siguiente método con mejor resultado señalado en la comparación, obtuvo 30,90%; el contexto completo marcó 27,92%. En TriviaQA, la puntuación fue 57,00 de exact match, apenas superior al 56,60 de MemoRAG, una diferencia que muestra que las ventajas no son iguales en todas las pruebas.

El sistema también lideró LaMP-4 con 18,15 de ROUGE-L y LaMP-7 con 48,37. En cambio, MemoRAG superó a Memorilla en PersonalizationV4, con 67,88% frente a 66,65%, y en NarrativeQA, con 20,51 frente a 19,31 de ROUGE-L; la tabla del estudio calcula para MemoRAG un promedio de 47,52, mientras que el artículo compara a Memorilla con 41,92 de xRAG, 40,75 de LLMLingua-2 y 38,02 de Mem0.

PubMedQA aparece como una debilidad clara: Memorilla obtuvo 59,00%, frente a 69,00% de LLMLingua-2 y 67,00% de MemoRAG. El artículo señala que los resúmenes de ese benchmark suman apenas 324 tokens, por lo que comprimirlos ofrece menos margen; esa explicación es una interpretación del equipo, no una garantía de que el método vaya a rendir peor en todos los archivos breves.

Menos tokens y menor latencia, con costos de hardware

En NarrativeQA, el equipo afirma que 16 tokens de memoria sustituyen 67.385 tokens de documentos, una reducción de 4.212 veces. La brecha ilustra el potencial de la compresión cuando el material de entrada es extenso, aunque los resultados de PersonalizationV4 y NarrativeQA también muestran que consumir menos tokens no asegura obtener la mejor puntuación en cada tarea.

Los investigadores reportan que, en una H100, Memorilla responde en 0,74 segundos con 512 documentos, equivalentes a unos 128.000 tokens. En la comparación presentada, el contexto completo tarda desde 0,75 hasta 19,9 segundos, y el extremo de mayor demora representa una respuesta 27 veces más lenta; el módulo de memoria, por sí solo, necesita cerca de dos milisegundos.

El sistema ofrece además una caché opcional que precalcula claves y valores de atención cruzada. En una B200, el equipo midió 8,1 milisegundos por pregunta con un millón de documentos y 33 milisegundos con cuatro millones; al activar torch.compile, el caso de un millón bajó a cinco milisegundos, mientras que la caché para cuatro millones de documentos requiere 80 GiB.

Esas cifras describen pruebas en hardware de alto rendimiento y no deben confundirse con los requisitos mínimos para instalar la herramienta. El inicio rápido requiere Linux, CUDA, Python 3.11 y una GPU con 80 GB de memoria, y descarga unos 25 GB de modelos; los autores indican que sus recetas se ejecutaron en H100 de 80 GB y no divulgan variantes cuantizadas.

Disponibilidad y límites para quienes quieran probarlo

El proyecto incluye checkpoints para distintas etapas de entrenamiento y variantes orientadas a tareas como PersonalizationV4 y PersonaMem-v2. La documentación advierte que cada checkpoint debe utilizarse con el decoder para el que fue entrenado, una condición relevante para replicar las cifras y evitar atribuir al método resultados obtenidos con configuraciones distintas.

Para aplicar Memorilla a datos propios, los investigadores piden archivos parquet con las columnas collection_id, question, answer y documents. El repositorio y los checkpoints públicos facilitan la experimentación, pero el consumo de memoria de las GPU y la ausencia de versiones cuantizadas divulgadas pueden limitar las pruebas en equipos menos potentes.

Las cifras citadas corresponden a las evaluaciones reportadas en el estudio. Además, como el desempeño cambia entre FactKG, PubMedQA y las pruebas de personalización, los resultados no permiten concluir que 16 tokens bastarán para cualquier archivo, modelo o tipo de consulta.

La contribución de Memorilla consiste en explorar una alternativa entre el contexto completo y la recuperación tradicional: una memoria latente pequeña que puede consultar una colección amplia sin añadir sus documentos íntegros a cada pregunta. Su utilidad dependerá de que equipos y usuarios puedan reproducir las pruebas, comprobar la calidad en sus propios datos y sopesar la compresión frente a los costos de hardware.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín