MentisDB alcanza 72,6% R@10 en LoCoMo con su nuevo tesauro automático

MentisDB lanzó la versión 0.9.9 con una actualización enfocada en mejorar la recuperación de información: su tesauro estático ahora se aplica automáticamente a todas las consultas ranked search, sin parámetros adicionales, cambios de cliente ni modificaciones en prompts existentes.

***

• MentisDB 0.9.9 activa por defecto un tesauro de cerca de 895 términos principales y más de 300 lemas de verbos irregulares.
• La versión reporta 72,6% de R@10 en LoCoMo y 66,8% de R@5 en LongMemEval, con vectores fastembed-minilm y sin reranking.
• El lanzamiento también introduce mejoras en BM25, edges implícitos, dashboard, backups, memoria lexical en RAM y diagnósticos del daemon.

MentisDB presentó la versión 0.9.9, una actualización orientada a resolver un problema frecuente en motores de búsqueda para memoria de agentes: la distancia entre las palabras que usa el usuario y las palabras almacenadas en los documentos o pensamientos consultados. El avance principal es que el tesauro estático del proyecto ahora se aplica automáticamente por defecto en cada consulta ranked search.

La mejora cubre búsquedas realizadas mediante REST, MCP, dashboard, CLI y los benchmarks oficiales. En la práctica, los usuarios y desarrolladores no necesitan activar una opción nueva, cambiar clientes, añadir parámetros ni modificar prompts. Las integraciones existentes continúan funcionando, pero deberían recuperar mejor información cuando existe un desajuste de vocabulario o de forma verbal.

La versión 0.9.9.45, fechada el 30 de mayo de 2026, convierte una mejora validada en el entorno de investigación del proyecto en comportamiento estándar para todos los usuarios. El sistema ya había mostrado una mejora interna de +31% en NDCG, al pasar de 0,52 a 0,68 sobre un corpus sintético.

Para proyectos que usan bases de memoria persistente en agentes de inteligencia artificial, este tipo de ajuste puede ser relevante. Una búsqueda puede fallar no porque falte el dato, sino porque la consulta expresa la idea con una palabra distinta. MentisDB busca reducir ese margen de pérdida mediante expansión controlada de sinónimos y normalización verbal.

Un tesauro automático para reducir búsquedas perdidas

El componente central de la actualización es un tesauro estático con cerca de 895 headwords, o términos principales, y más de 300 lemas de verbos irregulares. La cobertura incluye verbos, sustantivos, adjetivos, adverbios y vocabulario técnico. Su objetivo es ampliar las consultas sin depender de servicios externos.

La data se incrusta directamente en el binario durante la compilación mediante include_str!. Esto evita dependencias de archivos externos o red. Para un sistema de memoria local, esa decisión puede facilitar despliegues reproducibles y reducir puntos de falla.

El mecanismo se activa mediante un helper llamado apply_thesaurus_if_text(). Este se ejecuta de forma automática después de construir cada RankedSearchQuery que contenga texto. Luego llama a thesaurus::expand_text(), reutilizando la data embebida desde la versión 0.9.8.

Después, el resultado se conecta con la ruta existente with_synonyms(..., 0.7). Ese valor indica que los términos expandidos por sinónimos tienen un peso de 0,7 frente a los términos originales. La decisión busca ampliar el recall sin dejar que los sinónimos desplacen por completo la intención explícita de la consulta.

La actualización también preserva el fast path del scorer lexical cuando no hay expansiones disponibles. Es decir, si una consulta no genera sinónimos útiles, el motor evita pagar un costo extra. MentisDB plantea así una mejora de recuperación que no debería afectar la latencia base en los casos donde el tesauro no interviene.

Benchmarks: LoCoMo, LongMemEval y la mejora en NDCG

MentisDB reporta 72,6% de R@10 en LoCoMo, usando la evaluación de 10 personas. Ese resultado coincide con el objetivo del whitepaper y representa una mejora de +27,7 puntos porcentuales frente a una línea base weak-vector.

En LongMemEval, la versión alcanza 66,8% de R@5. La medición usa vectores reales fastembed-minilm con el tesauro activo y sin reranking. Este detalle importa porque separa el efecto del tesauro de técnicas posteriores de reordenamiento, que podrían mejorar resultados pero añadir otra capa de complejidad.

El proyecto indica que las consultas multi-hop y de desajuste de vocabulario en LoCoMo mostraron el impulso esperado. Ese tipo de búsqueda suele ser difícil para sistemas de memoria, porque requiere conectar información dispersa o reconocer que dos términos distintos apuntan a una misma intención.

El resultado interno de +31% en NDCG también pasa a estar disponible para todos los usuarios. NDCG no solo mide si aparece el documento correcto, sino qué tan bien ordenado aparece dentro de la lista. Por eso es una métrica importante en sistemas donde los primeros resultados alimentan respuestas de agentes o modelos de lenguaje.

El changelog también describe un harness de investigación con 140 documentos y 12 consultas. Ese entorno compara R@5, R@10, P@5, MRR y NDCG@5 entre varias configuraciones. Entre ellas están un mapa manual, el tesauro estático automático, un sistema basado en embeddings y combinaciones de ambos enfoques.

Por qué MentisDB eligió el tesauro y no la expansión por embeddings

La versión también incorpora un generador alternativo de sinónimos basado en embeddings. Esta opción usa LocalTextEmbeddingProvider y VectorIndex para buscar términos similares por coseno dentro de un vocabulario fijo. Sin embargo, el lanzamiento lo mantiene como herramienta experimental.

La razón está en los resultados. El generador basado en embeddings obtuvo NDCG de 0,48, por debajo del 0,68 logrado por el tesauro. El changelog atribuye ese rendimiento inferior al uso de vectores de características basados en hash, en lugar de similitud semántica verdadera.

El hallazgo es relevante para desarrolladores que trabajan con recuperación aumentada y memoria persistente. Más automatización no siempre produce mejores resultados. Si la expansión agrega términos ruidosos, la precisión puede caer aunque el sistema recupere más candidatos.

Por eso, el proyecto destaca que una fuente de alta calidad puede superar configuraciones combinadas. El tesauro estático ofrece un conjunto más controlado de equivalencias, mientras que la expansión automática por embeddings puede introducir ruido si la similitud no representa significado real.

La decisión final es pragmática. MentisDB deja la alternativa por embeddings disponible para experimentación, pero activa por defecto el sistema que mostró mejor balance entre recall y precisión. Esta elección favorece un comportamiento más determinista para usuarios que no quieren ajustar manualmente el pipeline de búsqueda.

BM25, lematización y búsquedas lexicales más tolerantes

La expansión de sinónimos queda integrada al scoring lexical BM25 y a las consultas ranked. Para ello, LexicalQuery incorpora un HashMap de sinónimos y un synonym_weight con valor por defecto de 0,7.

El método LexicalIndex::search_in_positions añade una ruta rápida que evita sobrecosto cuando no hay sinónimos configurados. Cuando sí existen, los términos expandidos se puntúan con peso reducido. Así, una coincidencia directa conserva mayor relevancia que una coincidencia inferida.

La versión también amplía la cobertura de lemas de verbos irregulares desde cerca de 100 entradas hasta más de 300. Incluye formas comunes en pasado, participio pasado y participio presente. Esta mejora reduce errores cuando el usuario busca una acción en una forma verbal distinta a la almacenada.

El nuevo helper lemmatize() combina la tabla de verbos irregulares con eliminación regular de sufijos. El sistema contempla terminaciones como -ing, -ed, -ies y -s. Así, formas como “went” pueden resolverse hacia “go” antes de buscar sinónimos relacionados.

Para el usuario final, esto se traduce en búsquedas menos frágiles. Para el desarrollador, reduce la necesidad de limpiar, normalizar o expandir texto antes de llamar a MentisDB. El motor asume más responsabilidad en el manejo de variaciones lingüísticas frecuentes.

Edges implícitos para conectar memorias sin relaciones manuales

Otra mejora importante es la auto-inferencia de edges implícitos RelatedTo a partir de similitud vectorial por coseno. Antes, el sidecar vectorial y el índice de adyacencia del grafo funcionaban como señales desconectadas. La nueva versión busca unirlas mediante un overlay gráfico.

El sistema conserva edges con similitud coseno mayor o igual al umbral configurado. El valor por defecto es 0,85 y puede ajustarse con la variable MENTISDB_AUTO_EDGE_THRESHOLD. También mantiene un top-K por thought, con valor por defecto de 5 y variable MENTISDB_AUTO_EDGE_K.

El overlay se guarda en un archivo <chain>.auto_edges.bin. La persistencia usa renombrado atómico y el archivo se recarga cuando se abre la cadena. Si el umbral o el K cambian, el sistema activa una reconstrucción completa.

Para cadenas con más de 50.000 thoughts, MentisDB evita ejecutar una construcción O(N²) durante la apertura. En ese caso, el overlay crece incrementalmente. La decisión busca proteger cadenas grandes de costos iniciales demasiado elevados.

El objetivo declarado es atacar el segmento de near-miss identificado en el whitepaper. Ese grupo corresponde a resultados que aparecen en R@20, pero no en R@10. El lanzamiento lo cuantifica como un 25,8% de los casos.

Dashboard, memoria en RAM y mejoras para operación diaria

MentisDB 0.9.9 también introduce cambios visibles en el dashboard. La tabla de cadenas reemplaza columnas como “Agent Idx”, “Entity Idx” y “Vector Idx” por “Chain”, “Semantic” y “Lexical (RAM)”. El nuevo diseño intenta mostrar mejor qué ocupa espacio en disco y qué vive en memoria.

La columna lexical muestra un guion cuando una cadena aún no ha sido cargada. Una vez que el índice se construye, presenta un tamaño estimado, por ejemplo 53 KB. El encabezado y los valores lexicales se muestran en ámbar para indicar que se trata de un estado solo en memoria.

La versión añade LexicalIndex::estimated_memory_bytes(), una función para aproximar la huella en RAM del mapa de postings BM25, el vector de estadísticas de documentos y la metadata. El cálculo es una estimación de piso inferior. El heap real podría ser de 1,2 a 1,5 veces mayor.

También se agrega el método público MentisDb::estimated_lexical_index_bytes(). Esto permite que dashboard y otros consumidores muestren el tamaño del índice lexical sin acceder a campos privados. Es una mejora pequeña, pero útil para observabilidad y mantenimiento.

El dashboard recibe además tooltips en enlaces de navegación, estadísticas, encabezados, botones, formularios, filtros y modales. El proyecto usa atributos HTML title nativos para mantener compatibilidad sin añadir dependencias. También corrige un escape de backtick en el tooltip de la columna lexical.

Menos lecturas de disco y más consistencia en sidecars

En el núcleo, MentisDB cachea VectorIndex en memoria sobre ManagedSidecarEntry. Con esto, rank_candidates_semantically deja de cargar el sidecar vectorial desde disco en cada búsqueda. El índice en memoria se mantiene sincronizado en cada append y reconstrucción completa.

La versión también expone VectorIndex::get_vector. Esta función permite recuperar un vector almacenado por id de documento desde el índice coseno en memoria. Además, ThoughtAdjacencyIndex::locator_map expone un mapa de id a locator para llamadas que necesitan convertir valores Uuid en ThoughtLocator.

El changelog incluye una corrección para eliminar llamadas redundantes a load_or_rebuild_implicit_edge_overlay en apply_persisted_managed_vector_sidecars. Las llamadas internas ya disparaban la carga o reconstrucción del overlay. La duplicación añadía una lectura extra de disco en cada arranque del daemon.

Los archivos .auto_edges.bin ahora también entran en los backups. Los overlays de edges implícitos se empaquetan junto con sidecars vectoriales en archivos .mentis. Además, se limpian cuando una cadena se desregistra o elimina.

El daemon ahora diagnostica mejor los casos en los que no puede recrear .auto_edges.bin después de un reinicio o una eliminación. El sistema imprime mensajes mediante eprintln! cuando falla la carga del sidecar, cuando faltan índices cacheados, cuando una rama de más de 50.000 thoughts guarda un overlay vacío o cuando falla save_to_path.

Funciones experimentales que no alteran el ranked search por defecto

La versión agrega primitivas de recuperación para una próxima iteración del pipeline de búsqueda. Entre ellas hay módulos de Personalized PageRank determinista, pseudo-relevance feedback, selección de candidatos append-only para summaries y planificación heurística de intención de consulta.

Estos módulos están exportados para pruebas e integración futura. Sin embargo, no modifican el comportamiento default de ranked search. Esa separación es importante porque permite investigar nuevas rutas sin introducir cambios inesperados para usuarios existentes.

El lanzamiento también expone candidatos read-only para summaries append-only. Los llamadores de core, REST y MCP pueden pedir ventanas deterministas de fuente mediante mentisdb_summary_candidates o /v1/summary-candidates. La API solo selecciona rangos candidatos y no genera texto, no reescribe memoria ni añade pensamientos de summary.

Al mismo tiempo, el changelog revierte del pipeline de ranked search la expansión PRF, el scoring gráfico PPR y el routing query-aware. La validación con 500 consultas de LongMemEval mostró que esas funciones no mejoraban el recall y añadían latencia. Los módulos permanecen en src/search/ para trabajo futuro, pero ya no están conectados por defecto ni como opción activa.

Este punto refuerza una lectura técnica del lanzamiento: MentisDB no solo añade funciones, también descarta rutas que no pasan validación. En sistemas de búsqueda y memoria, esa disciplina es relevante porque cada capa adicional puede introducir ruido, costo o resultados menos predecibles.

Una actualización enfocada en compatibilidad y calidad de recuperación

MentisDB 0.9.9 se puede instalar con cargo install mentisdb --force. También puede reconstruirse desde fuente con --features local-embeddings para soporte vectorial completo. Los clientes y prompts existentes continúan funcionando sin modificaciones.

La tesis del lanzamiento es clara: mejorar resultados sin trasladar complejidad al usuario. En vez de pedir a cada integración que active sinónimos, normalice verbos o ajuste pesos, MentisDB incorpora esa lógica en la construcción de consultas ranked search.

Para lectores nuevos en el tema, ranked search es el proceso de recuperar candidatos y ordenarlos por relevancia. En una base de memoria para agentes, ese ranking puede determinar qué contexto recibe un modelo de lenguaje. Si el contexto correcto queda fuera de los primeros resultados, la respuesta final puede perder precisión.

Por eso, una mejora en recall no es solo un dato de benchmark. Puede afectar la capacidad de un agente para recordar instrucciones, decisiones previas, relaciones entre conceptos o detalles almacenados con palabras distintas. El reto está en aumentar ese recall sin inundar el ranking con coincidencias débiles.

MentisDB 0.9.9 intenta resolver ese equilibrio con una combinación de tesauro estático, lematización, pesos reducidos para sinónimos, BM25, vectores cacheados y edges implícitos. La actualización no promete una revolución total del sistema, pero sí una mejora concreta en el punto donde muchos motores fallan: entender que palabras distintas pueden señalar la misma memoria.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.

ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín