Por Canuto  

Subquadratic presentó la tarjeta de modelo de SubQ 1.1 Small, una nueva versión de su arquitectura de Atención Escasa Subcuadrática que busca resolver uno de los mayores límites de la IA empresarial: razonar directamente sobre bases de código, colecciones documentales y contratos completos sin depender tanto de particionado y recuperación externa.
***

  • SubQ 1.1 Small reporta recuperación casi perfecta en pruebas de contexto largo entre 1M y 12M tokens.
  • La empresa asegura que el modelo usa 64,5x menos cómputo que la atención densa y es 56x más rápido que FlashAttention-2 en 1M tokens.
  • Subquadratic planea ampliar su línea de modelos y trabajar primero con socios de diseño selectos antes de un despliegue más amplio.

La carrera por ampliar el contexto útil de los modelos de inteligencia artificial ha abierto un nuevo frente técnico. Ya no se trata solo de responder mejor, sino de razonar sobre artefactos completos como repositorios de código, contratos, estados financieros y grandes colecciones documentales.

En ese escenario, Subquadratic anunció la tarjeta de modelo de SubQ 1.1 Small, la segunda iteración de su modelo basado en Atención Escasa Subcuadrática, o SSA por sus siglas en inglés. La presentación se realizó el 16 de junio de 2026.

La premisa de la empresa es directa: durante años, la industria ha lidiado con la limitación del contexto usando canalizaciones de recuperación, particionado de información y andamiajes agenticos. Según la compañía, esas herramientas han sido útiles, pero siguen siendo soluciones parciales frente al verdadero cuello de botella.

Ese cuello de botella es la atención densa tradicional, cuyo costo computacional crece de forma cuadrática con la longitud del contexto. En la práctica, eso vuelve muy costoso razonar de manera directa sobre materiales extensos.

Subquadratic plantea que SubQ fue diseñado justamente para eliminar esa restricción. La firma también indicó que ya trabaja en la implementación de SubQ 1.1 Small con socios de diseño selectos y que prevé desplegar una línea más amplia de modelos, entre 2M y 12M tokens, más adelante este año.

Qué propone SubQ 1.1 Small y por qué importa

Para lectores menos familiarizados con esta discusión, el tamaño del contexto define cuánta información puede considerar un modelo en una sola pasada. Cuanto mayor es ese contexto, más viable resulta analizar documentos enteros o bases de código completas sin trocearlas.

En ambientes empresariales, esa diferencia puede ser decisiva. Un contrato puede definir un término al inicio, limitarlo en una sección posterior y añadir una excepción muchas páginas después.

Lo mismo ocurre con el software. La lógica relevante de una función puede estar repartida entre archivos, módulos y dependencias, algo que suele desbordar a modelos con ventanas de contexto más reducidas.

Subquadratic sostiene que SubQ 1.1 Small busca equilibrar dos objetivos que a menudo compiten entre sí. El primero es la optimización del largo contexto, y el segundo es preservar la capacidad de razonamiento general.

De acuerdo con la compañía, el modelo fue evaluado en cinco ejes: recuperación de largo contexto, generalización de longitud de contexto, conocimiento, codificación y tareas agenticas de largo plazo. Esa combinación apunta a mostrar que el sistema no solo encuentra datos ocultos, sino que también conserva habilidades útiles fuera de ese nicho.

Los resultados en contexto largo: de 1M a 12M tokens

La empresa eligió dos pruebas para mostrar el desempeño de SubQ 1.1 Small en contexto largo. Se trata de Needle-In-A-Haystack, conocida como NIAH, y RULER, una batería desarrollada por Nvidia.

NIAH mide la precisión de recuperación. La prueba inserta un hecho recuperable dentro de un contexto muy extenso y pide al modelo devolverlo exactamente.

Según Subquadratic, SubQ 1.1 Small obtuvo puntuaciones casi perfectas en 1M, 2M, 6M y 12M tokens. Los resultados publicados fueron 100% en 1M, 100% en 2M, 98% en 6M y 98% en 12M.

La firma destacó un punto adicional: el modelo fue entrenado predominantemente a 1M tokens. Aun así, su capacidad de recuperación se mantuvo casi intacta hasta una longitud 12 veces mayor.

La empresa atribuyó ese comportamiento a la forma en que SSA dirige la atención según la relevancia del contenido y no mediante patrones posicionales fijos. También señaló que, en ese proceso, el sistema comprime la atención a solo 0,13% de las relaciones.

RULER, por su parte, busca medir algo más que la simple localización de un dato. Sus 13 tareas exploran trazado de variables con múltiples saltos, extracción de frecuencia y agregación de información distribuida a lo largo del contexto.

En esa prueba, SubQ 1.1 Small alcanzó 99,12% en 128K. Subquadratic presentó ese resultado como una señal de que el modelo puede conectar piezas dispersas de información, no solo detectar un único elemento escondido.

Rendimiento general en ciencia, finanzas y programación

Uno de los riesgos de especializar un modelo en contexto largo es deteriorar su rendimiento en tareas más generales. Subquadratic afirmó que SubQ 1.1 Small logró evitar esa renuncia en buena medida.

En GPQA Diamond, una prueba asociada a ciencias a nivel de posgrado, el modelo obtuvo 85,4% en pass@1. La firma indicó que esa cifra lo sitúa justo por debajo de modelos fronterizos de nivel medio y claramente por encima de la categoría más pequeña.

En LiveCodeBench v6, enfocado en programación competitiva, SubQ 1.1 Small consiguió 89,7% en pass@4. Ese resultado, según la compañía, lo acerca a la frontera más alta en ese benchmark.

La prueba más dura en términos absolutos parece haber sido AutomationBench Finance. Allí, el modelo marcó 13%, un nivel que la empresa describió como cercano a los modelos más fuertes en ese benchmark, aunque reconoció que las puntuaciones siguen siendo bajas para toda la industria.

La tabla comparativa publicada por la compañía incluyó referencias frente a GPT-5.5, Opus 4.8, Sonnet 4.6, GPT-5.4-mini, GPT-5.4-nano y Haiku 4.5. En GPQA Diamond, SubQ quedó por debajo de GPT-5.5 con 93,2 y Opus 4.8 con 92, pero por encima de GPT-5.4-nano con 81,7.

En LiveCodeBench v6, el 89,7 de SubQ quedó cerca de GPT-5.5 con 92 y Opus 4.8 con 92,2. También superó a Sonnet 4.6 con 88,9, a GPT-5.4-mini con 78,6 y a Haiku 4.5 con 69,7.

En AutomationBench Finance, el 13% de SubQ se comparó con 18% para GPT-5.5, 16% para Opus 4.8, 8% para Sonnet 4.6, 0% para GPT-5.4-mini y 3% para GPT-5.4-nano. La publicación aclara además que algunos resultados no fueron reportados por el proveedor correspondiente.

La promesa de eficiencia detrás de SSA

El centro técnico de la propuesta es SSA, una formulación de atención escasa aprendida. Según Subquadratic, este mecanismo reemplaza el paso de atención densa O(n²) por un esquema que escala linealmente con la longitud del contexto.

Ese detalle importa porque la ventaja no sería constante, sino creciente a medida que aumenta la cantidad de tokens. En otras palabras, cuanto más grande es el artefacto a analizar, más visible sería la mejora frente a enfoques densos.

La compañía afirmó que a 1M tokens SubQ 1.1 Small requiere 64,5x menos cómputo que la atención densa. También aseguró que, en una sola capa de atención, se ejecuta 56x más rápido que FlashAttention-2.

Subquadratic presentó esos datos como un cambio importante en la economía de entrenamiento e inferencia para contexto largo. Si la reducción se sostiene en implementaciones reales, podría bajar la barrera de costo para probar, ajustar y desplegar modelos sobre materiales masivos.

La empresa agregó que el desglose completo del mecanismo y su comparación con FlashAttention, la atención escasa de DeepSeek y arquitecturas recurrentes está disponible en su informe técnico. No obstante, en el anuncio público el énfasis recayó en las cifras de costo y velocidad.

Cómo fue entrenado el modelo y qué casos de uso persigue

Subquadratic explicó que partió de un modelo fronterizo de pesos abiertos ya existente. Después reemplazó la atención densa por SSA y amplió la capacidad de contexto mediante una extensión escalonada en 262K, 512K, 1M y 2M tokens.

Luego, la empresa realizó aproximadamente un billón de tokens de preentrenamiento continuo. Ese proceso se apoyó en artefactos naturalmente largos, como libros, documentos y código a escala de repositorio.

Según la compañía, la palanca más fuerte para mejorar la recuperación de largo contexto fue justamente ese preentrenamiento continuo en materiales extensos. La firma agregó que la eficiencia de SSA hizo posible ese entrenamiento en condiciones que, de otro modo, serían mucho más costosas.

Subquadratic también señaló que realizó más de cien experimentos a lo largo de seis a siete generaciones de modelos. El objetivo fue encontrar un equilibrio adecuado entre capacidades de contexto largo y corto.

La empresa sostuvo que esa iteración intensa solo fue viable porque SSA convirtió los experimentos de millones de tokens en un procedimiento estándar. En lugar de tratarlos como eventos raros y caros, el equipo pudo incorporarlos al ciclo normal de investigación.

En cuanto a las aplicaciones, la firma destacó tres áreas iniciales. La primera es análisis financiero y diligencia debida, donde estados, reportes de ganancias, contratos y registros internos deben leerse en conjunto.

La segunda área es el trabajo legal y contractual. Allí, la promesa es mantener el documento completo en contexto para razonar sobre relaciones y excepciones, en vez de limitarse a recuperar frases aisladas.

La tercera aplicación prioritaria es la ingeniería de software. Subquadratic plantea que SubQ puede cargar un repositorio entero en una sola ventana de contexto para facilitar razonamiento arquitectónico, refactorización entre archivos y seguimiento de dependencias en un solo pase.

La empresa añadió que ve valor potencial del largo contexto para planificación, revisión y memoria a largo plazo en tareas de codificación. Esa observación apunta a una tendencia más amplia en IA, donde el contexto amplio se perfila como una ventaja competitiva para agentes de software.

Verificación externa y próximos pasos

Los resultados de benchmark divulgados por la compañía fueron verificados de forma independiente por Appen. El anuncio remite a un informe completo, aunque en el texto principal no se detallan los procedimientos de esa validación.

Ese punto es relevante porque las pruebas de IA suelen presentarse en contextos muy controlados. La verificación por terceros no resuelve todas las dudas, pero sí puede añadir una capa adicional de credibilidad sobre las cifras publicadas.

En lo inmediato, Subquadratic iniciará una primera cohorte de socios de diseño en las próximas semanas. La empresa anticipó además un despliegue más amplio durante el trimestre.

Más allá de esa fase inicial, la hoja de ruta contempla lanzamientos generales de modelos hacia finales de año. También se mencionó la intención de ampliar la familia de productos a una línea más extensa con capacidades de entre 2M y 12M tokens.

El anuncio de SubQ 1.1 Small llega en un momento en que la industria de IA intenta pasar de demostraciones llamativas a sistemas capaces de operar sobre información empresarial real. Si las métricas publicadas se traducen en uso práctico, la propuesta de Subquadratic podría convertirse en un referente en el debate sobre eficiencia, contexto masivo y razonamiento sobre artefactos completos.

Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín

Artículos Relacionados