Por Canuto  

Jakub Pachocki, científico jefe de OpenAI, plantea usar la log-perplejidad como referencia para seguir el avance de los modelos y como posible señal de alerta para la seguridad. Las cifras atribuidas a la publicación sitúan algunos sistemas recientes por debajo de 0,8 y señalan el rango de 0,68 a 0,70 como un umbral que convendría vigilar.
***

  • Pachocki divulgó puntuaciones internas de preentrenamiento de OpenAI calculadas con un conjunto de datos reservado de la empresa.
  • La propuesta plantea la log-perplejidad como una posible métrica común y señala el rango de 0,68 a 0,70 como una referencia para vigilar capacidades transformadoras.
  • La utilidad de un límite compartido dependería de que los laboratorios acuerden métodos comparables y criterios de supervisión.


OpenAI plantea una métrica común para seguir el avance de los modelos y vigilar cuándo podrían acercarse a capacidades transformadoras, aunque todavía no existe un método acordado para compararla entre laboratorios.

  • La log-perplejidad mide qué tan bien un modelo predice texto que no ha visto; en esta escala, una cifra menor indica mejor desempeño predictivo.
  • Las puntuaciones atribuidas a la publicación van desde aproximadamente 0,99 para GPT-3.5 hasta cerca de 0,76 para un modelo matemático descrito como revolucionario.
  • Un límite común solo sería útil si los desarrolladores acuerdan cómo medir, comparar y reportar sus resultados.

OpenAI propone la perplejidad como referencia para vigilar el avance de la IA

Jakub Pachocki, científico jefe de OpenAI, planteó utilizar la log-perplejidad como referencia para seguir el progreso de los modelos de inteligencia artificial. La publicación de la empresa apareció el 22 de noviembre de 2026 con el título «Una mente alienígena». En ella, Pachocki reflexiona sobre el avance de sistemas cada vez más capaces y el desafío de mantenerlos alineados.

La propuesta relaciona dos debates que suelen avanzar por separado: cómo medir las capacidades de los sistemas y cómo decidir cuándo reforzar su supervisión. Pachocki plantea que una métrica podría ayudar a comparar el progreso y servir como señal para activar medidas de seguridad antes de que los modelos alcancen un rango considerado sensible.

Qué mide la log-perplejidad y qué muestran las cifras

La log-perplejidad, también conocida como pérdida de entropía cruzada, mide qué tan bien un modelo predice texto que no ha visto durante su entrenamiento. Si el sistema se equivoca con frecuencia al anticipar la siguiente palabra, la puntuación aumenta; si suele predecirla correctamente, disminuye. Por eso, un valor más bajo representa un mejor desempeño en esta medida.

Las cifras internas atribuidas a Pachocki trazan una secuencia descendente en los modelos de OpenAI: GPT-3.5 aparece cerca de 0,99 y GPT-4 alrededor de 0,91. Los modelos más recientes quedan por debajo de 0,8, mientras que un modelo matemático descrito como revolucionario se ubicaría cerca de 0,76.

El científico jefe señaló el rango aproximado de 0,68 a 0,70 como un punto en el que podrían emerger capacidades transformadoras. La recomendación es evitar cruzar ese umbral hasta contar con marcos de supervisión adecuados. Sin embargo, la propuesta no define en detalle cuáles serían esas condiciones ni cómo comprobar que están listas.

La distancia entre la referencia del modelo matemático, cercana a 0,76, y el rango señalado como sensible no permite calcular por sí sola cuándo se cruzaría ese umbral. Pachocki también apuntó a la posibilidad de que el preentrenamiento avance con rapidez y produzca mejoras importantes ya en 2027. Se trata de una expectativa, no de una fecha confirmada para alcanzar ese nivel.

El velocímetro y el problema de poner un límite

La comparación con un velocímetro resume la lógica de la iniciativa: antes de acordar un límite, los laboratorios necesitarían una forma común de saber a qué ritmo avanzan sus sistemas. Una métrica compartida permitiría discutir el progreso con un indicador cuantificable, en vez de depender únicamente de evaluaciones informales o de pruebas distintas para cada modelo.

La propuesta llega en medio de otros llamados a moderar el desarrollo de la IA de frontera. En septiembre de 2026, Dario Amodei, CEO de Anthropic, presentó un plan para «marcar el ritmo de la frontera» y evitar que el desarrollo supere las salvaguardas disponibles. La iniciativa de Pachocki añade una posible herramienta de medición a ese debate, pero no establece por sí misma cómo aplicar un límite verificable.

El reto es que una cifra común solo sirve si todos entienden lo mismo por ella y aceptan reportarla de manera comparable. Si cada laboratorio utiliza un conjunto de datos distinto o comunica sus resultados con criterios diferentes, un número aparentemente preciso podría no permitir una comparación justa ni bastar para hacer cumplir un límite acordado.

Una métrica útil, pero todavía difícil de comparar

La log-perplejidad tiene ventajas como posible referencia compartida: se calcula durante el preentrenamiento, condensa el resultado en un valor y refleja la capacidad predictiva del modelo. A diferencia de una prueba concreta de desempeño, tampoco depende necesariamente de superar un único benchmark para el que el sistema pudo haber sido optimizado.

Las puntuaciones divulgadas por OpenAI se calcularon con un conjunto de datos reservado de la empresa. Para contrastar resultados, otros laboratorios necesitarían medirlos con esos mismos datos o con un conjunto calibrado respecto a ellos, además de acordar reglas para comunicar las cifras de manera uniforme.

También queda una pregunta de fondo: si una sola medida de pérdida representa de forma fiable las capacidades que generan preocupación. La propuesta señala el rango de 0,68 a 0,70 como una referencia para vigilar, pero eso no demuestra que cualquier modelo que llegue a ese nivel vaya a desarrollar las mismas capacidades o riesgos.

Por eso, la métrica debe entenderse como una propuesta de supervisión, no como un mecanismo ya acordado ni como una garantía de seguridad. El indicador podría ayudar a ordenar la conversación, pero su valor dependerá de cómo se complemente con evaluaciones de capacidades y de qué procedimientos se establezcan para actuar cuando un sistema se acerque al rango señalado.

Qué cambia con la publicación de OpenAI

La publicación pone puntuaciones internas de preentrenamiento de OpenAI en el centro del debate sobre la log-perplejidad. Esas cifras ofrecen referencias numéricas de la compañía, pero no son necesariamente comparables con las de otros desarrolladores mientras difieran sus métodos y conjuntos de datos.

Los valores podrían servir como punto de referencia para otros laboratorios, incluso si no adoptan la propuesta o no divulgan cifras equivalentes. Sin datos comunes, las diferencias podrían reflejar tanto las características de los modelos como las de los conjuntos de evaluación; por eso, no conviene tratarlas automáticamente como una clasificación de capacidades.

El debate deja varios asuntos pendientes: si otros desarrolladores de frontera publicarán resultados comparables y si se establecerá un conjunto de datos neutral y compartido. También falta precisar qué significa «supervisión adecuada», pues la recomendación de evitar el umbral depende de que ese hito pueda definirse y verificarse antes de que un modelo lo cruce.

Por ahora, la propuesta cuenta con una métrica sugerida, puntuaciones de referencia de OpenAI y un rango aproximado que Pachocki considera sensible. Eso no equivale todavía a un límite de velocidad para la inteligencia artificial: para convertir el indicador en una regla efectiva, los laboratorios tendrían que aceptar un método común y acordar qué acciones tomar cuando un sistema se acerque a la zona señalada.


Imagen original de DiarioBitcoin, creada con inteligencia artificial, de uso libre, licenciada bajo Dominio Público.

Este artículo fue escrito por un redactor de contenido de IA y revisado por un editor humano para garantizar calidad y precisión.


ADVERTENCIA: DiarioBitcoin ofrece contenido informativo y educativo sobre diversos temas, incluyendo criptomonedas, IA, tecnología y regulaciones. No brindamos asesoramiento financiero. Las inversiones en criptoactivos son de alto riesgo y pueden no ser adecuadas para todos. Investigue, consulte a un experto y verifique la legislación aplicable antes de invertir. Podría perder todo su capital.

Suscríbete a nuestro boletín