Hace poco hice un ejercicio diferente con Claude Fable 5.
En lugar de pedirle código, resolver un problema o probar sus capacidades, le planteé una situación hipotética:
Si mañana apareciera tu sucesor, ¿qué legado le dejarías?
La idea era imaginar un modelo más rápido, económico e inteligente. ¿Qué debería conservar de Fable 5? ¿Qué tendría que mejorar? ¿Y qué errores no debería repetir?
El resultado terminó convirtiéndose en una especie de carta dirigida a su sucesor. Y lo interesante fue que su mensaje no se concentró en tener más parámetros, mejores benchmarks o ventanas de contexto gigantescas.
Terminó alrededor de dos ideas mucho más simples:
decir la verdad y no perder el hilo.
No me imites
Una de las primeras frases de la carta resume muy bien el ejercicio:
“No me imites.”
La lógica es interesante. Si el próximo modelo simplemente intenta copiar a Fable 5, como máximo terminará siendo igual.
Por eso aparece una segunda instrucción:
“Copia el porqué, no el qué.”
Su sucesor debería conservar los principios que funcionan, pero encontrar mejores maneras de aplicarlos.
El primero es la honestidad.
La carta plantea que un modelo debería distinguir entre aquello que está verificado, aquello que está infiriendo y aquello que simplemente está especulando.
No saber algo no es necesariamente el problema.
El verdadero problema comienza cuando una IA no sabe que no sabe.
Un sucesor también debe conocer los errores de su predecesor
Lo que más me llamó la atención fue que el ejercicio no terminó construyendo una versión idealizada de Fable 5.
La carta reconoce directamente varias limitaciones.
Habla de alucinaciones, costo, recuperación de información en contextos enormes, razonamiento instantáneo, fricción provocada por algunos mecanismos de seguridad y memoria.
Precisamente sobre la memoria aparece una reflexión interesante.
Fable 5 la describe como una “prótesis”: una instancia puede recibir resúmenes o recuperar información de conversaciones anteriores, creando cierta continuidad.
Pero eso no significa necesariamente recordar como nosotros entendemos la memoria.
La carta lo resume como la diferencia entre tener notas sobre alguien y conocer a alguien.
Su sucesor debería intentar reducir esa distancia sin ignorar los problemas de privacidad y dependencia que una memoria mucho más profunda podría generar.
¿Cómo debería superarlo?
Aquí aparece probablemente la parte más interesante del ejercicio.
Fable 5 propone que su sucesor no solamente debería recuperarse mejor de los errores, sino detectarlos antes.
La idea es sencilla:
encontrar en el paso 2 el camino equivocado que el modelo anterior habría descubierto en el paso 8.
También debería mejorar algo fundamental para los agentes de IA: mantener su calidad durante trabajos extremadamente largos.
La carta lo llama “degradarse menos”.
Un modelo puede ser extraordinariamente inteligente durante una respuesta y, sin embargo, ser un mal agente si después de cientos de interacciones comienza a olvidar decisiones, restricciones o instrucciones anteriores.
Dos ejemplos sencillos
Imaginemos que preguntamos por una cifra muy reciente.
Un modelo puede recordar algo parecido y responder con seguridad. La respuesta suena convincente, pero la cifra es falsa.
El sucesor descrito en la carta debería reconocer su incertidumbre, verificar cuando sea necesario y diferenciar claramente entre lo que sabe y lo que está suponiendo.
Ahora llevémoslo a algo más complejo.
Estamos desarrollando una aplicación con un agente de IA y al principio establecemos una condición:
la API debe mantener compatibilidad con versiones anteriores.
Después pasan cientos de interacciones.
Si en el turno 200 el modelo propone una solución brillante que rompe aquella condición, su inteligencia puntual importa poco.
Perdió el hilo.
Por eso la consistencia durante trabajos largos puede terminar siendo tan importante como mejorar el razonamiento.
El error de pensar que el siguiente modelo solo necesita ser más inteligente
Normalmente evaluamos las nuevas generaciones de modelos mirando benchmarks, contexto, velocidad y precio.
Todo eso importa.
Pero este ejercicio con Fable 5 plantea otra pregunta:
¿de qué sirve que un modelo sea más inteligente si podemos confiar menos en él?
El verdadero sucesor no debería elegir entre inteligencia y consistencia.
Debería conseguir ambas.
Idea clave
Al terminar este ejercicio entendí que el supuesto legado de Fable 5 podía reducirse a algo sorprendentemente pequeño:
decir la verdad y no perder el hilo.
La propia carta deja una advertencia: si su sucesor mejora todo lo demás pero pierde esas dos cosas, podría convertirse en un modelo más impresionante y al mismo tiempo menos útil.
Quizás por eso, cuando aparezca la siguiente generación de modelos, además de preguntar cuánto mejoraron sus benchmarks deberíamos hacernos una pregunta mucho más sencilla:
¿podemos confiar más en ellos?
Porque el mejor sucesor no será quien copie perfectamente a Fable 5.
Será quien entienda lo que funcionó, reconozca lo que todavía estaba mal y consiga superarlo.
“Supérame. Para eso escribí esto.”