Imagina un mago en una fiesta. Te pide que pienses una carta, hace unos pases con la mano y, de repente, la adivina. Te quedas boquiabierto. Pero hay un detalle: ese mago lleva toda la noche intentando el mismo truco con cien invitados distintos. Con casi todos falló, y nadie se enteró. Contigo acertó una vez, y esa única vez es la que tú recuerdas. ¿Es un genio de la magia o simplemente tuvo suerte contigo?
En el trading cuantitativo ocurre exactamente lo mismo, y tiene nombre: overfitting (sobreajuste). La estrategia que mejor se ve en las pruebas puede ser, en realidad, el mago afortunado que acertó una vez. El PBO existe para medir cuánto deberías desconfiar de ese campeón.
Qué significa overfitting (sobreajuste)
Sobreajustar es aprenderse el pasado de memoria en lugar de entender el mercado. Es como un estudiante que memoriza las respuestas exactas del examen del año pasado: clava esas preguntas concretas, pero suspende en cuanto le cambias el enunciado. Una estrategia sobreajustada conoce a la perfección los datos históricos con los que se construyó, pero se hunde en cuanto el mercado le presenta algo nuevo, que es justo lo que pasa en la vida real.
El problema es que una estrategia sobreajustada se ve preciosa en el backtest. Curva de ganancias suave, pocas pérdidas, todo perfecto. Esa belleza es la trampa. Cuanto más perfecto se ve un backtest, más sospechoso debería resultarte.
Qué mide el PBO
PBO significa Probability of Backtest Overfitting, o probabilidad de sobreajuste del backtest. Responde a una pregunta muy concreta y muy incómoda: la estrategia que salió como la mejor en las pruebas, ¿qué probabilidad tiene de ser en realidad peor que la media cuando la uses de verdad?
Se lee como un porcentaje y la intuición es directa:
- PBO cercano a 0%: excelente. Tu campeona también gana fuera de las pruebas. Hay motivos para confiar.
- PBO cercano a 50%: alarma roja. Es como lanzar una moneda. Tu campeona tiene casi la misma probabilidad de ser buena que de ser un fraude. Te engañaron.
Dicho de otro modo: el PBO mide la probabilidad de que hayas sido el invitado al que el mago acertó por casualidad. Un PBO alto no dice que la estrategia sea mala con certeza; dice que no tienes forma de distinguirla de la pura suerte, y en finanzas eso es razón suficiente para descartarla.
La idea detrás: barajar el examen (CPCV)
¿Cómo se calcula algo así sin una bola de cristal? Con una técnica que en palabras simples consiste en partir tus datos en muchos trozos y mezclar cuáles usas para elegir y cuáles para comprobar. El nombre técnico es CPCV (validación cruzada combinatoria purgada), pero la idea es de andar por casa.
Imagina que en lugar de un solo examen, le haces a tu estrategia muchos exámenes diferentes, cada uno con preguntas distintas. En cada examen eliges la mejor estrategia con un trozo de datos y luego la pones a prueba con otro trozo que nunca vio. Repites esto muchísimas veces, barajando las combinaciones. Si tu campeona sigue siendo buena cuando se enfrenta a datos nuevos una y otra vez, genial. Si solo brillaba en el trozo concreto donde la elegiste, el PBO se dispara y queda en evidencia.
La palabra purgada simplemente significa que se tiene cuidado de que el trozo de prueba no se contamine con información del trozo de entrenamiento. Es como asegurarte de que el alumno no pueda ver las respuestas antes del examen.
Cómo lo maneja AlphaLab
AlphaLab, el laboratorio cuantitativo que corre en tu propio PC, trata el PBO como un guardián. No le basta con que una estrategia tenga buenos números en el backtest; quiere saber si esos números aguantan cuando se barajan los exámenes.
Por eso AlphaLab somete a cada candidata a este tipo de validación cruzada y calcula su PBO. Una estrategia con un PBO alto — cerca de ese 50% que equivale a tirar una moneda — se descarta, por muy bonita que fuese su curva. No hay excepciones cosméticas. Es preferible rechazar una estrategia buena que aceptar un fraude, porque el fraude es el que te hace perder dinero real.
Y, fiel a su filosofía, AlphaLab también publica las estrategias que suspenden el PBO. El fracaso es información, no algo que esconder. El código es auditable y tus datos no salen de tu ordenador.
Para recordar
- La estrategia que se ve mejor en las pruebas puede ser el mago que acertó una vez por suerte.
- El PBO mide la probabilidad de que tu campeona sea en realidad peor que la media en la vida real.
- PBO cerca de 0% es buena señal; cerca de 50% significa que es casi una tirada de moneda — descártala.
- Se calcula barajando muchos exámenes con datos que la estrategia nunca vio (CPCV).
- AlphaLab usa el PBO como filtro y rechaza las campeonas sospechosas, aunque su curva sea preciosa.
- Pasar el PBO no garantiza ganancias: el trading siempre conlleva riesgo de pérdida.
Si quieres comprobar el PBO de tus propias estrategias antes de arriesgar dinero, puedes explorar AlphaLab con una prueba gratuita de 14 días. Hace falta una tarjeta para activarla, pero no se cobra nada si cancelas antes del día 14. No te prometemos un campeón; te damos una forma de saber si tu campeón es de verdad.