Un backtest simule une stratégie sur des données passées pour estimer ce qu'elle aurait rapporté. C'est un outil indispensable — et le plus facile à truquer, souvent sans même le vouloir.
Le surapprentissage, en une phrase
C'est le fait d'ajuster une stratégie jusqu'à ce qu'elle colle parfaitement aux données passées, au point de perdre toute capacité à réagir correctement à des données nouvelles.
Le symptôme est paradoxal : une stratégie trop parfaite en backtest est un signal d'alerte, pas de confiance. Avec assez de paramètres et assez d'essais, on finit toujours par trouver une combinaison qui aurait magnifiquement fonctionné dans le passé. Elle ne fonctionnera pas demain, parce qu'elle a mémorisé du hasard.
« In-sample » et « out-of-sample »
Un test est dit in-sample quand il est effectué sur les mêmes données qui ont servi à choisir les paramètres. Ses résultats sont, par construction, optimistes.
Le test qui compte est out-of-sample : on choisit les réglages sur une période, puis on les évalue sur une période différente, jamais utilisée pour les choisir. Si la performance s'effondre, la stratégie ne contenait pas d'avantage réel.
La version robuste s'appelle le walk-forward : découper l'historique en plusieurs tranches successives et vérifier que l'avantage tient sur chacune. Un avantage qui n'apparaît que sur une tranche est un artefact de période, pas un edge.
L'erreur de régime
Un exemple concret, très courant. Sur une période où le marché a globalement baissé, une stratégie qui vend à découvert affichera d'excellents résultats. On en conclut qu'elle a un avantage sur les ventes. Mais elle n'a fait que suivre la direction du marché — et elle s'effondrera dès la première phase haussière.
C'est pourquoi tout test sérieux doit couvrir plusieurs régimes de marché : hausse marquée, baisse marquée, phases plates. Douze mois d'historique ne suffisent souvent pas : ils peuvent ne contenir qu'un seul régime.
Ce qu'un backtest ne capture jamais
- Les frais et le slippage — sur une stratégie à haute fréquence, ils peuvent à eux seuls transformer un résultat positif en résultat négatif.
- La liquidité réelle — passer un ordre important déplace le prix, ce que la simulation ignore.
- Le facteur humain — un backtest ne renonce jamais après six pertes consécutives. Vous, si.
- Le drawdown vécu — voir « chute maximale : 45 % » sur un graphique n'a rien à voir avec traverser ces 45 % en temps réel.
Les questions à poser à un fournisseur de signaux
Si un service met en avant sa performance, ces quatre questions permettent de trier très vite :
- Le taux de réussite est-il donné avec le rapport gains moyens / pertes moyennes ? Sans lui, il ne veut rien dire.
- Le test est-il in-sample ou out-of-sample ? La réponse est rarement affichée spontanément.
- Quelle est la chute maximale (drawdown) ? Une performance flatteuse avec 80 % de drawdown est intenable en pratique.
- Les résultats réels sont-ils publiés, pertes comprises — ou seulement le backtest ?
Un service qui ne publie que ses gains ne publie pas ses résultats : il publie sa communication.