Les sept façons dont un backtest ment — et comment le prendre en flagrant délit
Publié : 18 août 2026, 04:39
Un backtest ne teste pas une stratégie. Il teste la capacité d'une formule à décrire un
historique qu'elle a déjà sous les yeux. Ce sont deux choses radicalement différentes, et
tout l'art consiste à réduire l'écart entre les deux.
Voici les sept mécanismes par lesquels une courbe magnifique ne survit pas à la réalité.
Le septième est le plus difficile à voir, parce qu'il ne se trouve pas dans le code.
1. Le surapprentissage
Le plus connu, et pourtant le plus pratiqué.
Avec suffisamment de paramètres, on trouve toujours des réglages qui auraient fonctionné.
Une moyenne mobile à 47 périodes plutôt que 50, un RSI à 71 plutôt que 70, un filtre horaire
qui exclut le mardi matin. Chaque ajustement améliore la courbe passée et réduit la valeur
prédictive de l'ensemble.
Le signe qui ne trompe pas : la performance s'effondre quand vous modifiez légèrement
un paramètre. Un avantage réel est robuste — si 50 périodes fonctionnent, 45 et 55 doivent
fonctionner aussi, moins bien mais dans le même sens. Si le résultat est excellent à 47 et
catastrophique à 45, vous n'avez pas trouvé un avantage, vous avez trouvé une coïncidence.
Le test : cartographiez la performance sur toute la plage de chaque paramètre. Vous
voulez un plateau, pas un pic.
2. Le regard vers l'avenir
Votre code utilise une information qui n'était pas disponible au moment de la décision. C'est
l'erreur la plus fréquente en développement, et la plus difficile à repérer parce qu'elle
produit des résultats spectaculaires qui n'éveillent aucun soupçon.
Les cas classiques : utiliser le cours de clôture d'une bougie pour décider pendant cette même
bougie ; calculer un indicateur sur une période incluant l'instant présent ; exploiter une
donnée fondamentale à sa date de référence plutôt qu'à sa date de publication effective.
Le signe : un taux de réussite anormalement élevé, au-delà de 70 ou 80 %, avec des
entrées quasiment toujours au bon prix. Si votre système semble acheter systématiquement les
plus bas, il triche — la seule question est de savoir où.
3. Les coûts sous-estimés
Un backtest sans frais réalistes n'est pas un test, c'est une simulation de marché parfait.
Trois erreurs se cumulent habituellement : un spread fixe alors qu'il varie fortement selon
l'heure et la volatilité ; l'absence de slippage ; l'oubli du financement overnight sur les
positions à levier conservées plusieurs jours.
Le test décisif : doublez tous vos coûts et relancez. Si la stratégie devient perdante,
elle ne dégageait pas un avantage — elle vivait dans la marge d'erreur de vos hypothèses de
frais. Une stratégie robuste survit à un doublement des coûts, en gagnant moins.
4. Le biais de survivance
Vous testez sur les instruments qui existent aujourd'hui. Or ceux qui ont disparu ont disparu
pour une raison — faillite, radiation, fusion, contrat cessé — et c'est précisément l'ensemble
des cas défavorables que votre échantillon a éliminé.
C'est massif sur les actions individuelles. C'est réel aussi sur les cryptoactifs, où les
historiques disponibles ne comportent presque jamais les projets abandonnés.
Le correctif : utilisez des univers historiques incluant les titres radiés, ou limitez-vous
à des indices et des contrats à terme dont la continuité est assurée.
5. L'optimisation sur l'ensemble des données
Vous réglez vos paramètres sur toute la période disponible, puis vous mesurez la performance
sur cette même période. Le résultat n'a aucune valeur informative : vous avez mesuré la qualité
de votre ajustement, pas celle de votre prédiction.
La méthode correcte est l'analyse glissante hors échantillon : optimiser sur une fenêtre,
tester sur la suivante, avancer, recommencer. Ce n'est pas une précaution de perfectionniste,
c'est la seule procédure qui simule réellement ce que vous vivrez — puisque dans la vraie vie,
vous réglez toujours vos paramètres sur du passé et tradez toujours sur du futur.
Attendez-vous à une chute. Une performance hors échantillon divisée par deux par rapport
à l'optimisation est normale. Si elle est divisée par cinq, il n'y avait rien.
6. Le fouillage de données
Vous avez testé quarante idées. Trois fonctionnent. Vous gardez les trois et oubliez les
trente-sept autres.
Le problème est purement statistique : sur quarante essais aléatoires, quelques-uns paraîtront
significatifs par pur effet du hasard. En ne retenant que ceux-là, vous n'avez pas sélectionné
les bonnes idées — vous avez sélectionné les coïncidences les plus flatteuses.
Le correctif : tenez le compte du nombre total de variantes testées, et durcissez votre
critère d'acceptation à mesure que ce nombre monte. Et surtout, décidez de vos critères
avant de lancer les tests, pas en regardant les résultats.
7. Le régime de marché
Celui-ci est le plus insidieux, parce que le code est irréprochable.
Votre historique couvre une période dotée de caractéristiques propres : un régime de taux, un
niveau de volatilité, une structure de corrélations, un cadre réglementaire. Une stratégie
peut être parfaitement valide et n'exprimer qu'une seule chose : que ce régime a duré.
Le test : découpez votre historique en sous-périodes de deux ou trois ans et regardez la
performance de chacune. Une stratégie qui gagne sur toute la période mais ne gagne que sur
trois sous-périodes sur dix n'est pas robuste — elle a capté un épisode.
C'est d'ailleurs le critère qui rend l'étude de référence sur le suivi de tendance si solide :
Hurst, Ooi et Pedersen montrent des rendements positifs dans chaque décennie depuis 1880,
à travers les guerres, la Grande Dépression, la stagflation et tous les régimes de taux. Ce
n'est pas la performance moyenne qui impressionne — son ratio de Sharpe tourne autour de 0,4,
soit à peine mieux qu'un simple portage actions. C'est la constance à travers des régimes qui
n'ont rien en commun.
La question qui remplace toutes les autres
Avant de regarder une courbe de backtest, posez-vous ceci :
Pourquoi quelqu'un me paierait-il ?
Si vous ne pouvez pas nommer la raison économique pour laquelle votre stratégie devrait avoir
une espérance positive — une prime de risque que vous portez, un service que vous rendez au
marché, un biais comportemental persistant que vous exploitez — alors la courbe ne prouve rien.
Elle décrit une régularité passée, sans mécanisme qui garantisse sa reconduction.
Un avantage se raisonne d'abord et se teste ensuite. L'ordre inverse produit des courbes
splendides et des comptes vides.
Enfin, le chiffre qui calme les ardeurs
Pour établir statistiquement qu'une stratégie possède un avantage réel, il faut
approximativement (2 / ratio de Sharpe)² années de données.
Sharpe de 1,0 : quatre ans. Sharpe de 0,5 : seize ans. Sharpe de 0,4 — le niveau du suivi de
tendance sur 136 ans : vingt-cinq ans.
Votre backtest de trois ans sur une stratégie affichant un Sharpe de 0,8 ne démontre rien du
tout. Ce n'est pas un défaut de rigueur de votre part, c'est une propriété mathématique du
problème. C'est aussi la raison pour laquelle les approches appuyées sur des données longues
et externes valent infiniment mieux que celles construites sur votre propre historique récent.
Sources : Hurst, Ooi & Pedersen, « A Century of Evidence on Trend-Following Investing »
(Journal of Portfolio Management, 2017) ; Moskowitz, Ooi & Pedersen, « Time Series Momentum » (2012).
Ce message est à visée pédagogique et ne constitue pas un conseil en investissement.
historique qu'elle a déjà sous les yeux. Ce sont deux choses radicalement différentes, et
tout l'art consiste à réduire l'écart entre les deux.
Voici les sept mécanismes par lesquels une courbe magnifique ne survit pas à la réalité.
Le septième est le plus difficile à voir, parce qu'il ne se trouve pas dans le code.
1. Le surapprentissage
Le plus connu, et pourtant le plus pratiqué.
Avec suffisamment de paramètres, on trouve toujours des réglages qui auraient fonctionné.
Une moyenne mobile à 47 périodes plutôt que 50, un RSI à 71 plutôt que 70, un filtre horaire
qui exclut le mardi matin. Chaque ajustement améliore la courbe passée et réduit la valeur
prédictive de l'ensemble.
Le signe qui ne trompe pas : la performance s'effondre quand vous modifiez légèrement
un paramètre. Un avantage réel est robuste — si 50 périodes fonctionnent, 45 et 55 doivent
fonctionner aussi, moins bien mais dans le même sens. Si le résultat est excellent à 47 et
catastrophique à 45, vous n'avez pas trouvé un avantage, vous avez trouvé une coïncidence.
Le test : cartographiez la performance sur toute la plage de chaque paramètre. Vous
voulez un plateau, pas un pic.
2. Le regard vers l'avenir
Votre code utilise une information qui n'était pas disponible au moment de la décision. C'est
l'erreur la plus fréquente en développement, et la plus difficile à repérer parce qu'elle
produit des résultats spectaculaires qui n'éveillent aucun soupçon.
Les cas classiques : utiliser le cours de clôture d'une bougie pour décider pendant cette même
bougie ; calculer un indicateur sur une période incluant l'instant présent ; exploiter une
donnée fondamentale à sa date de référence plutôt qu'à sa date de publication effective.
Le signe : un taux de réussite anormalement élevé, au-delà de 70 ou 80 %, avec des
entrées quasiment toujours au bon prix. Si votre système semble acheter systématiquement les
plus bas, il triche — la seule question est de savoir où.
3. Les coûts sous-estimés
Un backtest sans frais réalistes n'est pas un test, c'est une simulation de marché parfait.
Trois erreurs se cumulent habituellement : un spread fixe alors qu'il varie fortement selon
l'heure et la volatilité ; l'absence de slippage ; l'oubli du financement overnight sur les
positions à levier conservées plusieurs jours.
Le test décisif : doublez tous vos coûts et relancez. Si la stratégie devient perdante,
elle ne dégageait pas un avantage — elle vivait dans la marge d'erreur de vos hypothèses de
frais. Une stratégie robuste survit à un doublement des coûts, en gagnant moins.
4. Le biais de survivance
Vous testez sur les instruments qui existent aujourd'hui. Or ceux qui ont disparu ont disparu
pour une raison — faillite, radiation, fusion, contrat cessé — et c'est précisément l'ensemble
des cas défavorables que votre échantillon a éliminé.
C'est massif sur les actions individuelles. C'est réel aussi sur les cryptoactifs, où les
historiques disponibles ne comportent presque jamais les projets abandonnés.
Le correctif : utilisez des univers historiques incluant les titres radiés, ou limitez-vous
à des indices et des contrats à terme dont la continuité est assurée.
5. L'optimisation sur l'ensemble des données
Vous réglez vos paramètres sur toute la période disponible, puis vous mesurez la performance
sur cette même période. Le résultat n'a aucune valeur informative : vous avez mesuré la qualité
de votre ajustement, pas celle de votre prédiction.
La méthode correcte est l'analyse glissante hors échantillon : optimiser sur une fenêtre,
tester sur la suivante, avancer, recommencer. Ce n'est pas une précaution de perfectionniste,
c'est la seule procédure qui simule réellement ce que vous vivrez — puisque dans la vraie vie,
vous réglez toujours vos paramètres sur du passé et tradez toujours sur du futur.
Attendez-vous à une chute. Une performance hors échantillon divisée par deux par rapport
à l'optimisation est normale. Si elle est divisée par cinq, il n'y avait rien.
6. Le fouillage de données
Vous avez testé quarante idées. Trois fonctionnent. Vous gardez les trois et oubliez les
trente-sept autres.
Le problème est purement statistique : sur quarante essais aléatoires, quelques-uns paraîtront
significatifs par pur effet du hasard. En ne retenant que ceux-là, vous n'avez pas sélectionné
les bonnes idées — vous avez sélectionné les coïncidences les plus flatteuses.
Le correctif : tenez le compte du nombre total de variantes testées, et durcissez votre
critère d'acceptation à mesure que ce nombre monte. Et surtout, décidez de vos critères
avant de lancer les tests, pas en regardant les résultats.
7. Le régime de marché
Celui-ci est le plus insidieux, parce que le code est irréprochable.
Votre historique couvre une période dotée de caractéristiques propres : un régime de taux, un
niveau de volatilité, une structure de corrélations, un cadre réglementaire. Une stratégie
peut être parfaitement valide et n'exprimer qu'une seule chose : que ce régime a duré.
Le test : découpez votre historique en sous-périodes de deux ou trois ans et regardez la
performance de chacune. Une stratégie qui gagne sur toute la période mais ne gagne que sur
trois sous-périodes sur dix n'est pas robuste — elle a capté un épisode.
C'est d'ailleurs le critère qui rend l'étude de référence sur le suivi de tendance si solide :
Hurst, Ooi et Pedersen montrent des rendements positifs dans chaque décennie depuis 1880,
à travers les guerres, la Grande Dépression, la stagflation et tous les régimes de taux. Ce
n'est pas la performance moyenne qui impressionne — son ratio de Sharpe tourne autour de 0,4,
soit à peine mieux qu'un simple portage actions. C'est la constance à travers des régimes qui
n'ont rien en commun.
La question qui remplace toutes les autres
Avant de regarder une courbe de backtest, posez-vous ceci :
Pourquoi quelqu'un me paierait-il ?
Si vous ne pouvez pas nommer la raison économique pour laquelle votre stratégie devrait avoir
une espérance positive — une prime de risque que vous portez, un service que vous rendez au
marché, un biais comportemental persistant que vous exploitez — alors la courbe ne prouve rien.
Elle décrit une régularité passée, sans mécanisme qui garantisse sa reconduction.
Un avantage se raisonne d'abord et se teste ensuite. L'ordre inverse produit des courbes
splendides et des comptes vides.
Enfin, le chiffre qui calme les ardeurs
Pour établir statistiquement qu'une stratégie possède un avantage réel, il faut
approximativement (2 / ratio de Sharpe)² années de données.
Sharpe de 1,0 : quatre ans. Sharpe de 0,5 : seize ans. Sharpe de 0,4 — le niveau du suivi de
tendance sur 136 ans : vingt-cinq ans.
Votre backtest de trois ans sur une stratégie affichant un Sharpe de 0,8 ne démontre rien du
tout. Ce n'est pas un défaut de rigueur de votre part, c'est une propriété mathématique du
problème. C'est aussi la raison pour laquelle les approches appuyées sur des données longues
et externes valent infiniment mieux que celles construites sur votre propre historique récent.
Sources : Hurst, Ooi & Pedersen, « A Century of Evidence on Trend-Following Investing »
(Journal of Portfolio Management, 2017) ; Moskowitz, Ooi & Pedersen, « Time Series Momentum » (2012).
Ce message est à visée pédagogique et ne constitue pas un conseil en investissement.