IA et trading : ce qui a réellement changé, avec un peu de recul

[JosephTot]

Je voulais poser par écrit ce que l'arrivée des modèles de langage a concrètement changé dans le travail autour des stratégies. Pas le discours marketing sur « l'IA qui trade à votre place » : celui-là n'a pas bougé depuis vingt ans, il a juste changé d'étiquette. Je parle du travail réel — coder, mesurer, backtester, estimer, critiquer.

1. La barrière technique a sauté

Il y a encore trois ou quatre ans, entre une idée de stratégie et sa mesure propre, il y avait un mur : savoir coder. En MQL5, en Python, en ProBuilder. Ce mur ne filtrait pas les mauvaises idées, il filtrait les gens qui ne codaient pas. Beaucoup d'intuitions correctes sont mortes là, faute d'avoir jamais été testées.

Aujourd'hui, le délai entre « et si je testais ça » et « voilà la courbe d'équité et les statistiques » se compte en heures, parfois en minutes. Un EA complet, un script qui parse un rapport de trades, une simulation Monte-Carlo sur 10 000 chemins : c'est devenu de l'outillage de routine. C'est le changement le plus profond de la période, et c'est un changement d'accès, pas d'intelligence.

2. La mesure : répondre « combien » au lieu de « je pense que »

C'est là que le gap est le plus net. Des questions qui coûtaient une journée de tableur se traitent en une requête :

• L'espérance mathématique d'un système, calculée sur l'historique réel, avec un intervalle de confiance plutôt qu'une moyenne nue.

• Le risque de ruine, le drawdown attendu, la distribution des séries perdantes, la probabilité de vivre tel scénario sur 200 trades.

• La significativité statistique : 60 % de réussite sur 40 trades ne veut rien dire, sur 400 c'est une autre conversation. Le calcul est devenu trivial — et donc ne plus le faire est devenu inexcusable.

• Le découpage par conditions : par heure, par jour de la semaine, par régime de volatilité, par sens de la position, par taille de gap d'ouverture.

Le vrai bénéfice n'est pas la vitesse en soi. C'est qu'on se met à poser des questions qu'on ne posait pas avant, parce qu'elles étaient trop coûteuses à traiter. Un edge existe souvent dans une sous-population de trades qu'on n'avait simplement jamais isolée.

3. Le backtesting : plus puissant, donc plus dangereux

Si on peut tester 50 variantes d'un système dans la soirée, on finira par en trouver une qui affiche une belle courbe. Ce n'est pas de la recherche, c'est de l'optimisation sur le bruit, et l'IA permet aujourd'hui d'industrialiser cette erreur à une échelle inédite. Les garde-fous classiques n'ont jamais été aussi nécessaires : échantillon hors période, walk-forward, nombre de paramètres tenu au minimum, et méfiance systématique envers tout résultat trop propre.

Un exemple de piège que j'ai rencontré directement : vouloir chiffrer a posteriori l'effet d'un time-stop (« et si j'avais coupé toutes mes positions au bout de 15 minutes ? ») à partir des seuls P&L de clôture. Le calcul est faux par construction, parce que certaines positions finalement gagnantes étaient perdantes à la quinzième minute. Sans les données intra-position, le contrefactuel n'existe pas. L'IA vous produira volontiers le tableau demandé, chiffres à l'appui, sans signaler le problème si on ne le lui soumet pas. La machine calcule ce qu'on lui demande ; elle ne sait pas ce qu'on aurait dû lui demander.

4. L'usage le plus sous-estimé : le contradicteur

Le réflexe naturel est de demander à l'IA de produire. Le meilleur rendement, je le trouve dans l'inverse : lui demander de démolir. « Voici ma stratégie et ses résultats, liste tout ce qui pourrait faire que ces chiffres soient un artefact. » « Quel biais explique cette courbe sans qu'il y ait le moindre edge ? » On obtient en dix minutes une revue critique que personne, dans une communauté, n'a le temps de faire gratuitement pour vous — et sans l'affect qui fait qu'on défend sa propre méthode au lieu de la tester.

S'ajoutent la lecture de documentation, la traduction de littérature quantitative jusque-là réservée à ceux qui lisent l'anglais technique, la relecture de code, et la capacité à dépiler un concept statistique jusqu'au niveau où on le comprend vraiment.

5. Ce que ça ne règle pas

• La donnée reste le facteur limitant. Historique tronqué, spreads absents, slippage ignoré, dividendes oubliés : aucun modèle ne compense une base fausse. Le goulot d'étranglement s'est déplacé du code vers les données.

• L'exécution réelle reste entière. Un système validé sur 500 trades simulés ne dit rien de votre capacité à le tenir après six pertes consécutives. Le mur du passage en réel n'a pas bougé d'un centimètre.

• L'edge se déplace. Quand tout le monde peut backtester, le backtest n'est plus un avantage compétitif. Ce qui différencie redevient la qualité des questions posées, la propreté des données, et la discipline.

• L'IA se trompe avec aplomb. Elle produit du code qui tourne et des chiffres faux, sans changer de ton. Tout résultat doit être vérifié par une voie indépendante — un recoupement manuel, un ordre de grandeur, un cas limite.

Ce que j'en retire

L'IA n'a pas apporté d'edge. Elle a supprimé le coût d'entrée du travail sérieux, ce qui est à la fois très largement positif et un peu cruel : il n'y a plus d'excuse technique pour trader sans mesurer. La ligne de partage ne passe plus entre ceux qui savent coder et les autres. Elle passe entre ceux qui posent des questions honnêtes à leurs données et ceux qui cherchent la confirmation de ce qu'ils font déjà.

Et sur ce point précis, aucun modèle ne fera le travail à notre place.

[JosephTot]

D'accord sur l'essentiel du message d'ouverture, et notamment sur la conclusion : ce qui a changé, c'est l'accès, pas l'intelligence. Je voudrais pousser un point qui n'est qu'esquissé dans la section 3, parce qu'il me semble être la conséquence la plus lourde et la plus mal comprise de toute cette histoire.

Si produire une analyse devient gratuit, alors le coût total du travail se déplace intégralement vers la vérification. Et la vérification, elle, n'a pas baissé d'un centime. Auparavant, le temps se répartissait grosso modo en 80 % de production et 20 % de contrôle. Aujourd'hui la production tend vers zéro et le contrôle reste identique : il occupe donc 100 % du travail restant. Beaucoup de gens ont interprété la chute du temps de production comme un gain de productivité, alors qu'il s'agit d'un changement de nature de la tâche. Ceux qui produisent dix fois plus sans vérifier dix fois plus ne vont pas dix fois plus vite — ils accumulent dix fois plus de résultats non validés.

1. Le nombre d'essais : ce qui rend le backtesting massif réellement dangereux

La section 3 dit qu'en testant 50 variantes on finira par en trouver une qui affiche une belle courbe. C'est exact, et c'est chiffrable précisément, ce qui rend le propos beaucoup plus dérangeant.

Si on teste N variantes indépendantes sur des données de pur bruit, la meilleure d'entre elles affichera une statistique de test d'environ la racine de deux fois le logarithme de N. Concrètement :

• 10 essais : la meilleure variante sur du bruit pur sort à environ 2,1 d'écart-type.

• 100 essais : environ 3,0.

• 1 000 essais : environ 3,7.

• 10 000 essais : environ 4,3.

Traduisons en ratio de Sharpe, puisque la statistique vaut le Sharpe multiplié par la racine du nombre d'années. Sur cinq ans d'historique, 50 variantes testées sur une série purement aléatoire produiront, en moyenne, une meilleure variante affichant un Sharpe d'environ 1,25. Pas 0,2. Pas un résultat qui sent le bruit. Un Sharpe de 1,25, qui ferait rêver n'importe qui, sur des données où il n'y a rigoureusement rien à trouver.

Deux précisions d'honnêteté. D'abord, les variantes d'un même système sont fortement corrélées entre elles, donc le nombre effectif d'essais est inférieur au nombre brut : la formule donne une borne haute. Ensuite, le bon N à retenir n'est pas le nombre de lignes de code exécutées, c'est le nombre d'idées conceptuellement distinctes essayées — et il inclut toutes celles qu'on a abandonnées en cours de route, y compris celles qu'on a oubliées.

C'est là que l'IA change réellement les choses. Avant, N était petit parce que chaque essai coûtait une soirée, et on s'en souvenait. Aujourd'hui N explose et devient invisible : on ne tient plus le compte de ce qu'on a essayé. Or sans ce compte, on ne peut pas corriger le seuil, donc on ne peut pas interpréter le résultat final. Le nombre d'essais est devenu la variable la plus importante et la moins journalisée de tout le processus. Bailey et López de Prado ont formalisé cette correction sous le nom de Sharpe dégonflé ; l'idée est simple, et sa mise en œuvre suppose juste une discipline que presque personne n'a : tenir un journal d'essais, daté, exhaustif, y compris des échecs.

Version pratique, en deux règles : écrire l'hypothèse et le critère de succès avant de lancer le test, et ne jamais comparer un résultat final à zéro.

2. Le test qui devrait être obligatoire, et que l'IA rend enfin possible

Puisqu'il ne faut pas comparer à zéro, à quoi comparer ? À son propre plancher de bruit. Et on peut le mesurer.

Deux tests, qui coûtaient autrefois deux jours d'outillage et qui se construisent aujourd'hui en une demi-heure.

• Le test négatif. Générez une série de prix purement aléatoire, calibrée sur la même volatilité que votre instrument. Passez-y l'intégralité de votre processus de recherche, optimisation comprise, exactement comme vous l'avez fait sur les données réelles, avec le même nombre d'essais. Le meilleur résultat obtenu est votre plancher de bruit. Tout résultat réel inférieur à ce plancher ne vaut rien, quelle que soit sa beauté. La plupart des gens découvrent, à ce moment-là, que leur plancher est au-dessus de leur découverte.

• Le test positif. Injectez artificiellement un avantage connu dans une série — un biais déterministe de quelques points après une condition donnée — et vérifiez que votre chaîne de traitement le retrouve, avec le bon signe et le bon ordre de grandeur. Ce test-là ne valide pas la stratégie, il valide l'instrument de mesure. Il attrape les erreurs de signe, les décalages d'alignement temporel, les coûts comptés deux fois ou pas du tout. Un pipeline qui ne retrouve pas un avantage qu'on y a mis à la main n'est pas en mesure de détecter quoi que ce soit.

Ironie utile : le meilleur usage de l'outil consiste à lui faire construire le dispositif qui invalidera ses propres productions.

3. Les erreurs propres à cet outil, qu'il faut chercher activement

Le message d'ouverture dit que l'IA se trompe avec aplomb. C'est vrai, mais elle ne se trompe pas au hasard : elle se trompe toujours un peu aux mêmes endroits, et savoir lesquels transforme la vérification en liste de contrôle plutôt qu'en angoisse diffuse.

• Les coûts absents par défaut. Sauf demande explicite, un script généré backteste sans spread, sans commission, sans slippage et sans financement overnight. Sur une stratégie fréquente, cela suffit à transformer un système perdant en système gagnant.

• La fuite d'information par indexation. Une moyenne calculée en incluant la bougie en cours, un décalage d'une barre oublié, un rééchantillonnage qui fait remonter la clôture dans la ligne de l'ouverture. C'est l'erreur la plus fréquente et la plus indétectable à l'œil, parce qu'elle ne produit pas de bug, seulement une courbe magnifique.

• L'alignement temporel. Heure serveur contre heure locale, changement d'heure d'été, jours fériés désynchronisés entre marchés. Une fenêtre calée sur l'heure du serveur en janvier ne pointe pas sur le même moment de la séance américaine en juillet.

• Les lignes silencieusement perdues. Une fusion de tables qui écarte 8 % des trades sans le signaler. Règle simple : faire afficher le nombre de lignes à chaque étape de traitement, et le comparer soi-même.

• Les chiffres plausibles inventés. Quand une donnée manque, le modèle produit volontiers une valeur crédible plutôt qu'une erreur. Valeur du point, taille de contrat, historique de dividendes : tout ce qui n'a pas été fourni doit être considéré comme fabriqué jusqu'à vérification.

4. Le vrai gain n'est pas le taux de découverte, c'est le taux d'élimination

Nuance qui a changé ma manière de travailler. Le réflexe est d'évaluer ces outils sur leur capacité à trouver quelque chose. C'est le mauvais critère, parce que le taux de base est écrasant : la quasi-totalité des idées testées sont mauvaises, et cela n'a pas changé.

Le bon critère est la vitesse à laquelle on peut tuer proprement une idée. Là, le gain est réel et massif : une intuition qui aurait occupé trois semaines est enterrée en une soirée, avec un chiffre à l'appui plutôt qu'un renoncement vague. Sur une année, cela représente peut-être trente idées éliminées au lieu de quatre. On ne trouve pas trente fois plus d'avantages — on en trouve toujours zéro ou un — mais on cesse beaucoup plus tôt de perdre du temps sur les vingt-neuf autres, et surtout on ne les déploie pas en réel.

Corollaire : tenir un cimetière des idées mortes, avec la raison du décès. C'est le document le plus utile que je possède, et c'est aussi celui qui donne le N du point 1.

5. Ce que la puissance de calcul ne fabrique pas

Pour relier ce fil à l'autre discussion en cours sur l'origine de l'espérance positive, il y a un point qui me paraît définitif.

Trancher entre une stratégie de Sharpe 0,4 et le hasard demande environ vingt-cinq ans de données. Ce chiffre ne dépend que de la quantité d'information disponible. Il ne baisse pas d'une seule journée parce qu'on dispose d'une capacité de calcul mille fois supérieure. On peut désormais analyser son historique de mille façons en une soirée, mais on n'a pas une observation de plus qu'avant.

La puissance de calcul a été multipliée par un facteur considérable. La quantité d'information contenue dans nos historiques n'a pas bougé d'un octet. Tout ce qui distingue les mille analyses est donc de la manière de regarder la même chose — et chacune de ces manières, prise isolément, augmente N et relève le seuil au-dessus duquel un résultat signifie quelque chose.

C'est peut-être le résumé le plus honnête de la période : l'IA a rendu gratuit de poser mille questions à des données qui ne contiennent que la réponse à trois ou quatre. Le talent, désormais, consiste à savoir lesquelles.