QUANT - Calculs d'incertitude sur une stratégie

Présentation, Développement, Améliorations et Ressources pour les Stratégies de Trading Automatique.

Modérateur : Administrateurs

Répondre
Message
Auteur
Jeff719
VideoBourse family
Messages : 785
Inscription : 28 sept. 2015, 16:18

QUANT - Calculs d'incertitude sur une stratégie

#1 Message par Jeff719 »

Bonjour à tous.

J'aimerais aborder ici une question qui touche à l'optimisation et donc inévitablement à la sur optimisation, c'est la notion d'incertitude. Cette incertitude se rencontre dans l'évaluation de paramètres ou encore dans les résultats d'une stratégie.

Commençons par une petite digression universitaire qui aborde un problème très simple. L'évaluation des paramètres d'une loi binomiale, partant d'un certain nombre de tirages. Derrière ce mot savant, il s'agit simplement de l'évaluation du paramètre d'un exercice simple. Un jeu où soit vous perdez, soit vous gagnez. Le but est d'évaluer la probabilité de gagner à partir d'un certain nombre de tirage. Comme un jeu à pile ou face mais où les pièces sont fortement truquées, capable par exemple de faire sortir face dans 90% des cas.

On note la probabilité de gagner P. Celle de perdre Q. On aura P=1-Q

Maintenant jetons la pièce 400 fois. Intuitivement, avec 400 tirages, on croit savoir que l'on sait ce qu'il en est avec une bonne précision. On a une précision pas trop mauvaise si P et Q sont proches, et donc proches de 50%. Si P = 85%, on va avoir un petit problème. En effet, on n'aura que 60 pertes théorique (n'oublions pas qu'on ne connaît pas P mais qu'on cherche à l'évaluer). On peut donc tout à fait en avoir 40 ou pourquoi pas 100, ce qui donnera une incertitude monstrueuse sur ces pertes.

Maintenant évaluons plus précisément les choses.

L'espérance est N * P, soit 400 P. (P n'est pas encore évalué).
L'écart type = Racine( N * P * ( 1-P) )

Si on trouve P=0.5 (pile ou face donc), on a bien :
- E = 400 * ( 0.5 * 1 - 0.5 * 1 ) = 0; // * 1 signifie qu'on gagne 1 en cas de gain et vice versa en cas de perte
- Sigma = Racine(400) * Racine(0.5 * 0.5) = 10;
Après 400 tirages de pile ou face, l'espérance est nulle et le Sigma (l'espérance de l'écart) = 10.

Maintenant appliquons à ces 400 tirages une gaussienne pour faire les calculs d'incertitude :

A 95% de ne pas se tromper (une fois sur 20 donc), on aura 1.6 EcartType soit +- 16
A 99% de ne pas se tromper, on aura 2.3 EcartType soit +- 23

Nous avons ici un résultat qui peut être contre intuitif pour le public. La loi des grands nombres ne fait pas qu'en moyenne, au bout d'un moment, on a tendance à se rapprocher de l'espérance. Pas de tout. Plus ça va, plus l'écart a des chances de s'empiler et d'augmenter. Ce qui diminue, c'est cet écart par rapport à N, le nombre de tirages. Ainsi, le résultat de la faute à pas de chance ou de l'heureuse surprise, en valeur absolue, augmente avec le temps. Avec la racine du temps en fait, comme on l'a vu ci-dessus.

Passons maintenant du tirage à pile ou face à la proportion de trades gagnants lors d'un back test. Simplifions encore les chose en supposant que le RR (Reward/Risk) soit connu et constant, disons de 1.5. Avec 50% de gains, on a donc un PF (Profit Factor) de 1.5.

Reprenons le résultat à 95% de ne pas se tromper (une fois sur 20 donc), on aura 1.6 EcartType soit +- 16

Cet écart type nous donne une idée du résultat de la promenade aléatoire, pas de l'incertitude sur l'estimateur. Maintenant imaginons une promenade donnée. L'estimateur (la chance de gagner) sera issu de cette promenade. On est bien obligé de prendre la moyenne trouvée. On applique donc précisément l'incertitude de la promenade sur l'estimateur :

A 95% de ne pas se tromper, l'esperance de gain = 0.5 +- 16/400. On a trouvé 0.5 mais la vraie valeur se trouve entre 0.525 et 0.475.

Si on a un Profit Factor de 1.5 (issus d'un Reward/Risk de 1.5), le PF estimé à 1.5 est entre 1.76 et 1.28. On voit combien l'incertitude est grande malgré 400 trades. L'incertitude du modèle est encore plus grande si on évalue la cascade d'incertitudes comprenant l'erreur sur le taux de gain ainsi que celle sur le RR.

Maintenant regardons ce qui se passerait avec une stratégie ayant 85% de trades gagnants (et de rare grosses pertes donc).

Esperance = 0.85
Sigma = Racine( N * P * ( 1-P) ) = 7.14

A 95% de ne pas se tromper, Esperance = 0.85 +- 1.6 * 7.14 / 400, soit entre 82 et 88%
Pour les pertes, nous avons donc entre 18% et 12%.

Si le Profit Factor de back test est de 1.5 avec 85% de gain, on a des pertes de 3.8 fois les gains.
En reprenant les incertitudes, on a un PF entre 1.2 et 1.9 (toujours à 95% de ne pas se tromper).

On voit combien l'incertitude est plus élevé que lorsque le taux de gain est de 50%.

Ceci montre combien il faut s'interroger sur le nombre d'évènements à partir desquels on a évalué un résultat, on encore à partir desquels on ajuste des paramètres. Maintes et maintes fois se répète l'erreur suivant laquelle on pense que le nombre d'évènements est le nombre de trades. A 85% de taux de gains, il n'y a que 60 pertes sur 400. Ce chiffre de 60 est trop bas pour avoir une estimation correcte. Les stratégies qui s'écartent nettement de 50% de gain on besoin de beaucoup plus de trades pour être évaluées.

Les sur optimisations les plus graves se rencontrent de cette façon. Bien que disposant de nombreux trades, certains paramètres sont basés sur peu d'évènements. On ne peut pas faire de statistique dessus. On ne peut pas ajuster de paramètre. On ne peut rien en conclure ni prédire quoi que ce soit.

Par exemple une stratégie disposant de milliers de trades lors d'un backtest peut s'améliorer en ajouttant un filtre de tendance de très long terme. Peut être que le back test peut s'en trouver fortement amélioré. Cependant, si ce retournement de tendance de long terme n'intervient que 3 ou 4 fois dans l'historique, on n'a aucun moyen d'en ajuster les paramètres (prend on en compte trop tôt ou trop tard ce retournement). Le backtest sera forcément très sur optimisé.
Les informations présentées ne peuvent être considérées ni comme un conseil en investissement, ni comme une recommandation d'investissement. Il s'agit de commentaires généraux sur les marchés et de raisonnements que l'on peut tenir à leur sujet.

neo-13
Professionnel certifié
Messages : 420
Inscription : 28 févr. 2015, 17:53

Re: QUANT - Calculs d'incertitude sur une stratégie

#2 Message par neo-13 »

Salut,
Tout d'abord merci beaucoup de prendre le temps d'écrire des exposés tels que ceux là, qui sont primordial pour une évaluation des risques et donc de l'élaboration de stratégies et de MM.
J'y suis d'autant plus sensible, que n'ayant pas cette connaissance mathématique, le fait que quelqu'un vienne le partager est fortement, du moins pour moi, appréciable.
Toutefois, je pense qu'il y a quelques erreurs dans le texte, pas dans le fond (ça je ne suis pas capable de savoir), mais à des moments je pense que tu voulais écrire gain et tu as écrit perte ou l'inverse et du coup on perd la compréhension, à moins que ça ne soit moi qui n'est rien compris.

Encore merci.

Avatar de l’utilisateur
Loverotten
Membre assidu
Messages : 401
Inscription : 30 sept. 2015, 04:34

Re: QUANT - Calculs d'incertitude sur une stratégie

#3 Message par Loverotten »

SUPERBE !

J'ajouterais simplement deux liens :

Loi Binominale : https://fr.wikipedia.org/wiki/Loi_binomiale
Beauté Mathématique : https://fr.wikipedia.org/wiki/Beaut%C3% ... %A9matique

A+.
Thierry.

ulysse
VideoBourse family
Messages : 1112
Inscription : 27 févr. 2012, 16:13

Re: QUANT - Calculs d'incertitude sur une stratégie

#4 Message par ulysse »

Loverotten a écrit :SUPERBE !

J'ajouterais simplement deux liens :

Loi Binominale : https://fr.wikipedia.org/wiki/Loi_binomiale
Beauté Mathématique : https://fr.wikipedia.org/wiki/Beaut%C3% ... %A9matique

A+.
Thierry.
Bravo loverotten et bravo Jeff!!!

L'esthétique n'est pas nécessairement jointe à l'utile. Le plus souvent elles sont disjointes.
néanmoins si l'on aime se référencer à la loi des grands nombres pour évoquer le succès alors il faut en faire de même pour évoquer l'échec. C'est tellement trivial.
la démonstration est limpide. Comment ne pas y avoir pensé en termes si synthétiques.
Ce qu'on aime en littérature ou en mathématique c'est la concision. Ce nombre de pas limite qui vous conduit du réel à l'imaginaire ou inversement de l'imaginaire au réel. Hors de tout repère, savoir qu'une démonstration est vraie et non pas simplement vraisemblable. Quelle jubilation..
Mes problématiques actuelles ne sont pas de l'ordre de la démonstration. Elles sont plus imaginaires. A savoir comment imbriquer n+X histoires dans un même récit en un minimum de mots.
Si vous voulez savoir pourquoi je participe encore à ce forum, alors que je ne trade activement que trois ou quatre fois par an.... c'est justement pour ces moments de pur formalisme.
J'adore ces amoureux de la formule et de la démonstration. Ces forçats de la démonstration et du réel. C'est que ceux là ne se satisfont pas d'une efficacité transitoire. Ils veulent cette esthétique propre à l'indicible, ineffable, volupté d'avoir raison.
je vous reçois cinq sur cinq.

Zechatdoc
Membre assidu
Messages : 143
Inscription : 14 janv. 2014, 23:51

Re: QUANT - Calculs d'incertitude sur une stratégie

#5 Message par Zechatdoc »

Salut Jeff,

Très intéressant !
J'vais peut-être dire des conneries, ca commence a dater les études, mais :
Tu pars du principe que l’espérance est constante dans le temps sur le postulat qu'il s'agit de hasard pur quoi.
Or de ce que j'ai pu voir, appliqué a des BTs, la variance ...bah varie bcp.. et l'ecart type explose.

Ce qui rend -je pense- ta démonstration encore très très très optimiste.

Jeff719
VideoBourse family
Messages : 785
Inscription : 28 sept. 2015, 16:18

Re: QUANT - Calculs d'incertitude sur une stratégie

#6 Message par Jeff719 »

Zechatdoc a écrit :Salut Jeff,

Très intéressant !
J'vais peut-être dire des conneries, ca commence a dater les études, mais :
Tu pars du principe que l’espérance est constante dans le temps sur le postulat qu'il s'agit de hasard pur quoi.
Or de ce que j'ai pu voir, appliqué a des BTs, la variance ...bah varie bcp.. et l'ecart type explose.

Ce qui rend -je pense- ta démonstration encore très très très optimiste.
Tu as parfaitement raison! Ce que j'ai décrit est un minorant du soucis. :mrgreen:

Cependant j'ai mené les calculs à 95% de ne pas se tromper. Ce qu'utilise par exemple Darwinex pour exprimer sa VAR(20,95), qui signifie que 95% du temps, les pertes d'un mois (glissant, pas calendaire) sont inférieures à 20%. A propos, une VAR(20,95) = VAR(28.75,99). Disons VAR30 le 1% de risque, soit le crash tous les 8 ans.

95% appliqué aux incertitudes sur l'évaluation des paramètres, je trouve cela un peu pessimiste. Ce n'est pas un calcul de risque, mais un calcul d'incertitude plausible.

Si l'on reprend la stratégie qui à 50% de gains avec un PF de 1.5 (RR=1.5), on a :

PF estimé = 1.5, entre 1.28 et 1.76 à 95% de ne pas se tromper.

et

PF estimé = 1.5 entre 1.38 et 1.63 à 80% de ne pas se tromper.

Une value at risk étudie le risque, les problèmes rares. Ici le calcul d'incertitude évalue ce qui est plausible, probable.

à 80% de ne pas se tromper dit simplement :

En lançant 5 stratégies, on en aura 4 qui seront dans cet intervalle de confiance. Seule une sur 5 sortira de cette fourchette. [1.38 - 1.63] est une fourchette pas trop mauvaise.

A noter que ceci ne traite aucunement de la sur optimisation. C'est le point important : quand bien même il n'y aurait pas de sur optimisation, voici un calcul d'incertitude concernant l'évaluation des paramètres.

Maintenant, comme Zechatdoc le remarque, l'espérance et la variance ne sont pas stables. Le résultat est pire. C'est vrai et je comprend que la courbe de gauss donne des boutons à certains, se trouvant prise en défaut au moment où on a le plus besoin d'elle : quand tout va mal.

Il est vrai que l'on ne soulignera jamais assez un certain comique relatif à tous ces calculs de risque. Ca parle de risque, ceci avec de belles équations, ç'est assez juste dans l'ensemble, sauf quand... ça tourne mal. :lol:

Personnellement, là ou l'on emploie la racine (Racine(temps) par exemple), j'applique Puissance(0.6) au lieu de 0.5. Ça donne des variances assez musclées et plus proches de la réalité. C'est comment dire ? primitif, élémentaire, cependant une façon simple d'être plus proche de la réalité. :roll:
Les informations présentées ne peuvent être considérées ni comme un conseil en investissement, ni comme une recommandation d'investissement. Il s'agit de commentaires généraux sur les marchés et de raisonnements que l'on peut tenir à leur sujet.

Avatar de l’utilisateur
Fabien LABROUSSE
Administrateur
Messages : 16944
Inscription : 17 mars 2008, 19:41
Localisation : Paris, France

Re: QUANT - Calculs d'incertitude sur une stratégie

#7 Message par Fabien LABROUSSE »

Oui ce paramètre est important à considérer dans le cadre de backtests.

Dans cette vidéo, Julien MONTEIRO aborde cet aspect, et précise que les programmeurs avec il travail bossent dessus via le logiciel MatLab:



Dans une vidéo que je publierai prochainement, avec Pascal HIRTZ, l'un des Responsables et Fondateurs de WH SelfInvest, cette problématique est aussi abordée.
Image

La Structure (par VideoBourse) : Formation sur mesure et évolutive pour optimiser compréhension et résultats en trading

📈 Informations et inscriptions : https://forms.gle/A2vnZduSwv2wPFSS7

🤝 Contact et échanges avec la communauté : Discord, mail, téléphone, LinkedIn...

Avatar de l’utilisateur
Loverotten
Membre assidu
Messages : 401
Inscription : 30 sept. 2015, 04:34

Re: QUANT - Calculs d'incertitude sur une stratégie

#8 Message par Loverotten »

Salut !

Perso j'utilise Octave, pas trop le choix avec Linux... Mais j'en suis pas mécontent.
3.jpg
A+.
Thierry.

Avatar de l’utilisateur
Fabien LABROUSSE
Administrateur
Messages : 16944
Inscription : 17 mars 2008, 19:41
Localisation : Paris, France

Risques, decisions et incertitudes — Cretin de cerveau #5

#9 Message par Fabien LABROUSSE »

Risques, décisions et incertitudes — Crétin de cerveau #5

Ajoutée le 6 janv. 2017

Pas facile de prendre des décisions quand il existe une part d'incertitude ou de risque...et on le fait souvent de façon irrationnelle !
Un nouvel épisode de la série "Crétin de cerveau" !

Me soutenir sur Tipeee : http://www.tipeee.com/science-etonnante
Mon livre : http://science-etonnante.com/livre.html

Facebook : http://www.facebook.com/sciencetonnante
Twitter : http://www.twitter.com/dlouapre

Abonnez-vous : https://www.youtube.com/scienceetonnante
Image

La Structure (par VideoBourse) : Formation sur mesure et évolutive pour optimiser compréhension et résultats en trading

📈 Informations et inscriptions : https://forms.gle/A2vnZduSwv2wPFSS7

🤝 Contact et échanges avec la communauté : Discord, mail, téléphone, LinkedIn...

Avatar de l’utilisateur
Fabien LABROUSSE
Administrateur
Messages : 16944
Inscription : 17 mars 2008, 19:41
Localisation : Paris, France

How to Become a Quant at Alameda Research

#10 Message par Fabien LABROUSSE »

FTX Official
23,3 k abonnés

Sam Bankman-Fried, the CEO of FTX, explained what a quantitative analyst is, how to become a quant, and quant trader skills. He also went through what to expect from a quant trader career. Becoming a good quantitative researcher requires a lot of hands-on training.

If you enjoyed this quant trader interview on becoming a quant trader, please subscribe to the FTX channel.

00:30 Quant Trader Interpersonal Skills
02:30 Quant Trader Technical Skills
04:20 What Is a Fading Tether?
05:16 What to Study to Become a Quant

Begin Trading With FTX: https://ftx.com/

FTX Socials:
FTX Twitter: https://twitter.com/FTX_Official
FTX YouTube: https://www.youtube.com/c/FTXOfficial/ SBF
Twitter: https://twitter.com/SBF_Alameda
LinkedIn: https://www.linkedin.com/company/ftx

FTX Customer Support Help Desk:
https://help.ftx.com/hc/en-us

Telegrams:
FTX Telegram Communities
English - https://t.me/FTX_Official
Chinese - https://t.me/FTX_Chinese_Official
Vietnamese - https://t.me/FTX_Vietnam_Official
Russian - https://t.me/FTX_Russian_Official
Turkish - https://t.me/FTX_Turkey_official
Taiwanese - https://t.me/FTX_Taiwan_Official
India - https://t.me/FTX_India_Official
Spanish - https://t.me/Ftx_Spanish_Official
Portuguese - https://t.me/Ftx_Portugues_Oficial
Africa - https://t.me/FTX_Africa
Indonesian - https://t.me/FTX_Indonesia

{Please refer to the latest FTX policies and rules on FTX Help Center: https://help.ftx.com/hc/en-us ]

Image

La Structure (par VideoBourse) : Formation sur mesure et évolutive pour optimiser compréhension et résultats en trading

📈 Informations et inscriptions : https://forms.gle/A2vnZduSwv2wPFSS7

🤝 Contact et échanges avec la communauté : Discord, mail, téléphone, LinkedIn...

Répondre