Évaluer la robustesse d’une stratégie de trading au premier coup d’œil

vschmitt · Sat, 18 Jul 2020 08:34:12 +0000

Bonjour à tous, je souhaite partager avec vous la traduction de l’article que j’ai rédigé pour mon blog anglophone sur le trading automatique au sujet de l’évaluation de la robustesse d’une stratégie. Bonne lecture 🙂 Vous trouverez sur internet un grand nombre de systèmes de trading automatiques qui affichent une performance surhumaine sur le papier. Le problème est qu’ils génèrent des pertes immédiatement après leurs mise en production. Plusieurs questions se posent en conséquence : Comment savoir si une stratégie est robuste ou sur-optimisée ? Comment être sure qu’une stratégie ne va pas devenir immédiatement perdante après sa mise en production ? Existe-t-il une manière d’évaluer la robustesse d’une stratégie de trading automatique ? Je vais vous expliquer ce que vous devriez vérifier pour savoir si une stratégie est robuste ou non. J’ai créé une batterie de tests pour vous permettre de valider votre stratégie avant de la lancer sur votre compte réel. Après quoi vous pourrez détecter si une stratégie est robuste au premier coup d’œil. Voici un premier ensemble de contrôles visuels que vous pouvez faire assez rapidement en vous basant sur le résultat de votre backtest. Écart-type globale de votre stratégie Vous pouvez commencer par regarder l’écart-type de vos résultats sur toute la durée de la stratégie. L’écart-type ne doit pas être trop important et il doit surtout être régulier tout au long de la stratégie. Cette régularité doit être indépendante des variations de marché. Écart-type trop important Voici le résultat d’une simulation d’une stratégie présentant trop d’écart-type : Cette stratégie offre une performance supérieure à 20 % mais avec plus de 30 % d’écart-type. Écart-type acceptable Voici le résultat d’une simulation d’une stratégie présentant un écart-type acceptable : Cette stratégie offre une performance inférieur à la première mais avec beaucoup moins d’écart-type. Elle est donc moins risquée et sera très certainement plus profitable à long terme. La première stratégie affiche une performance presque deux fois supérieure à la première mais elle présente un très grand écart-type. Cela traduit plus d’incertitude donc un plus grand risque. Répartition des gains L’essentiel des gains ne doivent pas être concentré sur une petite durée du test. Si vos gains sont concentrés sur une partie d’une période de votre backtest, c’est une preuve évidente de sur-optimisation. Cela signifie que votre stratégie est sur-optimisée sur une toute petite partie du marché qui a peu de chance de se reproduire dans l’avenir. Répartition des gains concentrés Voici le résultat d’une stratégie dont les gains sont trop connectés sur une petite partie du marché : Répartition des gains dispersés Le backtest suivant montre que la stratégie génère des gains régulièrement tout au long de la période de test : La répartition des gains pourra aussi être utilisée pour distinguer deux stratégies. Il vaut mieux choisir une stratégie moins profitable mais plus régulière. Mesure du Tracking Error Le « tracking error » est se mesure par l’écart type de la différence de performance entre l’actif et son indice de référence. Il devrait être faible et positif pour une stratégie. TrackingError = σ(Performance de la Strategie – Performance de l’actif) Le tracking error d’une stratégie robuste devrait être le plus petit possible. Tracking error d’une stratégie Dans la figure suivante, on voit que la forme de la courbe des gains suit celle de l’actif tradé. La différence de la performance entre la stratégie et l’actif est assez stable. On peut donc en déduire que le tracking error est acceptable. Il faut toute fois préciser que certaines stratégies peuvent être décorrélées de leur actif notamment les stratégies de très court terme (scalping et intraday). Dans ce cas il pourrait être normal que votre stratégie soit plus impactée par la volatilité de l’actif que par sa tendance de fond. Personnellement je préfère éviter les marchés trop volatiles même s’ils sont haussier. Il est donc normal dans ce cas d’avoir un tracking error plus important. Si le tracking error est proche de zero, alors il faut se demander s’il ne serait pas moins risqué de prendre un tracker et de faire du « buy and hold ». Par contre, une stratégie ayant un tracking error proche de 0 avec un levier inférieur ou égale à un mais clôturant toutes ses positions le soir et les week-end pourrait être une bonne approche. Car dans ce cas, vous reproduisez la performance d’un actif tout en gardant vos liquidités disponibles chaque soir. Cela vous permet de maximiser l’allocation de votre capital et d’avoir plus de sécurité. Ratio gain / perte Les gains moyens devraient être supérieurs aux pertes moyennes. D’autre part, cela doit être aussi le cas pour le plus gros gain qui doit être supérieur à la plus grande perte. En réalité le ratio gain / perte affiché par votre backtest n’est pas toujours pertinent. Si vous lancez une stratégie dont le nombre de trades perdants est trop importants à votre goût, vous pourriez être tenté de baisser vos stoploss. De cette manière, vous allez gonfler artificiellement votre taux de réussite. En contre partie, votre risque va augmenter car lorsque vos stoploss seront touchés, ils généreront une plus grande perte. Si on voulait pousser cette pratique à son paroxysme on pourrait carrément ne pas mettre de stoploss. Bien-sur, dans un marché très haussier, une tel configuration sera très gagnante jusqu’au jour vous les marchés se retournerons contre vous. Dans l’exemple suivant, j’ai volontairement sur-optimisé le taux de réussite d’une stratégie en augmentant le positionnement des stoploss à 1000 points sur le DAX : La stratégie affiche un taux de réussite à 100 % pour 23 positions ouvertes. Ce résultat semble exceptionnel mais si vous regardez la courbe des gains quelque chose devrait vous sauter aux yeux : on voit en effet que parfois, avant de gagner, une position génère une énorme perte potentielle. Maintenant voyons ce qui se serait passé si j’avais lancé cette stratégie sur mon compte réel après quelques semaines : La stratégie n’affiche qu’une seule perte mais de 562 points. Comparé aux 15 points de gains moyens, une seule perte peut dévaster la quasi totalité de la performance affichée d’une stratégie. On voit bien l’effet d’un seul trade perdant sur l’ensemble des gains générer par la stratégie : Vous devez donc rester méfiant à l’égard du ratio gain / perte affiché par votre backtest. Celui-ci ne traduira pas toujours la réalité. Le véritable ration de gain / perte doit se calculer à partir du positionnement de votre stoploss. Sécurisation des gains Pour être robuste une stratégie doit être équipée d’un système de sécurisation des gains. Ce dispositif consiste à placer automatiquement un ordre de vente lorsque les gains latents atteignent un certain niveau. De cette manière, si le prix de l’actif venait à baisser avant d’atteindre l’objectif initial, la position restera tout de même gagnante. (sauf en cas de gap ou de flash crack) Il faut donc vérifier si la stratégie sécurise bien ses gains en regardant si des gains latents ne se transforment pas en pertes ou en faibles gains. On peut faire cette vérification visuellement car on voit apparaître des pics sur la courbe des gains devenant des pertes au niveau du résultat de la stratégie. En principe, dans le cas d’une stratégie de continuation de tendance, le niveau de sécurisation des gains doit être supérieur ou égal au niveau du stoploss en terme de points. Donc si vous mettez votre stoploss à 50 points, vous devrez commencer à sécuriser vos gains à partir de 50 points au minimum. Personnellement je préfère ajouter quelques points en plus. C’est à dire que si je place mon stoploss à 50 points, je commencerais à sécuriser mes gains à partir de 55 points de profit latent. Temps dans le marché Le temps dans le marché doit être raisonnable. Si le temps dans le marché est supérieur à une journée alors il faut intégrer les frais overnight en les déduisant de la performance affichée. Il est très important de suivre l’évolution du temps dans le marché de la stratégie. Si le temps dans le marché devient de plus en plus long, cela peut être un signe de sur-optimisation. Le temps dans le marché doit aussi être surveiller durant l’exécution de la stratégie en trading réel. Écart-type du temps dans le marché Comme on l’a fait pour la courbe des gains on peut analyser l’écart-type du temps dans le marché sur toute la période du backtest. L’écart-type du temps dans le marché ne devrait pas être trop important. Dans le cas contraire, cela signifiait que certaines positions ont un temps très court alors que d’autres auraient un temps très long. Ce phénomène pourrait traduire un problème de sous-optimisation de votre stratégie. Voici un exemple d’une stratégie présentant trop d’écart-type sur son temps dans le marché : Le temps dans le marché du graphique précédent est beaucoup trop irrégulier. Cela traduit un problème de sous-optimisation donc la performance de cette stratégie est uniquement due à celle du marché. Donc quand le marché se retournera à la baisse, cette stratégie deviendra perdante. Augmentation du temps dans le marché La variation du temps dans le marché peut donner une indication sur le fait qu’une stratégie soit sur-optimisée ou sous-optimisée. Celui-ci devrait être stable du début à la fin du backtest. Exemple d’une stratégie avec une augmentation du temps dans le marché : Ici on voit que le temps dans le marché devient de plus en plus long. La stratégie a de plus en plus de mal à atteindre ses objectifs de prix. Dans ce cas de figure, soit la stratégie est sous-optimisée soit la stratégie est en train de devenir obsolète. Si l’augmentation du temps dans le marché survient quand le marché entre dans un range ou quand il y a un affaiblissement de la tendance de fond alors on peut conclure que la stratégie est sous-optimisée. Si non, il est possible que la stratégie soit en train de devenir obsolète et que le signal qu’elle donne est désormais ignoré par le marché. Temps en difficulté Le temps en difficulté est le temps durant lequel une position est en perte latente. On observe souvent des épisodes de reflux durant une position de swing trading ou intraday et cela est normal. Il y a cependant plusieurs choses à regarder par rapport à cela. Le plus important est la variation du temps en difficulté au cours de votre backtest. Si le temps en difficulté est de plus en plus long, cela peut traduire un risque de sur-optimisation ou que votre stratégie est en train de devenir obsolète. Vous devez aussi surveiller et comparer l’évolution temps en difficulté en trading réel par rapport à votre backtest. Si vous constatez que vos positions deviennent systématiquement en perte latente juste après leur ouverture, alors cela veut peut-être dire que les autres traders attaquent vos points d’entrés dans le sens inverse. Voici l’exemple d’un trade positif mais dont le temps en difficulté est beaucoup trop important : Durant toute la durée de ce trade, le système était en perte latente et n’aurait pas été en mesure de couper cette position sans concrétiser une perte. Ce trade est gagnant mais c’est un mauvais trade. Conclusions Votre stratégie devrait générer des gains avec peu d’écart-type. Vos profits devraient être réguliers et corrélés avec l’actif tradé. Le plus important n’est pas nécessairement la performance en soit mais plutôt la régularité du résultat. Si l’évolution de vos profits est trop erratique, alors il y a peu-être un problème de sur-optimisation ou de sous-optimisation. La découverte et l’apprentissage de chacun des concepts que j’ai abordé ici m’a coûté quelque chose. Aujourd’hui je prend le temps qu’il faut pour m’assurer que ma stratégie est robuste avant de la lancer sur mon compte réel. J’espère que la lecture de ce poste vous aura apporté quelque chose. Je serais ravis de savoir comment vous faites pour vérifier la robustesse d’une stratégie ? N’hésitez pas à me donner votre avis, surtout si vous avez un autre point de vu 😉

This topic has 69 replies, 12 voices, and was last updated 7 months ago by Meta Signals Pro.

Viewing 10 posts - 61 through 70 (of 70 total)

← 1 2 3 4 5

08/25/2023 at 9:30 AM #219771
Meta Signals Pro
merci @phoentzs pour ce super grain de sel et @vschmitt pour cette ressource ;

la gestion et l’adaptation SL / TP à la volatilité étant si crutiale selon vos expériences et analyse,

=> cela ne revient-il pas à les gérer avec un bon vieux ATR ? 😉
Meta Signals Pro
Participant

Topics: 40
Replies: 310
Been thanked: 37 times
08/25/2023 at 9:46 AM #219773

zilliq

Si le Tp et le Sl sont primordiaux, je pense qu’il faut les garder fixes (et donc pas baser sur l’atr) , sinon ce sont au moins 2 degrés de liberté supplémentaires et donc une étape supplémentaire dans l’overfitting et donc la chute en OOS.

Plus que tout avec les algo “keep it simple”

Et pour revenir sur un point, s’il esr intéressant d’avoir un algo en ut 15 mn ou même 1 minute, il faut alors un Tp important pour contrebalancer le spread. C’est pourquoi, je rejoins l’idée qu’il est préférable d’avoir un algo en ut d’au moins un jour, plus lent, mais Tp plus éloigné qui va donc “digérer” le spread sans douleur

Zilliq

zilliq
Participant

Topics: 58
Replies: 683
Been thanked: 152 times

08/25/2023 at 9:58 AM #219775

phoentzs

J’utilise un stop suiveur dans TF M1 et pas de TP du tout. De cette manière, le mouvement peut être assuré le plus tôt possible, tout en conservant suffisamment de marge pour atteindre dans certains cas un rapport profit/perte de 1:5. Ce n’est certainement pas le Saint Graal, mais cela semble plutôt bien fonctionner. Dans les TF supérieurs, j’utilise uniquement des SL et TP fixes optimisés. Ce qui fonctionne également bien. La courbe des bénéfices évolue assez bien avec l’évolution du marché.

phoentzs
Participant

Topics: 84
Replies: 915
Been thanked: 169 times

08/25/2023 at 10:02 AM #219776

phoentzs

Voici un exemple pour le M1-Nasdaq.

phoentzs
Participant

Topics: 84
Replies: 915
Been thanked: 169 times

08/25/2023 at 10:37 AM #219780

zilliq

Merci @phoentzs

Tu es sur un compte démo, combien as tu mis comme spread sur ton backtest, car c’est ce qui “mange” tes gains ?

Fais un Walk Forward, car même si les backtest de PRT ne sont pas terribles pour 1000 raisons, le WF est un cran vers le “un peu mieux”

Merci

zilliq
Participant

Topics: 58
Replies: 683
Been thanked: 152 times

08/25/2023 at 10:57 AM #219781

phoentzs

Spread = 1
Spread testé avec le pire des cas = 4
Le bot ne fonctionne que pendant les heures de négociation de 15h à 21h et est à plat tous les soirs. Donc pas de postes de nuit. Pour le moment, il est encore en phase de test, mais fonctionne avec les paramètres depuis mai.

phoentzs
Participant

Topics: 84
Replies: 915
Been thanked: 169 times

08/25/2023 at 6:36 PM #219789

Meta Signals Pro

@phoentz Comme quoi une equity peut être sexy ;-)) je vais la suivre ;

Un grand merci 😉

Meta Signals Pro
Participant

Topics: 40
Replies: 310
Been thanked: 37 times

08/25/2023 at 9:23 PM #219791

phoentzs

Je fais des choses similaires depuis un certain temps et je suis étonné de voir à quel point cela semble fonctionner. J’espère que ça restera comme ça. Au final, ce n’est rien d’autre qu’un élan en tant qu’entrée et une tendance basée sur le H4. J’essaie juste de suivre l’argent. Jusqu’à présent, ça marche.

1 user thanked author for this post.

Meta Signals Pro

phoentzs
Participant

Topics: 84
Replies: 915
Been thanked: 169 times

08/25/2023 at 10:20 PM #219793

phoentzs

Voici la version originale. Fonctionne en compte démo depuis le 15/03/23. Pour une stratégie M1 inchangée avec les moyens les plus simples, les performances pourraient être qualifiées de assez stables. Ou suis-je trop optimiste ?

phoentzs
Participant

Topics: 84
Replies: 915
Been thanked: 169 times

09/06/2023 at 4:14 PM #220440
Meta Signals Pro
En complément de la discussion,

1/ voila comment je gère mes algos du coup grace à StratSENTINEL (sélection du timing)

: algo ON

: algo OFF

market.prorealcode.com/product/strats

2/ et pour discussion je trouverais très intéressant d’évaluer les performances pour chaque stratégie conçue

sur un marché haussier

sur un marché baissier

sur un marché en tendance selon Ehlers

sur un marché en cycle selon Ehlers

Le but étant au final d’avoir des filtres bien sûr et de maximiser les gains ;

Quelqu’un a-t-il déjà bossé sur ce dernier point ou vu des concepts similaires ailleurs ?
Meta Signals Pro
Participant

Topics: 40
Replies: 310
Been thanked: 37 times
Author

Posts

Viewing 10 posts - 61 through 70 (of 70 total)

← 1 2 3 4 5

Find exclusive trading pro-tools on

Évaluer la robustesse d’une stratégie de trading au premier coup d’œil

1 user thanked author for this post.