Ah oui et quand même, quand est ce que l’on peut dire qu’une stratégie a passé le Walk Forwad et peut potentiellement être mis en application en réel
A cela, voici les recommandations de Tradestation, que l’on peut discuter ici
_____________________________________________________________
Test Results – Criteria
After a walk-forward optimization has been completed, the Test Results tab produces a summary of the test criteria for the selected walk-forward analysis. The summary is user friendly and includes comment why a specific test criteria was passed or failed.
Using the default settings, a trading strategy passes a walk-forward analysis if:
- It is overall profitable AND
- shows a Walk-Forward Efficiency of 50% or better AND
- 50% or more of all walk-forward tests were profitable AND
- shows an even distribution of profit, i.e. no individual time period contributed 50% or more of total net profit AND
- has a Maximum drawdown of less than 40%
If the strategy fail any of the individual tests, the strategy is failed overall and is deemed not suitable for real-time implementation / trading.
Since performance evaluation is something personal, WFO allows users to set the pass/fail percentages themselves using the Setup, Test Criteria Settings option. Note that the Initial capital setting is very important because it is used for all Maximum drawdown % calculations.
The possible test result outcomes can be summarized as follow:
| Test Criteria |
Result |
Condition |
| Overall Profitablility |
P |
Total Profit > 0 |
| F |
Total Profit <= 0 |
| Walk-forward Robustness |
PD |
Walk-Forward Efficiency >= 100% |
| P |
Walk-Forward Efficiency >= 50% |
| F |
Walk-Forward Efficiency < 50% |
| Consistency of profits |
PD |
80%+ of walk-forward tests were profitable |
| P |
50%+ of walk-forward tests were profitable |
| F |
<50% of walk-forward tests were profitable |
| Distribution of profits |
P |
No individual time period contributed 50%+ of total net profit |
| F |
One of the walk-forward runs contributed 50%+ of total net profit |
| Maximum drawdown |
P |
Maximum drawdown did not exceed 40% during any single run |
| F |
Maximum drawdown exceeded 40% |
| Key: |
PD |
= Pass with distinction |
| P |
= Pass |
| F |
= Failed |
Perso, je suis assez d’accord avec cela et ce que je vais employer
Si on devait résumer :
1/ Optimisation WF qui termine en gain (Total profit>0)
2/ WFE>50 % sur au moins 50 % des périodes testées
3/ Aucune période ne génère plus de 50 % des gains
4 / Max Drawdown<25 % sur chaque période (eux disent 40 % je trouve cela beaucoup)
@Nicolas ton avis ?
Ces critères sont bons. Pour moi le seul soucis actuel de l’analyse WF est le fait que, comme c’est déjà le cas pour l’outil d’optimisation classique de la plateforme, que l’on optimise uniquement sur le gain total sur toute la période. Cela pouvant engendrer le problème indiquait en 3/. Ai-je déjà dit qu’il y aurait peut être un update de ces critères dans une prochaine série d’update ? Bref.
Pour le point 4/, je dirai que nous ne sommes pas tous égaux face à l’aversion au risque, c’est à chacun de juger du max drawdown acceptable. Mais, en effet 20 à 30% est une limite communément accepté par la “profession” 🙂
Entièrement d’accord avec toi. On fait avec ce que l’on a. mais c’est vrai que très souvent je ne garde pas la meilleure optimisation avec les meilleurs gains car tu peux avoir des accouts, mais plus l’optimisation régulière etc..
Plutôt que d’optimiser sur le gain total, il devrait permettre d’optimiser sur UN INDICATEUR (criteria= ..) comme on l’a par exemple sur les tableaux proscreener
Et là, le rêve, le graal, le pied total, on pourrait alors optimiser sur le SQN par exemple 😉
Tu sais si c’est prévu un truc du genre ?
Le “Consistency of profits” de la description que tu as posté répond à ta question concernant le nombre de tests hors optimisation ayant réussi le WF: moins de la moitié, la moitié, un peu plus ou voire même la totalité .. Évidemment, plus il y a en a qui auront réussi (WFE>50%), plus la stratégie sera robuste.
Concernant les autres critères sur lesquels optimiser, non je ne les connait pas.
Tu peux leur suggérer un WF basé sur un indicateur et non le gain total STP ?
Bonjour Nicolas
voila ce que j’avais comme référence
“Forward testing is also known as Walk forward testing is the simulation of the real markets data on paper only. It means that though you are moving along the markets live, but you are not actually putting in real money, but doing virtual trading in the markets to understand the movements of markets better”
C’ est donc le forward testing qu’il serait intéressant d’avoir, je finis par m’y perdre avec tous ces expressions qui se ressemblent l’anglais n’étant pas ce que je maitrise le mieux.
Bonne journée
Madrosat
@Nicolas
Sais tu quand le WF sera disponible chez IG demo/live que l’on puisse tester certaines stratégies ?
Merci et passe une bonne journée
Zilliq
@Madrosat Oui je comprends de où peut provenir le malentendu. Walk Forward signifiant “marche en avant”, c’est bien ce que fait le testeur de stratégie pour simuler le trading en temps réel dans les périodes de contrôle (OOS).
@zilliq Aux dernières nouvelles, d’ici quelques semaines.. je sais ça n’est pas précis 🙂
Pour information, je viens d’enregistrer une nouvelle vidéo sur l’utilisation du module de Walk Forward, disponible ici dans le blog:
Vidéo récapitulative sur le Walk Forward (6 min.): https://www.prorealcode.com/blog/recapitulatif-sur-lutilisation-du-module-walk-sous-prorealtime/
EDIT 26/04/17: Nouvel article en Anglais dans le blog, reprenant un peu toutes les questions évoquées sur les différents forums depuis l’apparition du Walk forward: https://www.prorealcode.com/blog/prorealtime-walk-analysis-tool/
Ainsi que l’ajout d’un sondage pour connaître votre sentiment à l’égard de son utilisation vous concernant (en tête du topic).
Bonjour Nicolas,
Merci pour tes videos
J’ai une question: dans le cas de l’ exemple de ta 1ère video, où la période d’optimisation est d’environ une année, puis ensuite celle des échantillons 5 mois, si l’optimisation globale était valide, au bout de combien de temps faudrait-il faire une nouvelle optimisation :
est-ce 5 mois ou 1 année et 5 mois ?
Merci par avance
Rien ne change par rapport à la durée de test de la “période dans l’échantillon” (période IN SAMPLE = IS), soit 70% du temps à optimiser pour 30% de trading réel avant de ré-optimiser (car j’ai divisé en 70/30 dans l’exemple, ça pourrait être un autre ratio à convenance …).
Merci Nicolas, c’est clair! Nouvelle question (de béotien), j’ai (tenté d’) optimisé(er) une stratégie avec plusieurs variables, en utilisant 5 périodes, en l’occurrence l’optimisation s’avère positive. J’obtiens donc pour chaque période les valeurs de mes variables optimisées. Quelles variables dois-je retenir? Celles de la dernière période ou??
Merci par avance
C’est la question pour laquelle je devrai recevoir un chèque pour chaque fois ou j’y ai répondu 🙂
C’est simple et logique. Puisque le WFA nous a permis de tester dans le passé nos périodes d’échantillons (période d’optimisation = IS) sur des périodes hors échantillons (période de test = OOS), il faudrait refaire la même chose si tu souhaites lancer ta stratégie demain par exemple, soit:
- Faire une optimisation de la même période que tes IS de ton test (d’aujourd’hui jusqu’à X périodes dans le passé)
- Choisir les périodes des variables optimisées de ce test et les implémenter dans le code de stratégie
- L’envoyer vers ProOrder pour qu’elle puisse travailler durant une période de trading correspondant à la même durée qu’une de tes OOS
- Recommencer au point 1/ à la fin de la période de trading (durée d’une période OOS de ton test initial)
