Indicateurs statistiques de prédiction d'un algorithme en réel

Forums › ProRealTime forum Français › Support ProOrder › Indicateurs statistiques de prédiction d'un algorithme en réel

Viewing 15 posts - 1 through 15 (of 59 total)
1 2 3 4
  • 04/21/2020 at 6:01 PM #127310
    zilliq

    Bonjour à tous,

    J’avoue ne pas avoir su comment formuler ce sujet 🙂

    Quoi qu’il en soit je trouve qu’il est intéressant d’y réfléchir

    Comme d’autres ici cela fait des années et des années que je travaille sur les algorithmes de trading qui est ce que je trouve le plus passionnant

    Et l’un des éléments sur lesquels je travaille maintenant depuis pas mal de temps est la recherche des éléments et/ou indicateurs statistiques (MFE, MAE, SQN, STD, indics maison, Gain/perte, Ratios x ou y etc..) permettant de prévoir si les résultats obtenus dans un backtest ont une chance, ou non, d’être retrouvés en réel.

    En effet, certains backtests +/- en Walf forward (qui est le max de ce que permet PRT) donnent des résultats formidables (100 % de tardes gagnants sur plusieurs dizaines de trades, rations fabuleux etc..) et en réel les résultats sont catastrophiques. En effet, un backtest n’est ni plus ni moins qu’une régression linéaire des résultats en gros le meilleur chemin possible sur une série passée.

    Inversement, je me suis “amusé” à mettre en réel des algo pas fabuleux (Pas nuls, mais pas extraordinaires) qui donnent des résultats fantastiques

    Et pour avoir passés en revue depuis des années tout ce qui peut être passés en revue pour prédire  la meilleure corrélation possible entre backtest et réel je ne trouve rien de probant et j’en viens à me demander si un ou de tels indicateurs prévisionnels existent…

    J’ouvre donc cette discussion aux codeurs, ou non, pour connaitre leur expérience et savoir quels étaient pour eux les meilleurs indicateurs permettant de retrouver/prédire les résultats les plus proches entre un Backtest et un algo en réel même si bien sur le passé c’est le passé et le futur c’est le futur ?

    Très bonne fin de journée

    Zilliq

    1 user thanked author for this post.
    avatar bertrandpinoy
    04/21/2020 at 6:13 PM #127311
    zilliq

    Je commence par “m’auto-répondre” en vous donnant un élément intéressant et oh combien perturbant

    Dans certains cas comme je le disais backtest bons à très bons. Par ex en pièce jointe un algo basé sur des divergences : environ 90 % de trades gagnants, sur 150 trades, en une minute sur 3 semaines etc …

    Je mets l’algo en réel

    Bilan après 10 jours environ : Résultats catastrophiques en réel 🙂 Sur une dizaine de jours, Sur 53 positions, 66 % de trades gagnants seulement, un ratio gain/perte de 0,49, drawdown monstrueux et une courbe des gains qui ne fait que plonger…

    D’où une idée folle: Inverser l’algo ! = prendre un achat lorsqu’il y avait une vente et inversement. Madness !

    Bilan en pièce jointe : Excellents résultats ! Sur 44 positions 88 % de trades gagnants, ratio gain/perte de 2, drawdown mini etc…

    Si ça ce n’est pas perturbant …

    Moralité : Les indicateurs stats étaient au vert foncé, le réel a donné des résultats catastrophiques

    MAIS a donné un résultat en réel bien meilleur en total illogisme en inversant les conditions

    A suivre …

    04/21/2020 at 6:44 PM #127316
    zilliq

    Un très bel article sur le sujet, sur 888 algorithmes !

    https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2745220

    Apparemment c’est un sujet qui passionne les foules

    🙂

    04/21/2020 at 6:50 PM #127317
    zilliq

    Conclusion de cette très belle et très grande étude :

    “Very impressive study of 888 trading algorithms developed by Quantopian users reveals the most important features for predicting Sharpe ratio out-of-sample as determined by a Random Forest regressor: tail-ratio [defined below], Sharpe ratio in-sample over a year, number of backtest days, kurtosis, and skewness.”

    Votre avis ?

    04/21/2020 at 7:55 PM #127325
    Florian

    salut @zilliq,

    Interessant ! Il y a une stratégie qui s’appelle soupe de tortues ! Faire l’inverse ! Et les résultats sont intéressants.

    j’essaye de travailler de plus en plus sur des stratégies que j’optimise le moins possible.

    Tu travail sur des stratégies sur quels indices ?

    À +

    Florian

    04/22/2020 at 8:38 AM #127394
    zilliq

    Je code des algo essentiellement sur le forex qui présente différents avantages

    La stratégie n’a en soit quasi aucune importance car il est très “facile” d’obtenir un très bon backtest avec n’importe quelle stratégie

    1 user thanked author for this post.
    avatar MAKSIDE
    04/22/2020 at 12:33 PM #127439
    MAKSIDE
    zilliq wrote:

    Et l’un des éléments sur lesquels je travaille maintenant depuis pas mal de temps est la recherche des éléments et/ou indicateurs statistiques (MFE, MAE, SQN, STD, indics maison, Gain/perte, Ratios x ou y etc..) permettant de prévoir si les résultats obtenus dans un backtest ont une chance, ou non, d’être retrouvés en réel.

    Salut

    Il en ressort quoi pour l’instant ? sur MFE, MAE, j’ai déjà essayé, rien de probant…

    Sur SQN, sur une base de 100 trades, quelle action tu entreprends suivant la valeur trouvée de la tendance ?

    Et de manière générale, qu’adoptes tu comme stratégie suivant le retour de tes indicateurs ?

    04/22/2020 at 4:21 PM #127477
    fifi743

    bonjour @zilliq

    vous avez lu ce site ? https://www.quantopian.com

    ce que j’aime c’est tout ce qu’on peut écrire en python.

    04/22/2020 at 4:39 PM #127481
    Nicolas

    Le marché actuel n’a rien à voir avec celui-ci avant crise. Qui, ces jours-ci s’étonnent d’un range de 3% sur un indice ? Il n’y a qu’à appliquer un ATR ou un ADR sur un graphique daily pour constater que l’efficience des stats d’hier ne colleront plus.. on est très loin de l’écart type 😆

    Ceci étant, je ne crois pas au modèle statistique pour déterminer la probabilité de réussite d’un algorithme. Un ratio de sharpe (ou tout autre ratio) d’un backtest est lui aussi calculé sur le IS et donc biaisé. Pour moi, hormis des tests de robustesse WF et des tirages aléatoires type analyse Monte Carlo, je ne vois que ça à disposition. Bien sûr une analyse WF testée sur des données OOS ne peut pas non plus prédire avec certitudes un nouveau virus qui aura pour conséquence de rendre le prix du pétrole négatif, et cela n’est qu’un exemple 🙂

    Mais je comprends tout à fait la démarche et le besoin d’un “débat”, mon avis n’est pas celui partagé par tout le monde, c’est sûr 🙂

    04/22/2020 at 4:46 PM #127488
    zilliq
    fifi743 wrote:

    bonjour @zilliq

    vous avez lu ce site ? https://www.quantopian.com

    ce que j’aime c’est tout ce qu’on peut écrire en python.

    Comme je le disais, pour le moment rien de très probant. Plus il y a d’indicateurs, statistiques ou non, plus cela complique, mais on ne peut pas vraiment parler de corrélation

    04/22/2020 at 4:47 PM #127490
    zilliq
    Nicolas wrote:

    Le marché actuel n’a rien à voir avec celui-ci avant crise. Qui, ces jours-ci s’étonnent d’un range de 3% sur un indice ? Il n’y a qu’à appliquer un ATR ou un ADR sur un graphique daily pour constater que l’efficience des stats d’hier ne colleront plus.. on est très loin de l’écart type 😆

    Ceci étant, je ne crois pas au modèle statistique pour déterminer la probabilité de réussite d’un algorithme. Un ratio de sharpe (ou tout autre ratio) d’un backtest est lui aussi calculé sur le IS et donc biaisé. Pour moi, hormis des tests de robustesse WF et des tirages aléatoires type analyse Monte Carlo, je ne vois que ça à disposition. Bien sûr une analyse WF testée sur des données OOS ne peut pas non plus prédire avec certitudes un nouveau virus qui aura pour conséquence de rendre le prix du pétrole négatif, et cela n’est qu’un exemple 🙂

    Mais je comprends tout à fait la démarche et le besoin d’un “débat”, mon avis n’est pas celui partagé par tout le monde, c’est sûr 🙂

    Oui je connais, je pense que l’article sus-cité viens de ce site. C’est clair que c’est un site qui envoie, mais avec nos “petits” moyens sur PRT c’est très compliqué (Un backtest un peu trapu sur 20000 bougies seulement c’est plus d’une heure sur un Core i7 …)

    04/22/2020 at 4:51 PM #127491
    Nicolas

    Le type de processeur de ta machine ne changera rien au temps d’attente pour restituer un backtest. Comme tu le sais, ils sont faits server-side, et actuellement, les files d’attentes sur les serveurs sont très long .. Il y a plus du quadruple de nouveaux utilisateurs chaque jour qui installe la plateforme par rapport à une période “ordinaire” !

    1 user thanked author for this post.
    avatar zilliq
    04/22/2020 at 4:58 PM #127494
    zilliq

     

    zilliq wrote:

    Conclusion de cette très belle et très grande étude :

    “Very impressive study of 888 trading algorithms developed by Quantopian users reveals the most important features for predicting Sharpe ratio out-of-sample as determined by a Random Forest regressor: tail-ratio [defined below], Sharpe ratio in-sample over a year, number of backtest days, kurtosis, and skewness.”

    Votre avis ?

    Bon dans  cette recherche de quels éléments d’un backtest peuvent prédire le comportement en réel (Si tant est que cela soit possible, car accessoirement c’est ce que l’on appellerait le “Graal”), je me suis couché à 2 heures du mat et encore pas mal de boulot aujourd’hui pour essayer d’appliquer la conclusion de ce très article sur un algo

    J’ai donc pris une stratégie, peu importante laquelle, cela n’a pas d’importance, fait tourner un backtest sur 21600 bougies = number of backtest days, et choisi celui avec le meilleur kurtosis, il est de 3,2 et un Skeviness de -1.4. Pas idéal mais impossible de faire mieux si on veut tout prendre ne considération. 95 % de trades gagnants sur le backtest, ratio gain/perte de 7.59, 21 trades (c’est peu mais c’est le meilleur compromis qui est ressorti) et un dd/runup de 5.4, MFE/MAE pas top mais bon. J’ai mis en réel aujourd’hui et on ramassera les copies dans une semaine pour voir si ces 3 éléments sont “éventuellement” intéressants. J’ai voulu coder le tail-ratio, mais le backtest prenait alors 1000 ans alors j’ai capitulé sur ce point.

    A voir donc ce que cela va donner

    Je laisse la porte ouverte, si vous avait un avis sur le meilleur élément/indicateur de corrélation backtest/réel pour vous (D’accord avec Nicolas le WF est intéressant (Monte carlo impossible sur PRT mais cela dure des siècles à faire tourner aussi sur la v11). Une chose est sur, plus on cherche le meilleur compromis entre différents indicateurs probabilistes moins on trouve de “bons” candidats

    Zilliq

     

    04/22/2020 at 5:25 PM #127506
    Nicolas

    Pour info, il y a aussi cet utilitaire de Vonasi sous Excel, très intéressant pour qui s’y attarde : https://www.prorealcode.com/topic/day-month-year-strategy-robustness-tester/

    04/22/2020 at 8:58 PM #127523
    zilliq
    Nicolas wrote:

    Pour info, il y a aussi cet utilitaire de Vonasi sous Excel, très intéressant pour qui s’y attarde : https://www.prorealcode.com/topic/day-month-year-strategy-robustness-tester/

    Merci Nicolas. J’ai regardé, travail très intéressant mais pas sûr que cela permette une corrélation et mathématiquement je pense que sur plusieurs milliers de résultats et sachant que PRT les classe on doit se retrouver régulièrement avec ce type de pente ascendante

    Passe une bonne soirée

    Zilliq

  • Author
    Posts
Viewing 15 posts - 1 through 15 (of 59 total)
1 2 3 4

Find exclusive trading pro-tools on ProRealCode Marketplace

Similar topics:
coloration d’un indic1 en fonction de la valeur d’un indic2
actualisation en temps réel d’un canal de regression
caracteristiques d’un bon logiciel d’autotrading
indicateur de % d’actions d’un marché > ou < à une mm
passage d’un ordre à l’ouverture d’une bougie
temps d’éxécution initial d’un indicateur
affichage données d’un indicateur dans échelle graphique
affichage sur prix d’un autre graphique
afficher sur nouveau panneau du prix/couleur d’un autre graphique prix
aide à la programmation d’un stop suiveur sur action

Create your free account now and post your request to benefit from the help of the community
Register or Login