Le backtest est un moyen de vérifier l'efficacité d'une stratégie dans le passé. Cet outil fonctionne-t-il vraiment ?
Lorsque vous débutez dans le monde du trading, l'une des premières choses que vous apprenez est le concept de backtesting. C'est-à-dire qu'avant d'utiliser une stratégie, il est conseillé, voire indispensable, de vérifier les résultats de certaines règles dans les périodes précédentes. Nous appelons ces règles un système commercial ou simplement un système. Le concept lui-même, ou du moins l'idée, est très bon. Bien que cela nous paraisse désormais évident, cela ne l'a pas toujours été. D'ailleurs, aujourd'hui encore, il existe des commerçants ou des investisseurs qui préfèrent, par erreur ou par omission, confier leurs capitaux à l'avenir du destin.
Evidemment, chacun spécule avec son capital comme bon lui semble. Bien sûr, avec les moyens d'au moins un clic pour au moins essayer de vérifier, et avec une relative facilité, les retours qu'une stratégie a eus dans le passé, il semble pour le moins absurde de ne pas le faire.
Remarque : Nous omettons les parties d'une analyse qui ne sont pas quantifiables. Quelque chose qui arrive dans tous les types d'analyse. Il y a toujours quelque chose qui nous manque.
Les rendements passés ne garantissent pas les rendements futurs
Certains de ceux qui sont réticents à quantifier leurs stratégies, peuvent prétendre - et très bien argumenté - que les rendements passés ne garantissent pas les rendements futurs. Mais, gardant à l'esprit qu'ils ont raison, j'arrive toujours à la conclusion suivante : si vous ne pouvez pas assurer que ce qui a fonctionné continuera à fonctionner, qu'est-ce qui vous fait penser que ce qui n'a pas fonctionné fonctionnera maintenant. ça pourrait marcher ? Oui, mais cela ressemble plus à un acte de foi qu'à autre chose.
L'espoir est la dernière chose à perdre car, bien sûr, avant de le perdre, ce que vous perdrez sûrement, c'est votre capital.
Le backtest ne fonctionne pas non plus
Avec notre esprit fixé sur l'idée qu'un backtest est mieux que de se fier à l'astrologie, nous devons continuer à affiner afin de ne pas commettre les mêmes erreurs que de nombreux commerçants ont commises, font et, malheureusement, continueront de faire.
A ce stade, il faut mettre de l'huile sur toile pour affirmer qu'un backtest vaut mieux que de s'appuyer sur l'aléatoire de la destination, mais c'est loin d'être suffisant.
Pourquoi cela ne suffit-il pas ?
Un backtest suffit pour vérifier si, après avoir utilisé un certain système de trading dans le passé, nous aurions généré certains résultats. Mais l'outil s'arrête là. Le mot lui-même le dit, « Retour » (passé) et « test » (Preuve). En extrapolant, sans analyser davantage, certains résultats sont encore - quoique dans une moindre mesure - un autre acte de foi. Puisque par hasard il a pu continuer à fonctionner, et avoir trouvé un système qui fonctionne sans savoir pourquoi ni que cela fonctionne et vous ne savez pas jusqu'à quand. Cette façon de procéder de certains analystes quantitatifs contraste avec leur critique incessante de l'analyse technique. C'est-à-dire qu'ils critiquent quelque chose qu'eux-mêmes, inconsciemment, appliquent quotidiennement.
Qu'y a-t-il à analyser ?
En supposant qu'un système ait des paramètres fixes, il est nécessaire de vérifier sa validité dans différents environnements de marché. Même dans des environnements qui n'existent pas. Vérifiez comment un système aurait fonctionné dans des environnements à forte volatilité et à faible volatilité, avant et après des changements structurels, sur des marchés haussiers, baissiers et latéraux. Et ainsi nous pourrions continuer presque indéfiniment.
Si le système a des paramètres variables, ce qui arrive généralement dans la plupart des cas, nous ferons le même processus, mais en gardant à l'esprit que le système est modifiable et donc optimisable. Et, le fait même d'être optimisable le rend susceptible d'être sur-optimisé. Ce point est d'une importance vitale pour essayer d'obtenir des rendements stables dans le futur.
L'étape habituelle après avoir trouvé une stratégie qui a bien fonctionné dans le passé est d'essayer d'optimiser le modèle. Grosse erreur. Il faudrait d'abord le mettre en tension, ou ce que j'appelle stresser le système. Mettez-le au travail dans le pire environnement possible connu pour de tels systèmes. Ainsi, par exemple, si nous avons un système de tendance, il faudra le mettre en œuvre dans des périodes latérales prolongées pour voir comment il se comporte lorsqu'il n'y a pas de scénario favorable pour générer des rendements du système. La raison de ce qui précède est que nous ne savons pas ce qui se passera dans le futur, donc nous placer dans le pire scénario possible nous éloigne le plus possible du hasard inévitable (et souhaitable).
Que faire à part le stresser ?
Les concepts qui changent tout sont le test avancé et le test sur échantillon. Mais, si nous ne connaissons pas l'avenir, comment allons-nous tester quelque chose sur quelque chose que nous ne connaissons pas ? Nous avons deux options, que nous verrons bientôt. D'autre part, nous avons le concept de hors échantillon. Le choix de cet échantillon - dont je recommande qu'ils soient assez nombreux (pas un seul) et avec des distributions de probabilités qui présentent des caractéristiques disparates - est essentiel pour parvenir à un système qui fonctionne. L'idée est que le backtest et l'optimisation soient réalisés à des périodes différentes. Ainsi, les échantillons gratuits resteront. Bien que cela soit au goût de l'analyste. Cela peut se faire d'une autre manière mais on peut tomber dans des erreurs statistiques qui ne sont pas l'objectif de cet article.
- La première façon de mener à bien le processus est ce que nous appellerons traditionnel : nous fabriquons un système, nous l'optimisons et après avoir examiné quelques métriques, nous le mettons en œuvre avec de l'argent fictif ou avec peu d'argent réel. Si tout se passe bien, nous le mettons au travail en vrai.
- La deuxième façon de réaliser le processus est ce que nous appellerons « nouveau », bien qu'en réalité il ait peu de nouveautés : nous réalisons un système, nous l'optimisons, nous vérifions la stabilité des paramètres dans le temps, nous réalisons des des échantillons de tests, des tests avancés artificiels et nous l'avons mis en œuvre avec un véritable test avancé. Si tout se passe bien, nous le mettons au travail en vrai.
La seconde façon de procéder, par rapport à la première, repose sur deux concepts : la stabilité des paramètres dans le temps et les tests avancés artificiels. Les tests avancés artificiels ne sont pas un type de tests hors échantillon qui tentent de simuler un véritable test avancé. Pensons à ce qui suit :
Nous avons élaboré un processus pour un système au cours de la dernière année. Le mettre en œuvre de ce mois (juillet) à la fin de l'année (décembre) revient pratiquement à avancer tous les 6 mois et à simuler le test avancé de janvier à juillet. Ce n'est pas pareil, car les conditions réelles nous offrent toujours des situations difficiles à inventer, mais nous avançons plus loin et obtenons de meilleurs résultats. Et après ces « inventions », parce qu'elles sont en fait des inventions, nous avons effectué le test avancé en temps réel. C'est ce que j'entends par tests avancés artificiels. Certains peuvent ne pas l'aimer de cette façon, mais penser le contraire est mentalement biaisé. Si vous aviez découvert cette stratégie 6 mois plus tôt, vous auriez fait de même.
D'autre part, nous avons la stabilité des paramètres du système dans le temps. Pour moi, c'est la métrique la plus importante et elle nous dit si le système est sur-optimisé. Si les paramètres restent stables dans le temps après des optimisations toutes les X périodes, cela signifie que les paramètres sont moins susceptibles d'avoir été sur-optimisés que d'autres qui varient plus. Si à cela nous ajoutons que pour chacune des optimisations nous effectuons un test avancé artificiel et que les résultats sont également stables, nous sommes face à un système avec la probabilité d'être vraiment rentable.
Tout cela peut devenir beaucoup plus compliqué. Bien que cela semble complexe, il ne l'est pas. C'est lourd, mais c'est plus simple que le mécanisme d'une cruche. Comme toujours, chacun a sa façon de faire les choses, ce n'est pas la seule, mais ce que je voulais préciser c'est qu'un backtest sans compagnons de voyage est inutile et inutile. Au moins, bien sûr, dans le monde du commerce.
