A backtest a múltbeli stratégia hatékonyságának ellenőrzésére szolgál. Valóban működik ez az eszköz?
Amikor elindulsz a kereskedés világában, az egyik első dolog, amit megtanulsz, az a backtest fogalma. Vagyis a stratégia használata előtt tanácsos, ha nem is elengedhetetlen, ellenőrizni bizonyos szabályok eredményeit az előző időszakokban. Ezeket a szabályokat kereskedési rendszernek vagy egyszerűen rendszernek hívjuk. Maga a koncepció, vagy legalábbis az ötlet nagyon jó. Bár most nyilvánvalónak tűnik számunkra, nem mindig volt az. Sőt, ma is vannak kereskedők vagy befektetők, akik tévedésből vagy mulasztásból inkább a tőkéjüket a sors jövőjére bízzák.
Nyilván mindenki tőkéjével spekulál, ahogy jónak látja. Természetesen legalább egy kattintással elérhető eszközökkel legalább megpróbálja ellenőrizni, és viszonylag könnyedén megtérülhet egy stratégia múltbeli hozama, legalábbis abszurdnak tűnik, ha ezt nem teszi meg.
Megjegyzés: Az elemzés azokat a részeit kihagyjuk, amelyek nem számszerűsíthetők. Valami, ami minden típusú elemzésnél előfordul. Mindig van valami, ami hiányzik.
A múltbeli hozamok nem garantálják a jövőbeni hozamokat
Néhányan, akik vonakodnak számszerűsíteni stratégiájukat, állíthatják - és nagyon jól érvelnek -, hogy a múltbeli hozamok nem garantálják a jövőbeni hozamokat. De szem előtt tartva, hogy igazuk van, mindig a következő következtetésre jutok: ha nem tudod biztosítani, hogy ami működött, az továbbra is működni fog, mi készteti arra, hogy most működj, ami nem működött. Ez működhet? Igen, de ez inkább hitbeli cselekedetnek tűnik, mint bármi másnak.
A remény az utolsó elveszett dolog, mert természetesen annak elvesztése előtt biztosan elveszíti a tőkéjét.
A háttérvizsgálat sem működik
Ha arra gondolunk, hogy a háttérvizsgálat jobb, mint az asztrológiára támaszkodni, folytatnunk kell a finomítást, hogy ne kövessük el ugyanazokat a hibákat, amelyeket sok kereskedő követett el, és sajnos továbbra is elkövet.
Ezen a ponton olajat kell vászonra helyezni, hogy megerősítsük, hogy a háttérteszt jobb, mint az úticél véletlenszerűségére támaszkodni, de korántsem elégséges.
Miért nem elég?
A háttérpróba elegendő annak ellenőrzésére, hogy egy bizonyos kereskedési rendszert a múltban használva generáltunk volna-e bizonyos eredményeket. De az eszköz ezzel véget ér. Maga a szó ezt mondja: „Vissza” (múlt) és „teszt” (Bizonyítás). Extrapolálva, anélkül, hogy tovább elemeznénk, néhány eredmény még mindig - bár kisebb mértékben - egy másik hitbeli cselekedet. Mivel véletlenül működhetett tovább, és talált egy olyan rendszert, amely működik anélkül, hogy tudná, miért vagy miért működik, és nem tudja, hogy mikor. Néhány kvantitatív elemző eljárásának ez a módja ellentétben áll a technikai elemzés szüntelen kritikájával. Vagyis kritizálnak valamit, amit ők maguk, öntudatlanul, naponta alkalmaznak.
Mit lehet elemezni?
Feltéve, hogy egy rendszernek rögzített paraméterei vannak, ellenőrizni kell érvényességét a különböző piaci környezetekben. Még olyan környezetekben is, amelyek nem léteznek. Ellenőrizze, hogyan működött egy rendszer nagy volatilitású, alacsony volatilitású környezetben, a strukturális változások előtt és után, a bullish, a bearish és az laterális piacokon. És így folytathatnánk szinte a végtelenségig.
Ha a rendszernek változó paraméterei vannak, ami általában a legtöbb esetben megtörténik, ugyanazt a folyamatot fogjuk megtenni, de szem előtt tartva, hogy a rendszer módosítható és ezért optimalizálható. Az optimalizálhatóság ténye pedig hajlamos a túloptimalizálásra. Ez a pont létfontosságú annak érdekében, hogy a jövőben stabil hozamot érjünk el.
A múltban jól működő stratégia megtalálása után a szokásos lépés a modell optimalizálása. Nagy hiba. Először feszültségbe kellene helyeznie, vagy amit én a rendszer hangsúlyozásának hívok. Használja az ilyen rendszerek számára ismert legrosszabb környezetben. Így például, ha trendrendszerünk van, akkor szükséges, hogy hosszabb oldalsó periódusokban működjön, hogy lássuk, hogyan viselkedik, ha nincs kedvező forgatókönyv a rendszerből származó hozam generálására. A fentiek oka az, hogy nem tudjuk, mi fog történni a jövőben, ezért a lehető legrosszabb forgatókönyvbe helyezve magunkat a lehető legtávolabb kerüljük az elkerülhetetlen (és kívánatos) véletlenszerűségtől.
Mi a teendő azon kívül, hogy kihangsúlyozza?
A mindent megváltoztató fogalmak előretekintés és mintán kívüli tesztelés. De ha nem ismerjük a jövőt, hogyan fogunk tesztelni valamit arról, amit nem ismerünk? Két lehetőségünk van, amelyeket hamarosan látni fogunk. Másrészt megvan a mintán kívüli koncepció. Ennek a mintának a megválasztása - amelyet javasolok, hogy jó néhány legyen (ne csak egy), és valószínűségi eloszlásokkal, amelyek eltérő jellemzőkkel rendelkeznek - elengedhetetlen a működő rendszer eléréséhez. Az elképzelés az, hogy a backtestet és az optimalizálást különböző időszakokban hajtják végre. Így az ingyenes minták megmaradnak. Bár ez az elemző ízlésének felel meg. Meg lehet csinálni más módon is, de olyan statisztikai hibákba eshetünk, amelyek nem a cikk célja.
- A folyamat végrehajtásának első módja az, amit hagyományosnak fogunk nevezni: Készítünk egy rendszert, optimalizáljuk, és néhány mutatót megnézve fiktív pénzzel vagy kevés valódi pénzzel működtetjük. Ha minden jól megy, akkor valósul meg.
- A folyamat végrehajtásának második módja az, amit „újnak” fogunk nevezni, bár a valóságban ennek kevés újja van: Rendszert futtatunk, optimalizálunk, idővel ellenőrizzük a paraméterek stabilitását, mintatesztek, mesterséges előrehaladási tesztek, és valódi előretekintéssel dolgoztuk. Ha minden jól megy, akkor valós életbe léptetjük.
A folytatás második módja az elsőhöz képest két koncepción alapszik: a paraméterek stabilitása az időben és a mesterséges előre tesztek. A mesterséges előrehaladási tesztek nem olyan mintán kívüli tesztek, amelyek egy igazi előretekintést próbálnak szimulálni. Gondoljunk a következőkre:
Az elmúlt évben elvégeztünk egy folyamatot egy rendszer számára. Ennek a hónapnak (júliustól) az év végéig (decemberig) működtetése gyakorlatilag megegyezik azzal, hogy mind a 6 hónapot előre lépjük, és a januártól júliusig tartó előre tesztet szimuláljuk. Ez nem ugyanaz, mert a valós körülmények mindig nehéz helyzeteket kínálnak fel nekünk, de tovább haladunk és jobb eredményeket érünk el. És ezek után a „találmányok” után, mivel valójában találmányok, valós időben végrehajtottuk az előre történő tesztet. Ezt értem mesterséges előre teszteken. Lehet, hogy egyeseknek ez így nem tetszik, de az ellenkező gondolkodás mentálisan elfogult. Ha 6 hónappal korábban fedezte volna fel ezt a stratégiát, akkor ugyanezt tette volna.
Másrészt a rendszer paramétereinek stabilitása idővel megvan. Számomra ez a legfontosabb mutató, és megmondja, hogy a rendszer túloptimalizált-e. Ha a paraméterek minden idõszakban az optimalizálást követõen stabilak maradnak, ez azt jelenti, hogy a paraméterek kevésbé valószínûleg lettek túloptimalizálva, mint mások, amelyek jobban változnak. Ha ehhez hozzátesszük, hogy az egyes optimalizálásokhoz mesterséges előre tesztet hajtunk végre, és az eredmények is stabilak, akkor egy olyan rendszerrel nézünk szembe, amelynek valószínűsége valóban nyereséges lesz.
Mindez sokkal összezavarodhat. Bár összetettnek tűnik, nem az. Nehéz, de egyszerűbb, mint a kancsó mechanizmusa. Mint mindig, mindenkinek megvan a maga módja a dolgok elvégzésére, ez nem az egyetlen módja, de amit világossá akartam tenni, az az, hogy az utastárs nélküli backtest haszontalan és haszontalan. Legalábbis természetesen a kereskedés világában.
