Jak zmierzyć skuteczność systemu

Jak porównywać systemy inwestycyjne, jeśli nie dotyczą one tego samego instrumentu lub czasu? Pomocna może okazać się tzw. oczekiwana skuteczność, która stanowi uniwersalne kryterium oceny strategii.

Pierwszym krokiem koniecznym do obliczenia oczekiwanej skuteczności jest przetestowanie danej strategii na danych historycznych, w możliwie najdłuższym okresie. Kiedy już uzyskamy wyniki takiego badania, możemy przystąpić do opisanych poniżej, niezbyt skomplikowanych kalkulacji.

Prześledźmy sposób obliczania oczekiwanej skuteczności na przykładzie systemu inwestycyjnego dającego sygnał kupna w momencie, gdy kurs znajdzie się powyżej średniej kroczącej z 50 sesji, oraz sygnał sprzedaży, gdy kurs spadnie poniżej tej samej średniej. Badając ten system na wykresie kontynuacyjnym kontraktów futures na WIG20 od początku notowań, otrzymujemy następujące wyniki:

- całkowity zysk - 1205 punktów,

- liczba transakcji - 39,

- liczba udanych transakcji - 14 (36%),

- liczba nieudanych transakcji - 25.

Najlepsza operacja dała 776 pkt zysku, najgorsza zaś 114 pkt straty.

Wśród nieudanych transakcji było 10 takich, które przyniosły stratę nie przekraczającą 30 pkt. Możemy uznać tę wartość za "typową" minimalną stratę. Na tej podstawie pogrupujemy teraz wszystkie transakcje zyskowne i stratne w przedziały o szerokości właśnie 30 pkt. Przykładowo, w przedziale zysku 30-60 pkt znalazły się trzy operacje.

Widzimy już, jaki był rozkład wyników. Niemal całe zyski pochodziły zaledwie z kilku transakcji, co jest typowe dla systemów podążających za trendem. Silne ruchy kursów przychodzą często raz na kilka lat, a "przegapienie" sygnałów kupna może przekreślić szanse na zyski. Z kolei większość strat mieściła się w średnim przedziale wartości. Już sam rozkład wyników może być bardzo przydatny. Jeśli pojawia się niepokojąco dużo strat w górnych przedziałach, wskazuje to, że prawdopodobnie można wprowadzić pewne ulepszenia do zasad systemu.

Kolejny krok polega na obliczeniu prawdopodobieństwa, że transakcja znajdzie się w danym przedziale. Skoro np. w przedziale 30-60 zmieściło się 12 stratnych operacji, a wszystkich transakcji było ogółem 39, to prawdopodobieństwo wynosi: 12/39 = 0,3077.

Do obliczenia oczekiwanej skuteczności konieczne jest też jeszcze przedstawienie wartości przedziałów w innej formie. Górną granicę danego zakresu dzielimy przez 30, czyli "typową" stratę. Np. przekształcając przedział 30-60 w ten sposób, otrzymujemy: 60/30 = 2. Podobnie przeliczamy wszystkie inne zakresy. Usuwamy jedynie wartości, które uznaliśmy za nieistotne (nie mają one większego wpływu na całkowite wyniki).

Teraz przychodzi wreszcie czas na obliczenie oczekiwanej skuteczności - mamy już wszystkie potrzebne do tego dane. Wzór jest następujący: oczekiwana skuteczność = dodatnia składowa - ujemna składowa.

Żeby obliczyć dodatnią składową, musimy najpierw przemnożyć odpowiednie wartości wypłaty z tabeli 2 przez ich prawdopodobieństwa, a następnie zsumować wyniki. Czyli:

dodatnia składowa = (1 x 0,051) + (2 x 0,077) + (4 x 0,077) + (5 x 0,026) + (12 x 0,051) + (26 x 0,026) = 1,931.

Ujemna składowa = (1 x 0,205) + (2 x 0,308) + (3 x 0,051) + (4 x 0,026) = 1,078.

Oczekiwana skuteczność = 1,931 - 1,078 = 0,853.

Wynik ten można zinterpretować następująco: na każde zaryzykowane 100 zł system przynosi 85,3 zł zysku. Zaleca się, aby oczekiwana skuteczność była większa od 0,5 - wówczas na dłuższą metę mamy szansę zarabiać pieniądze.

Oczekiwana skuteczność łączy elementy, które same w sobie nie nadają się do oceny systemu: trafność (udział zyskownych transakcji) oraz relację zysków do strat. Może się okazać, że system dający więcej poprawnych sygnałów będzie słabszy niż inna strategia, która ma co prawda mniejszą trafność, ale generuje większe zyski. Sytuacja taka znajduje odzwierciedlenie właśnie w oczekiwanej skuteczności. n

Pojęcie oczekiwanej skuteczności znaleźć można w książce "Giełda, wolność i pieniądze" Vana K. Tharpa.

Symulator wyników systemu

Na stronie internetowej www.hquotes.com/tradehard/simulator.html znaleźć można symulator wyników systemu. Na podstawie dwóch parametrów: dotychczasowej trafności (Win. Prob.) oraz stosunku przeciętnego zysku do przeciętnej straty (Win/Loss), program ten losowo generuje ok. 450 kolejnych transakcji i rysuje linię kapitału. Na podstawie kształtu tej krzywej możemy już wysnuć pewne wnioski co do określonego systemu. Jeśli linia kapitału jest mocno "poszarpana", prawdopodobnie w przyszłości będziemy narażeni na duże obsunięcia. W przypadku naszego systemu trafność wyniosła 0,36, stosunek zysków do strat zaś - 4,13. Jak łatwo sprawdzić, linia kapitału stopniowo rośnie, co potwierdza wnioski wynikające z oczekiwanej skuteczności.