Trading System Evaluation Metrics

Wenn Sie die Leistung eines Handelssystems zu sehen, wie Sie wissen, it8217s gut Wie Sie wissen, it8217s das richtige System für Sie Viele Menschen schauen einfach auf den Nettogewinn unter der Annahme des Systems Mit dem mehr Gewinn muss das bessere System sein. Das ist oft weit weg von einer guten Idee. Beim Vergleich von Handelssystemen während des Entwicklungsprozesses oder beim Vergleich von Systemen vor dem Kauf, ist es schön, einige Metriken zur Hand zu haben, die es Ihnen erlauben, das System entweder mit einer hypothetischen Benchmark oder mit einem anderen System zu vergleichen. Es gibt keine einzelne Kerbe, die Sie verwenden können, die für jeder arbeitet, da wir alle einzigartige Risikotoleranzen und Definitionen auf haben, was wir handelbar betrachten. Ebenso sind nicht alle Scoring-Systeme gleich oder unter allen Umständen. Allerdings in diesem Artikel I8217m gehen, um über meine bevorzugten Methoden zu punkten und Rang-Trading-Systeme zu sprechen. Dies sind meine wichtigsten Systemleistungskennzahlen, die ich während des Systementwicklungsprozesses verwende. Anzahl der Trades Jedes Trading-System sollte eine 8220significant8221 Anzahl der Trades. Was ist signifikant Nun, das variiert. Für eine Swing-System, das nicht mehr als 10 Trades pro Jahr, mit 100 Trades ist gut. Dies entspricht etwa 10 Jahren historischer Tests. Da ein gegebenes Handelssystem beginnt, mehr Handel pro Jahr zu produzieren, würde ich erwarten, mehr Trades zu sehen, die während Backtesting benutzt werden. Profit-Faktor Während der Nettogewinn ein Faktor bei Ihrer Entscheidung über ein bestimmtes Handelssystem sein kann, ist der Gewinnfaktor nach meiner Meinung oft noch wichtiger. Profitfaktor misst die Effizienz Ihres Handelssystems. Der Gewinnfaktor wird errechnet, indem das erzielte Ergebnis durch die generierten Verluste dividiert wird. Ein Gewinnfaktor von 1,5 bedeutet für alle zwei Dollar verloren, drei Dollar gewonnen werden (3 Sieg 2 verloren 1,5). Offensichtlich eine Zahl über 1.0 bedeutet, dass Sie Geld verdienen. Ich mag einen Profitfaktor von 1,5 oder höher zu sehen. Durchschnittlicher Profit pro Handel Wie Profitfaktor, der durchschnittliche Profit pro Handel sagt mir, wenn ein System genug Geld für jeden Handel macht. Bei der Gestaltung eines Handelssystems mag ich gern einen durchschnittlichen gewinnbringenden Handel über 50, bevor Provisionen und Rutschungen auf ein absolutes Minimum abgezogen werden. Wenn der durchschnittliche Nettogewinn über 50 mit Provisionen und Slippage abgezogen wird, ist das noch besser. Je höher der durchschnittliche Profit je Handel, desto besser. Percent Winning Trades I don8217t folgen dies zu viel. Ich merke es, aber es ist nicht alles, was für mich wichtig ist. Der prozentuale Gewinntrading ist einfach die Anzahl der Trades, die einen positiven Nettogewinn geteilt durch alle Trades generiert haben. Dieser Faktor kann wichtig sein, wenn Sie eine große Reihe von Verlierern haben wollen. Zum Beispiel können oft längere Tendenz nach Systemen sehr profitabel sein, aber nur eine Gewinnrate von 40 oder weniger haben. Können Sie viele verlieren Trades vielleicht Sie sind nur komfortabel mit Systemen, die dazu neigen, mehr gewinnende Trades produzieren als verlieren Trades. Wenn ja, dann ein System mit einer Gewinnrate von 60 oder höher wäre besser für Sie. Prozent der Gewinner Trades ist ein psychologischer Toleranzindikator, der zwischen den Menschen variieren wird. Compounded Annual Growth Rate (CAGR) Dies beschreibt das Wachstum, als wäre es eine stetige, feste Rendite. Offensichtlich ist dies nicht passieren, wenn der Handel als Ihr Handelssystem produziert eine gezackte Equity-Kurve im Laufe der Zeit. Allerdings ist dies ein Weg, um Ihre Rendite über die gleiche Handelsphase zu glätten. Let8217s sagen, Ihr Handelssystem produziert eine 5 CAGR über einen Zeitraum von 10 Jahren. Im gleichen Zeitraum haben Sie eine Bank-CD, die auch eine 5-Rendite über den gleichen Zeitrahmen ergibt. Macht dies die CD zu einer besseren Investition Vielleicht. Eine Sache, zum im Verstand zu halten ist dieses: die CAGR Berechnung berücksichtigt nicht die Zeit, die Ihr Geld an der Gefahr ist. Zum Beispiel, während das Handelssystem kann 5 CAGR über 10 Jahre, Ihr Geld ist nur aktiv auf dem Markt für einen Bruchteil der Zeit. Die meisten der Zeit it8217s Sitzung Leerlauf in Ihrem Brokerage-oder Futures-Konto wartet auf das nächste Handelssignal. CAGR berücksichtigt nicht die Zeit, in der Ihr Geld gefährdet ist. Denken Sie daran, eine 5 Rückkehr in die CD ist nur realisiert, wenn Ihr Geld weg 100 der Zeit gesperrt ist. Mit unserem Beispielhandelssystem wird unser Bargeld auch für andere Instrumente freigegeben. Risk Adjusted Return (RAR) Diese Berechnung berücksichtigt die Zeit, in der Ihr Geld am Markt gefährdet ist. Dies geschieht, indem die CAGR und dividiert durch Exposition. Exposure ist der Prozentsatz der Zeit (über den Testzeitraum), dass Ihr Geld aktiv auf dem Markt war. Ich mag einen Wert von 50 oder besser zu sehen. Maximale Intraday Drawdown und die Equity-Kurve Wie groß sind die Drawdowns Kann ich geistig behandeln solch ein Drawdown Daran schaue ich auch die Form der Equity-Kurve. Klettert es mit flachen Pullbacks oder hat es steile Pullbacks Gibt es lange ausgedehnte Perioden ohne neue Equity-Hochs Idealerweise sollte die Eigenkapitalkurve steigen, wie die Zeit vergeht und schafft neue Aktienhöhen mit flachen Pullbacks. Dies ist eine Sie don8217t sehen viel von. Der t-Test ist ein statistischer Test, der verwendet wird, um festzustellen, wie wahrscheinlich die Ergebnisse Ihres Trading Systems durch Zufall allein aufgetreten sind. Sie möchten einen Wert größer als 1,6 anzeigen, der anzeigt, dass die Handelsergebnisse eher nicht auf dem Zufall beruhen. Jeder andere Wert unten zeigt an, dass die Handelsergebnisse auf dem Zufall basieren könnten. Der t-Testwert sollte mit nicht weniger als 30 Trades berechnet werden. Unten ist die t-Test-Berechnung. T Quadratwurzel (Anzahl der Trades) (durchschnittlicher Profit pro Trade Trade Standardabweichung von Trades) Erwartung Erwartung ist ein Konzept, das beschrieben wurde in Van Tharps Buch 8220Trade Ihr Weg zur finanziellen Freiheit 8220. Die Erwartung sagt Ihnen im Durchschnitt, wie viel Sie erwarten zu machen Pro Dollar in Gefahr. Die Erwartung kann auch ein Wert sein, den Sie optimieren, wenn Sie verschiedene Strategieeingabekombinationen testen. Während die Berechnung der wahren Erwartung eines Handelssystems ist jenseits dieses Artikels, kann es mit der folgenden einfachen Formel geschätzt werden. Erwartete durchschnittliche Nettogewinn pro Handel Durchschnittliche Verlust des Handels in Dollar Für diejenigen, die nicht vertraut mit Mathematik, die vertikalen Linien um die 8220Average verlieren Handel in Dollar8221 zeigt den absoluten Wert verwendet werden sollte. Dies bedeutet einfach, wenn die Zahl ein negativer Wert ist, lassen wir das negative Vorzeichen fallen, wodurch der Wert positiv wird. Erwartungswert Dieser Wert ist ein annualisierter Erwartungswert, der eine objektive Zahl erzeugt, die beim Vergleich verschiedener Handelssysteme verwendet werden kann. Im Wesentlichen die Erwartungswert Faktoren in 8220opportunity8221 in den Wert, indem sie berücksichtigen, wie häufig das gegebene Handelssystem produziert Trades. Auf diese Weise können Sie sehr unterschiedliche Handelssysteme vergleichen. Je höher die Erwartung, desto rentabler ist das System. Erwartungswert Erwartung Anzahl der Trades 365 Anzahl der Strategiehandelstage Schlussfolgerung Mit den oben genannten Werten können wir ein anständiges Bild über die Funktionsweise des Systems erhalten. Es gibt natürlich auch andere Werte, die man auswerten könnte, und noch mehr können Sie tun, wie das Bestehen der historischen Trades durch einen Monte-Carlo-Simulator. Aber diese Werte, die in diesem Artikel diskutiert werden, sind die wichtigen Werte, die ich beim Entwerfen eines Systems oder bei der Bewertung eines Fremdhandelssystems verwende. November 26, 2012 6:27 am Sie setzen richtig 8220number von trades8221 an der Spitze Ihrer Liste, da alle anderen Metriken von der Gültigkeit Ihres Beispiels abhängen. Leider scheinen Sie, einer Linie der Argumentation (wie viele andere tun) zu folgen, die ich glaube, um falsch zu sein: das gibt Bedeutung der Länge der Zeitspanne, dass die Probe von abgeleitet wird. Sie argumentierten, dass 100 Trades gut sind, wenn sie 10 Jahre abdecken. Nun, 100 Trades sind 100 Trades unabhängig von der Zeitspanne. Also die wichtige Frage ist, ob eine Probe von 100 Gültigkeit hat oder nicht. Für eine Augenöffnung lese ich dringend weiter: Kahneman, 8220Thinking Fast And Slow8221, pg. 109ff Der Punkt, den er macht, ist, dass kleine Proben leicht von (seltenen) Ausreißern beeinflusst werden können. Dieser Effekt wird in keiner Weise einfach reduziert, weil Ihre Probe einen längeren Zeitraum umfasst. Als Beispiel: Wie gültig sind System-Ergebnisse auf 1000 Jahre Handwerk Sehr gut, was ist, wenn die Regeln den großen Aktienindex am Ende zu kaufen sind Des letzten Tages des Jahrhunderts und verkaufen auf der offenen am nächsten Tag Das würde Ihnen eine satte 10 Trades, um Ihre Analyse auf Basis. Nun, wie gültig ist, dass So, wie können wir mit dem Ausreißer Problem Mein Vorschlag ist es, wegzuschneiden die Top-x der Ihre Gewinne Trades (5-10 erscheint mir vernünftig) und untersuchen, wie viel Ihre Leistung verschlechtert (gemessen durch welche Metriken Sie wollen bestätigen). Dies nennt man eine Sensitivitätsanalyse und zeigt Ihnen, wie viel Ihre Gesamtleistung auf ein paar große Trades (wahrscheinlich Ausreißer, die nicht wiederholen wird so viel oder überhaupt in der Zukunft) beruht. Eine zweite Methode ist der t-Test, den Sie erwähnt haben. Der einzige Unterschied, den ich machen würde, ist, es auf dem risikoadjustierten Gewinn (oder Verlust) pro Handel anzuwenden, nicht auf dem absoluten PL. Grundsätzlich teilen Sie das Ergebnis (in Höhe von Dollar) durch das Risiko, wie durch die Anfangsstopp definiert (auch in Höhe von Dollar). Aus diesen Zahlen berechnen Sie dann den Mittelwert und die Standardabweichung, die in die oben dargestellte Formel übergehen. Wie auch immer, versuchen Sie, eine Kopie des Buches, die ich dringend empfehlen, um alle Händler zu bekommen. Ich würde im Allgemeinen mit dem, was Sie sagen, über Stichprobenumfang zustimmen, und eine Frage, die ich an Jeff zu adressieren war Ob, wie die meisten statistischen Verfahren, die auf die Analyse von Marktdaten übertragen werden, eine größere Stichprobengröße als 10 nicht für den T-Test erforderlich ist. Hinsichtlich Ihres Vorschlags über ob (8220cut weg die Spitze x von Ihrem gewinnenden trades8221), ist dies nicht abhängig von Die Art der fraglichen Strategie z. B. bei einer Stichprobengröße von 100 und einer exklusiven Outlier-abhängigen Strategie mit 10 Gewinnraten, dann schneiden die Top 10 bedeutet, dass ein einziger Handel. Obwohl über einem Durchschnitt von 10.000 Trades die Top-X im Durchschnitt nur etwas mehr rentabel als die Top-Xn, im Fall der Stichprobengröße von 100 der Top-X-Handel (dh die eine einzelne Handel ausgewählt), kann viele sein Vielfache rentabler als die verbleibenden Xn. Mit anderen Worten, was Sie beschreiben, mit bestimmten Arten von Systemen und ohne eine sehr große Stichprobengröße, die Gefahr der Schaffung eines kontraproduktiven 8220schwarzen swan8221 Stil Ausschluss, der nicht repräsentativ für die beabsichtigte Wirkung dieses Prozesses ist. Statt die Auswirkungen von Ausreißern zu mildern, riskieren Sie, eine weitere Outlier-Gegenmaßnahme einzuführen. Wäre daran interessiert, Ihre Meinung zu hören, wenn ich mich gut genug erklärt habe. November 26, 2012 11:42 am Natürlich sollte oben gelesen haben, X-n 8211 there8217s keine 8220edit8221 Button wie auf den Foren 2. Dezember 2012 11.43 Uhr Danke nochmals für die nachdenkliche Antwort. Also sorry für immer wieder zu diesem Thread Tage später. Es war eine hektische Woche letzte Woche. I8217ve hörte eine Menge guter Dinge über 8220Thinking Fast und Slow8221. I8217m lesen derzeit 8220The Big Short8221 und wird Ihre Empfehlung zu meiner Leseliste hinzufügen. December 3, 2012 1:49 am Ich bin nicht sicher, ob ich Ihren Kommentar richtig verstanden habe, so verzeihen Sie mir, wenn meine Antwort nicht übereinstimmen sollte, was Sie meinten. Der Zweck des 8220-Schneidverfahrens8221 ist es herauszufinden, inwieweit die Testergebnisse von Ausreißern beeinflusst wurden. Wenn es einen großen Einfluss gibt, dann haben Sie ein hohes Risiko, dass die Ergebnisse der SAMPLE (Test) sind nicht repräsentativ für die reale Leistung später. Gtgtgt8221 8230is dies nicht abhängig von der Art der Strategie in Frage8221ltlt robuste Eigenkapitalkurve mit hoher Varianz). Gtgtgt8221Für z. B. bei einer Stichprobengröße von 100 und einer exreme outlier-abhängigen Strategie mit einer 10-Gewinnrate, dann schneiden die Top-10 bedeutet, von einem einzigen Handel. Obwohl über einem Durchschnitt von 10.000 Trades die Top-X im Durchschnitt nur etwas mehr rentabel als die Top-Xn, im Fall der Stichprobengröße von 100 der Top-X-Handel (dh die eine einzelne Handel ausgewählt), kann viele sein Multiples mehr rentabel als die Xn verbleiben.8221ltltgtgt8221 Mit anderen Worten, was Sie beschreiben, mit bestimmten Arten von Systemen und ohne eine sehr große Stichprobengröße, die Gefahr der Schaffung einer kontraproduktiven schwarzen Schwan Stil Ausschluss, der nicht repräsentativ für die beabsichtigte Wirkung dieses Prozesses ist . Statt die Auswirkungen von Ausreißern zu mildern, riskieren Sie, eine weitere Outlier-Gegenmaßnahme einzuführen.8221ltltlt Ich bin nicht sicher, was Sie mit diesem Absatz gemeint haben. Ich spreche über die Beseitigung der Trades aus der statistischen Auswertungen. Natürlich sollten Sie nicht vorstellen, keine Regeln auf Ihr System, die quothome Runquot kurz geschnitten, wenn sie wirklich passieren sollten. Mein Punkt ist, zu sehen, wenn das System oben halten kann, wenn die ausgezeichneten Geschäfte viel weniger häufig sind (im wirklichen Leben), als die Probe kann Sie glauben, dass sie sein konnten. Wir freuen uns auf Ihre Antwort, TK Jeder Kommentar in Bezug auf die Rückblickperiode vs Stichprobenumfang Übrigens: Das System, das ich beschrieben wird, heißt Millenium Bullquot und verfügbar für ein paar Galactic Credits bei JabbaTheHut: p 3. Dezember 2012 01.55 Uhr Sorry, Es scheint ein Problem zu sein. Ich versuche, den fehlenden Abschnitt jetzt Post: 8221 8230is dies nicht abhängig von der Art der Strategie in Frage8221 Eigentlich dieses Verfahren REVEALS die Art des Systems. Ist es aus gleichmäßig großen Gewinnen (kleine Auswirkungen von Ausreißern glatte Equity-Kurve mit wenig Varianz) oder ein paar 8220homeruns8221 (große Auswirkungen der Ausreißer gt robuste Equity-Kurve mit hoher Varianz). P. S. Jeff, fühlen sich frei, das erste Repost zu löschen. December 21, 2012 3:03 pm Was ist mit der Einschätzung der OOS-Leistung oder Überprüfung, ob eine OOS-Leistung getan wurde am 27. Dezember 2012 5:25 am Während dieser Artikel spricht nicht speziell über Out-of-Probe vs in-Probe, die Gleiche Metriken gelten. Nicht in allen Fällen wird OOS-Leistung verfügbar, wenn man ein System kaufen, aber dies ist ein wichtiger Schritt in der Prüfung. Wenn Sie ein System entwickeln, sollten Sie immer testen OOS-Daten, wie es Ihnen eine bessere Vorstellung davon, wie Ihr System führt. Der nächste Schritt ist, um es tatsächlich auf Live-Daten zu testen. Viele Menschen sind schockiert zu sehen, ihr System nicht auf dem Live-Markt als Bars Form in Echtzeit durchführen. Oft ist dies auf ein unvollständiges Verständnis darüber, wie Bars Tick-by-Tick gebaut werden und wie der Handel Code gegen diese Daten ausgeführt wird. Dies ist sehr wichtig für Intraday-Handelssysteme. Lassen Sie eine Antwort Build Profitable Trading Systems START A KARRIERE IM HANDEL DURCH DIE UNSERE BEWERTUNG HERAUSFORDERUNG Wir sind müde zu sehen phony Erzieher, Vermarkter und Handelssysteme Überschwemmung, dass Markt und verlieren Völker Geld. Wir bringen ein legitimes Softwareprodukt auf den Markt, das die Handelsleistung in Echtzeit analysiert und es uns ermöglicht, leicht die Wahrscheinlichkeit zu bestimmen, dass ein Händler konsequent Geld verdient. Wir haben mehr als 20 Jahre damit verbracht, eine quantifizierbare Methodologie zu schaffen, und wir sind stolz darauf, unsere proprietäre TAS-Software an unsere Kunden weiterzugeben. INKUBATION Wir investieren und finanzieren Händler, die konsistent und diszipliniert sind. Trader, die eine 30-60 Tage Testzeit mit Real Money in einem Live Trading Account passieren. Der Testzeitraum wird als "Evaluation Challenge" bezeichnet und Händler werden in unserer Testumgebung getestet, überwacht und ausgewertet. SOFTWARE UND TECHNOLOGIE Wir haben proprietäre Modelle und Methoden entwickelt, die in ein dynamisches Software-Demo-Trading-Umfeld codiert wurden. Wir nennen dieses Umfeld das Trading Audition System oder TAS. Trader werden durch unsere Haupthändler Bob Iaccino durch die TAS Software in der Realität getestet und ausgewertet Traders handeln mit der TAS Software, um tägliches Durchlauf zu sehen und Resultate in der Realzeit zu verfehlen Das TAS benutzt die proprietären Metriken, um Einzelpersonen zu identifizieren, die eine hohe Wahrscheinlichkeit des Erfolges haben Trader Alle Trading-Regeln und Metriken sind in MTGs kodiert TAS-Risikosoftware Trader werden nicht auf Gewinn - und Verlustrechnung beurteilt, sondern werden stattdessen mit MTG-Metriken bewertet MTG-Performance-Metriken verbessern die Disziplin und Konsistenz unserer Händler Unsere Methoden beinhalten unsere proprietären K-Ratio - und Custom Trade Expectancy-Strategien Erfolgreiche Händler Die TAS hat Regeln für zulässige Handelszeiten, handelbare FX-Instrumente, Mindestanzahl von Trades und maximalen Drawdowns erarbeitet. Metrics Trading Group 8EU Tong Sen Street 14-94 Das zentrale Singapur 059818 Risikowarnung Forex, Spread Betting und CFDs sind hoch Grad des Risikos für Ihr Kapital und es ist möglich, mehr als Ihre ursprüngliche Investition zu verlieren. Spekulieren Sie nur mit Geld, das Sie sich leisten können, zu verlieren. Wie bei jedem Handel sollten Sie nicht engagieren, es sei denn, Sie verstehen die Art der Transaktion, die Sie eingeben und das wahre Ausmaß Ihrer Exposition gegenüber dem Risiko des Verlustes. Diese Produkte sind möglicherweise nicht für alle Anleger geeignet. Wenn Sie die damit verbundenen Risiken nicht vollständig verstehen, wenden Sie sich bitte an einen unabhängigen Berater. Die Informationen auf dieser Website sind nicht an Einwohner der Vereinigten Staaten oder irgendeines bestimmten Landes außerhalb des Vereinigten Königreichs gerichtet und sind nicht für die Verteilung an oder die Verwendung durch Personen in einem Land oder einer Rechtsordnung gedacht, in denen eine solche Verbreitung oder Verwendung gegen lokales Verhalten verstößt Recht oder Regulierung. Recommender Systems Research hat mehrere Arten von Maßnahmen für die Bewertung der Qualität eines recommender System verwendet. Sie können hauptsächlich in zwei Klassen eingeteilt werden: Statistische Genauigkeits-Metriken bewerten die Genauigkeit eines Systems durch Vergleich der numerischen Empfehlungswerte mit den tatsächlichen Nutzerbewertungen für die Benutzer-Item-Paare im Test-Dataset. Mean Absolute Error (MAE) zwischen Ratings und Prognosen ist eine weit verbreitete Metrik. MAE ist ein Maß für die Abweichung der Empfehlungen von ihren wahren benutzerdefinierten Werten. Für jedes Bewertungsvorhersagepaar lt p i, q i gt behandelt diese Metrik den absoluten Fehler zwischen ihnen, d. H. P i - q i, gleichermaßen. Die MAE wird berechnet, indem zuerst diese absoluten Fehler der N entsprechenden Bewertungs-Vorhersagepaare summiert und dann der Durchschnitt berechnet wird. Formal, Je niedriger die MAE, desto genauer empfiehlt das Empfehlungsmodul Benutzerbewertungen. Root Mean Squared Error (RMSE) und Korrelation werden ebenfalls als statistische Genauigkeitsmessung verwendet. Entscheidungsunterstützungsgenauigkeitsmetriken bewerten, wie effektiv eine Vorhersagemaschine einem Benutzer hilft, qualitativ hochwertige Elemente aus dem Satz aller Elemente auszuwählen. Diese Metriken nehmen den Vorhersageprozess als binäre Operation an - entweder werden die Elemente vorhergesagt (gut) oder nicht (schlecht). Bei dieser Beobachtung ist es irrelevant, ob ein Artikel eine Vorhersage von 1,5 oder 2,5 auf einer Fünfpunktskala hat, wenn der Benutzer nur Vorhersagen von 4 oder höher in Betracht zieht. Die am häufigsten verwendeten Decision Support Genauigkeit Metriken sind Umkehrrate. Gewichtete Fehler und ROC - Empfindlichkeit 23. Wir verwendeten MAE als unsere Wahl der Evaluierungsmetrik, um Vorhersageexperimente zu berichten, da sie am häufigsten verwendet und am einfachsten direkt interpretiert werden können. In unseren früheren Experimenten 23 haben wir gesehen, dass MAE und ROC die gleiche Anordnung von verschiedenen experimentellen Schemata in Bezug auf die Vorhersagequalität bieten.