Королюк М. - Как сравнивать торговые системы
Я не люблю выражения игра на бирже, биржевой игрок они вводят в заблуждение. Слово игра подразумевает необходимость некоторой удачи для достижения положительного результата, между тем как апелляции к госпоже Удаче при совершении торговых операций являются, по меньшей мере, наивными.
Совершение сделок в расчете на удачу это верный путь к разорению.
Поэтому я предпочитаю напоминать себе время от времени о том, что мое занятие состоит в создании и последующей реализации на рынке технологии извлечения прибыли из торговых операций. Звучит достаточно вычурно и длинно, зато хорошо дисциплинирует.
Отношение к трейдингу как к технологическому процессу имеет несколько преимуществ: во-первых, становится понятно, что технологический процесс необходимо сначала разработать, отладить и создать регламент его реализации.
Во-вторых, и это один из важнейших аспектов в данном определении, технологический процесс необходимо строго выполнять, отклонения от него на рынке не менее опасны, чем расхлябанность при производстве динамита. Следует всегда помнить, что благими желаниями улучшить на ходу торговую систему мощена дорога к разорению.
Ну и, в-третьих, это определение позволяет выработать правильное отношение к текущим результатам торговли. Не следует впадать в панику от убытков, не надо попадать под власть эйфории от полученной прибыли это продукты производства, неотделимые друг от друга так же, как орел на монете неотделим от решки с обратной ее стороны.
Создание технологии извлечения прибыли из торговых операций подразумевает выработку правил, однозначно определяющих действия трейдера в любой возможной рыночной ситуации. Необходимо до начала торговли знать ответы на вопросы когда и какой долей капитала открывать позицию, как, в зависимости от движения цен, менять объем открытой позиции и когда ее закрывать.
Набор таких торговых правил называется обычно торговой системой, а использование их в трейдинге системной торговлей, в противоположность торговле по интуиции.
Обширная статистика показывает, что, при анализе данных за достаточно длительный интервал времени, трейдеры, придерживающиеся системного стиля торговли, достигают гораздо лучших результатов и существенно реже разоряются по сравнению с трейдерами, торгующими свою интуицию. Безусловно, среди интуитивных трейдеров есть свои звезды, имеющие очень хорошие результаты в течение достаточно длительного времени.
Однако, во-первых, они очень редки, в отличие от часто встречающихся успешных системных трейдеров, а во-вторых, не очень ясно, толи они просто очень удачливы и их удача может рано или поздно закончиться, толи они неосознанно торгуют по неким правилам, которые не могут формализовать в торговую систему.
Так или иначе, но сейчас в мире трейдеров господствуют представления о том (и я их полностью разделяю), что успешность и долголетие на фондовом рынке определяются наличием у трейдера хороших торговых систем и его способностью следовать их рекомендациям.
Созданию торговых систем посвящено немало книг и журналов и, тем не менее, простое копирование уже существующих торговых систем далеко не гарантирует безоблачного будущего. Каждый рынок индивидуален и изменчив, поэтому необходимо проведение по настоящему исследовательской работы для выявления внутренне присущих данному рынку закономерностей с тем, чтобы вовремя заметить изменение стереотипов поведения участников торговли и внести соответствующие правки в торгуемую систему.
Таким образом, фактически перед каждым серьезным трейдером стоит задача разработки и последующего ведения собственной торговой системы, в идеале отвечающей его представлениям о функционировании рынка, предпочтительных временных интервалах торговли, ожидаемой прибыли и принимаемым при этом рискам.
Настоящая статья посвящена одному достаточно редко обсуждаемому аспекту создания торговых систем, а именно проблеме выбора между несколькими торговыми системами.
Как правило, в процессе определения торговых правил неоднократно приходится делать выбор между несколькими внешне близкими по результативности вариантами. Между тем критерии такого выбора не так очевидны, как это могло бы показаться на первый взгляд.
Есть также претензии к некоторым широко распространенным в России программам технического анализа по качеству предоставляемой статистики. В ряде случаев некритическое использование статистики тестирования может привести к неприятным ошибкам в выборе варианта дальнейшего развития торговой системы и привести к реальным потерям при торговле.
Прежде чем говорить собственно о сравнении торговых систем, необходимо сделать одно важное замечание, касающееся режима тестирования. Современные программы технического анализа позволяют проводить тестирование торговой системы как минимум в трех режимах: только длинные позиции, только короткие позиции и и длинные и короткие позиции. Я глубоко убежден в том, что при разработке торговых систем необходим раздельный анализ коротких и длинных позиций. Недопустимо механическое смешение этих позиций в одну торговую систему, даже если это простая реверсивная система.
Любая система, на любом рынке будет иметь разные доходности и риски для длинных и коротких позиций. Как правило, эти значения весьма различаются и бездумное принятие результатов торговой системы, протестированной в режиме и длинные и короткие позиции, может привести к очень существенным ошибкам.
В основном это ошибки, связанные с недооценкой рисков, присущих системе для коротких позиций.
В качестве примера приведу результаты тестирования своей торговой системы на примере РАО ЕЭС1. На рис.
1 представлена кривая дохода при тестировании в режиме и длинные и короткие позиции, на рис. 2 раздельно кривые дохода для тестирования в режимах только длинные позиции и только короткие позиции.
Кривая дохода на рис. 1 демонстрирует почти линейный характер увеличения размера депозита при отсутствии значительных отклонений в ту или иную сторону.
Рис. 2 показывает, что за фасадом видимого благополучия скрываются существенные различия в динамике кривых дохода системы только длинные позиции и системы только короткие позиции. Система для коротких позиций принесла только 6 % от общей доходности обеих систем, при этом основной доход был получен за несколько месяцев 1998 года.
Остальное время эта система или несла убытки или ее доходность колебалась около нуля, что заставляет задуматься над целесообразностью ее использования в реальной торговле.
Следует исходить из того, что система длинных позиций и система коротких
позиций это две самостоятельные системы, которые должны анализироваться отдельно, а тестирование в режиме и длинные и короткие позиции дает возможность простого суммирования двух систем, что является на самом деле лишь одним из возможных вариантов объединения систем в портфель.
возможность сравнения результатов торговли по любой системе, более того, должна быть возможность сравнения между системной и интуитивной торговлей. Если взглянуть на проблему еще шире, то трейдинг на бирже является лишь одним из видов возможных бизнесов, таким же, как торговля пиццей на
Методика сравнения торговых систем должна отвечать двум основным требованиям быть достоверной и достаточно простой. Кроме того, она должна носить универсальный характер. Послед- Единственным исходным материалом нее означает, что должна быть анализа в таком случае может выступать
1 Все приведенные в данной статье результаты тестирования торговой системы получены при условии комиссии 0,8 % с каждой сделки, в качестве цены исполнения принимается цена закрытия текущего бара, плечо отсутствует.
только кривая дохода. Из информации, заключенной в этой кривой, можно вывести все необходимые для сравнения величины; если же что-то остается за кадром значит, это что-то лишнее.
В идеале, по результатам тестирования необходимо получить один числовой показатель, на основании сравнения которого можно было делать выбор между торговыми системами. Очевидно также, что оцениваемые показатели должны отражать два момента доходность системы и сопряженный с этой доходностью риск.
И доходность, и риск являются функциями от ряда параметров. Например, риск является функцией от времени нахождения системы в рынке, от количества сделок на единицу времени, процента убыточных сделок, среднего размера убыточной сделки, среднего размера движения цен против позиции и т. д. В связи с этим можно выделить два принципиально разных подхода к определению этих двух показателей.
Первый подход состоит в определении собственно доходности и риска.
Второй в вычислении неких скоррелированных с доходностью и риском показателей, исходя из значений влияющих на них параметров. Например, широко известен Rina index, представляющий из себя величину произведения среднего движения цен против позиции на время нахождения в рынке.
Представляется, что второй подход страдает определенной искуственностью и не полностью адекватен поставленной задаче. Так, Rina index включает в себя лишь два показателя, влияющих на величину риска, и в связи с этим не способен отразить все аспекты риска системы.
На мой взгляд, наиболее логично оценивать доходность торговой системы по средней месячной доходности. Этот интуитивно понятный и легко вычисляемый из кривой дохода показатель представляет собой то, что в первую очередь интересует трейдера или инвестора.
Широко распространенная в России программа Metastock приводит в итоговой статистике тестирования показатель годовой доходности (annual percent gain/loss), однако вычисляет его явно не корректно просто берет разницу между конечной и начальной точками кривой дохода и делит на количество лет в тестировании. При подобном алгоритме вычислении не устраняется влияние рекапитализации, и итоговая, доходность получается чрезвычайно завышенной.
Как правило, при тестировании самой обычной торговой системы на пятилетнем периоде средняя годовая доходность выражается четырех, а иногда и пятизначной цифрой наркобароны Латинской Америки просто рыдают от зависти...
Кстати, Metastock просто изобилует подобными неточностями. Упоминавшиеся выше дродауны, средние и максимальные прибыльные и убыточные сделки, средний доход от сделки все вычисляется в абсолютных значениях, что не позволяет оценить значимость этих отклонений относительно имевшегося на тот момент капитала.
Очевидно, что выражение этих величин в процентах более соответствовало бы целям оценки системы и было интуитивно понятно.
Наиболее значимая ошибка Metastock такого рода это величина показателя Avg. Win/Avg. Loss (отношение средней прибыльной сделки к средней убыточной). Из-за вычисления итогов каждой сделки не в процентном выражении, а в абсолютном, вследствие эффекта рекапитализации результаты сделок имеют разные веса наибольший вес имеют последние сделки, наименьший первые.
В итоге серия убыточных или прибыльных сделок в последний период времени вносит очень существенное искажение в вычисляемую величину. Так, для моей торговой системы отношение средней прибыльной сделки к средней убыточной на рынке РАО ЕЭС за последние пять лет по отчету Metastock составляет 2,88, а при вычислении величин в процентном отношении 4,00, почти 40 % расхождение значений!
Альтернативный по отношению к среднемесячной доходности способ оценки доходности торговых систем через математическое ожидание прибыли от сделки (часто также употребляют термин средняя величина доходности сделки) обладает одним существенным недостатком: он применим без дополнительных перерасчетов только для систем с одинаковым числом сделок на единицу времени. Именно средняя величина доходности сделки приводится в итоговой статистике большинства программ технического анализа, однако попробуйте без дополнительных вычислений определить, что лучше система, имеющая 20 сделок в год и средний доход от сделки 345 пунктов, или система с 34 сделками за год и средней доходностью сделки 270 пунктов!
Поэтому любое отклонение кривой дохода от прямой линии (при рекапитализации на логарифмической шкале) есть риск, вне зависимости от знака отклонения.
Графически риск проявляет себя отклонением кривой дохода от прямой линии (на логарифмической шкале): чем более гладкая получается кривая дохода, тем меньше риски системы, чем дальше отклоняется кривая от аппроксимирующей ее линии, тем система более рискованная.
Таким образом, кратко подводя итоги этой части статьи, есть определенная логика в том, чтобы в качестве показателя доходности торговой системы использовать среднюю месячную доходность трейдинга, а в качестве меры риска стандартное отклонение доходности.
Следующий шаг в логике рассуждений это сведение двух показателей, дохода и риска, в один, выражающий их отношение. Достигается это делением средней месячной доходности на стандартное отклонение доходности. Получаемая таким образом величина характеризует стоимость единицы риска в величинах
Этот же недостаток присущ и среднему геометрическому, предложенному Ральфом Винсом.
Приняв за показатель доходности системы среднюю месячную доходность, естественно оценивать риск через дисперсию, выраженную в виде стандартного отклонения доходности .
Тут следует сказать о следующей проблеме если понятие средней месячной доходности интуитивно понятно любому человеку, то оценка риска через стандартное отклонение вызывает вопросы что означают эти цифры, риск чего они измеряют?
Ответы на эти вопросы понятны измеряется риск отклонения реальной доходности от средней, однако часто психологически люди не готовы принять отклонение доходности в большую сторону от средней за риск. Так же тяжело психологически воспринимается за риск и отклонение от средней месячной доходности в меньшую сторону, не уходящее, однако, в отрицательные значения. Логическая ловушка заключается в том, что любое отклонение от средней доходности в большую сторону в последующем уравновешивается таким же по величине (по площади под/над
дохода. Иначе говоря, насколько увеличивается доход при увеличении риска на одну единицу (на один процент).
Получением показателя, отражающего соотношение доходности и риска изучаемых торговых систем, анализ не заканчивается. Далее необходимо оценить, насколько достоверны полученные значения.
Необходимо рассмотреть как минимум два аспекта количество сделок, на основании которых построена статистика, и влияние выскакивающих сделок на результаты.
Известно мнение, что для достоверности результатов тестирования в истории должно быть не меньше 30 сделок. Я не имею возможности опровергнуть данные утверждения, однако интуитивно это число кажется мне заниженным.
Возможно, я перестраховываюсь, однако не рассматриваю системы с числом сделок менее 60. Может быть, при этом я совершенно зря отбрасываю некоторые наиболее консервативные варианты, однако собственное спокойствие и уверенность в результатах для меня более важны.
Не менее важен и учет влияния выскакивающих сделок. Под таковыми обычно понимают сделки, доходность по которым превышает величину средней доходности плюс минус три стандартных отклонения. Смысл учета влияния выскакивающих сделок понятен исключить ситуацию, когда приемлемая доходность системы обеспечена двумя-тремя очень прибыльными сделками за длительный период времени.
Такие чрезмерно прибыльные и очень редкие сделки могут носить случайный характер, а данные о доходности системы в связи с этим быть недостоверными.
Существуют два варианта оценки влияния выскакивающих сделок.
Один из них изложен в материалах фирмы RINA SYSTEMS5 то, что называется selected gross profit, selected gross loss и selected net profit. Первое есть общая прибыль всех прибыльных сделок минус прибыль выскакивающих сделок.
Второе общий убыток всех убыточных сделок минус убыток выскакивающих сделок. Третье общий доход
(убыток), произведенный системой за период торговли за вычетом всех положительных и отрицательных выскакивающих сделок. Таким образом, смысл этого подхода сводится к оценке показателей доходности после отбрасывания выскакивающих сделок.
Второй вариант оценки влияния выскакивающих сделок состоит в том, что выскакивающие сделки не отбрасываются целиком, а только обрезаются по границе трех стандартных отклонений. Иначе говоря, суперприбыль превращается в обычную прибыль, и расчеты доходности и риска производятся на основании скорректированных таким образом исходных данных.
Таким образом, при использовании любого из двух вариантов оценки влияния выскакивающих значений доходности получаются два ряда значений. Один представляет собой исходные доходности сделок в процентах, второй доходности сделок после цензурирования, выполненного или путем отбрасывания или путем обрезания выскакивающих сделок. Далее производится расчет доходности, риска и их соотношения для обоих рядов, и в случае значительных расхождений полученных значений следует признать влияние выскакиваю-
бора между несколькими торговыми системами. Имеется величина доходности (средняя месячная доходность), величина риска (стандартное отклонение доходности) и соотношение этих величин.
Имеется оценка достоверности этих показателей. Выбор торговой системы, таким образом, производится на основании оптимального соотношения доходности и риска.
Обычно в качестве выбора рассматриваются торговые системы с наибольшими доходностями, обращая при этом внимание на то, чтобы эта доходность не достигалась за счет чрезмерно большого риска.
Следует отметить, что в ряде случаев есть смысл внимательнее отнестись к торговым системам не с максимальными значениями дохода, а с более низкими значениями риска. Есть определенная логика в торговле на рынке портфеля систем, причем часть портфеля должна состоять из высокодоходных систем с достаточно высоким уровнем риска, а часть с более низким уровнем дохода и с существенно более низким уровнем риска.
В подборе таких систем может помочь графический анализ. На рис. 3 представлено соотношение доходности и риска для десяти торговых систем на рынке РАО ЕЭС, различающихся значениями двух оптимизируемых параметров:
Прямая линия на рисунке это линия, аппроксимирующая значения десяти точек уравнением линейной регрессии. Системы, чьи соотношения доходности и риска лучше среднего, находятся выше этой
щих сделок существенным и ориентироваться при оценке систем на цензурированный ряд доходностей.
В принципе полученных таким образом значений достаточно для осознанного вы-
прямой. Именно такие системы представляют особый интерес для трейдеров.
Из представленных на рисунке результатов торговых систем интерес представляют системы 1 и 2 как наиболее доходные и обладающие приемлемым для такой доходности риском (возможная агрессивная часть портфеля систем) и система 3 как менее рискованная при относительно неплохом уровне доходности (возможная консервативная часть портфеля систем).
Окончательный выбор торговой системы остается, конечно, за трейдером, так как хорошая торговая система должна соответствовать индивидуальным представлениям трейдера об оптимальном соотношении доходности и риска.
Более глубокая оценка систем с использованием дополнительных статистических показателей отвечает уже задаче не столько сравнения торговых систем, сколько определению механизмов формирования доходности и риска у каждой отдельной системы. Прибегать к такой оценке следует только при прочих равных, когда на основании показателей доходности и риска не удается сделать однозначный выбор в пользу той или иной системы. Подробный разбор такого анализа выходит за рамки настоящей статьи.
Я надеюсь продолжить эту тему в последующих публикациях на страницах журнала Современный трейдинг.
Резюме
Для сравнения результатов торговых систем представляется целесообразной следующая последовательность действий:
1. Вычисление средней месячной доходности системы и стандартного отклонения этого показателя.
2. Определение достоверности полученных данных на основе:
2.1. Оценки достаточности количества сделок.
2.2. Оценки влияния выскакивающих данных на рассчитанные показатели.
3. Сравнения показателей доходности и риска различных систем между собой и выбор системы с наилучшим соотношением доходности и риска.
4. При прочих равных производится дополнительный анализ набора показателей, характеризующих более тонкие механизмы формирования доходности и риска.
В англоязычной литературе движение цен против открытой позиции обозначается термином drawdown (движение ко дну), в последнее время этот термин достаточно часто используется техническими аналитиками в русской речи как сленг, произносится дродaун. Обычно по результатам тестирования вычисляется средний и максимальный дродаун (Metastock считает в абсолютных величинах, более корректно в процентах), кроме того, различают открытый дродаун и закрытый.
Открытый дродаун сделки это максимальное отклонение кривой дохода вниз за все время существования открытой позиции, закрытый дродаун это зафиксированный убыток. Величина, обратная дродауну, называется run-up (максимальное движение цен в сторону открытой позиции). Среднее геометрическое представляет собой множитель, равный среднему увеличению капитала в результате одной сделки. Например, если в среднем сделка приносит 7 % прибыли, то среднее геометрическое такой торговой системы равно 1,07. Тогда результат торговли после N сделок будет равен произведению начального капитала на среднее геометрическое в степени N. Выражение дисперсии генеральной совокупности через стандартное отклонение выборки подразумевает нормальный характер распределения, что, вообще говоря, неверно применительно к величинам доходности торговых систем. Торговые системы действуют как фильтры, ограничивающие движение дохода вниз и не ограничивающие движение вверх, поэтому характер распределения величин доходности должен быть близок скорее к логнормальному.
Вычисление дисперсии логнормального распределения несколько отличается от нормального, однако эти различия не велики и ими можно пренебречь, если только не требуется повышенная точность расчетов.
RINA SYSTEMS известный производитель специализированного программного обеспечения для управления рисками, оптимизации портфелей и т. д. Ряд интересных материалов на английском языке свободно доступен на сайте фирмы по адресу .
