Фитерман М. - Как трактовать и анализировать результаты тестирования ТС
Для изучения поведения рынка пытаюсь применить теоретический аппарат теории автоматического управления и теории случайных процессов.
Тестирование новой торговой системы (своей или чужой) - важнейший этап деятельности трейдера. Зачастую мы проводим достаточно детальное тестирование ТС на достаточно представительной истории, но затем неправильно трактуем полученные результаты и делаем неверные выводы. Тем более что на рынке и вокруг него пасется бесчисленное множество отличных ТС и использование каждой из них сулит сногсшибательные результаты. При тестировании прежде всего следует знать и постоянно оглядываться на основополагающие законы статистики и теории вероятностей.
Известно, что любой процесс, протекающий в условиях случайности, тем не менее, подчиняется определенным закономерностям. (Исключение составляет белый шум, но в чистом виде он существует не на рынке, а только в умах ученых.) Чтобы понимать случайный процесс рыночной торговли и тем более управлять им, необходимо выуживать закономерности и достоверные показатели этого процесса из моря случайности. Этому и посвящено тестирование ТС и отдельных новых алгоритмов. Какие же общие факторы при этом следует учитывать?
Главные из них следующие.
- Необходимый объем реализации случайного процесса. Это не только длина истории, но и число редких, но важных исторических событий.
Главные из них - это число торговых сделок на истории, число и глубина просадок, включая количество и длины непрерывных серий убыточных сделок.
- Следует вычислять и учитывать не только средние за историю показатели ТС, но и их разброс от этого среднего, т. е. определять первые два вероятностных момента процесса торговли - среднее и стандартное отклонение.
- Полезно выдвигать и статистически проверять гипотезы относительно результатов торговли. Типичная из таких гипотез для маржинальной торговли - это возможная максимальная просадка ТС не превысит заложенный депозит.
- Факторы, свидетельствующие о нестационарности рынка. Количественно это проявляется в заметном различии средних показателей ТС на непересекающихся исторических интервалах.
Этот фактор особенно важен для организации настройки системы на ее истории.
Длину истории следует выбирать компромиссно. С одной стороны, на истории должно быть не менее нескольких десятков сделок и хотя бы несколько непрерывных серий убыточных сделок. С другой стороны, учет нестационарности рынка диктует не слишком удлинять историю ТС, ибо это затрудняет настройку констант алгоритмов системы.
При длинной истории, на которой нестационарность проявляется существенно, значения настроечных констант оказываются малодостоверными, так как они отвечают не одной, а разным рыночным ситуациям комплексно. Иначе говоря, для достоверности настройки системы ее история не должна быть слишком большой.
Известно, что учитываемые при анализе показатели ТС вычисляются как средние по истории. Это, как известно, первый момент исследуемого показателя.
Но также важен, в особенности в предположении нестационарности, второй момент -стандартное отклонение (среднее отклонение от найденного среднего). Верить среднему показателю можно, когда указанное отклонение составляет малую долю от среднего и ни в коем случае не превышает его по абсолютной величине. Это условие оказывается особенно критичным при вычислении среднего риска торговли. Именно пренебрежение этим условием приводит к катастрофическим результатам у неопытных трейдеров.
Но определять фактический и требуемый уровни риска необходимо строго математически статистическими методами, а не на основе заклинаний типа: не допускайте возможного убытка от сделки более столько-то процентов от депозита.
Эффективность ТС определяется критериями, количественно учитывающими все важные показатели ТС. Желательно, чтобы все аспекты эффективности системы измерялись одним критерием, а не какой-то их совокупностью.
Такой критерий, если удается его найти, называют глобальным. По глобальному критерию можно однозначно сравнивать разные ТС и настраивать их по максимуму критерия. Эффективность маржинальной торговли можно оценить двумя факторами: прибыльностью за определенный интервал истории и риском торговли в виде вероятности нехватки депозита на поддержание открытых позиций.
Прибыльность торговли естественно оценивать не абсолютной прибылью, а ее отношением к затратам, т. е. рентабельностью торговли. Для варианта маржинальной торговли роль затрат играет величина депозита и рентабельность ТС целесообразно оценивать отношением годовой прибыли к депозиту.
Эту величину по аналогии с банковским вкладом можно назвать % годовых. Годовой период расчета суммарной прибыли выбран произвольно. С таким же успехом можно вычислять, например, месячную прибыль и соответственно критерий в виде % месячных.
Если длина истории ТС достаточно представительна, то указанные показатели пропорциональны выбранному периоду и, значит, эти показатели равноценны. Но такой показатель не отражает второй фактор - риск торговли.
Например, можно торговать небольшим объемом (малым числом лотов). Тогда и годовая прибыль окажется неоправданно малой и малым окажется % годовых. Но зато такая торговля будет обеспечивать очень малый риск торговли.
Ясно, что такая торговля не будет максимально использовать возможности данной ТС. В данном примере стоит увеличить объем сделок и % годовых пропорционально увеличится.
Ограничением же для такого увеличения является уровень риска торговли. Итак, % годовых действительно будет играть роль глобального критерия эффективности ТС только в сочетании с поддержанием заданного уровня риска торговли.
На оба эти показателя одинаково пропорционально влияет объем торговли. Можно сказать, что найденный при тестировании % годовых будет максимально возможным и, значит, будет характеризовать потенциально возможную эффективность данной ТС только при условии поддержания заданного уровня риска путем выбора подходящего объема торговли.
Этот оптимальный объем легко найти на истории ТС. Следует варьировать объем единичной сделки до тех пор, пока вычисленный на истории фактический уровень риска не сравняется с заданным уровнем. При этом возникает вопрос, как найти фактический риск торговли, т. е как найти вероятность нехватки депозита и как назначить заданную вероятность риска. Здесь помогает теория статистических гипотез.
Для данной ТС и на данной истории можно вычислить все просадки, как в единичных убыточных сделках, так и суммарные просадки в непрерывных сериях таких сделок. По этим данным находятся первые два момента просадок как случайных величин: средняя просадка и ее стандартное отклонение. Далее по теории статистических гипотез находится максимально возможная просадка данной ТС для произвольной истории (не путайте с фактической максимальной просадкой на данной истории). Так как эта гипотетическая величина просадки не привязана к конкретной истории, то ее естественно назвать гарантированной просадкой данной ТС.
Гарантированную просадку можно вычислить по найденным первым двум моментам, но для этого необходимо знать вид распределения вероятностей случайных просадок. Из общих соображений можно принять стандартное нормальное распределение. Тогда гарантированная просадка вычисляется по двум указанным вероятностным моментам фактических просадок, найденных на данной истории. Вероятность выполнения данной гипотезы, т. е. вероятность того, что любая будущая просадка не превысит найденную гарантированную просадку, зависит от соотношения указанных двух моментов.
Г арантированная просадка вычисляется через эти моменты по формуле гарантированная просадка = средняя просадка + у Стандартное отклонение. Здесь у - выбираемый коэффициент. От него зависит вероятность выполнения принятой гипотезы.
Обычно этот коэффициент выбирают в диапазоне 3 - 5. При нормальном законе распределения вероятностей у =3 отвечает вероятности 95 - 97%, а при y=5 эта вероятность достигает 98 - 99%. Для практических целей здесь существенно, что произвольный коэффициент у выбирается в малом диапазоне, т. е произвола в выборе почти нет. (В этом замечательное свойство нормального закона распределения вероятностей.) Таким образом, объем торговли следует выбирать так, чтобы гарантированнаяпросадка была близка к величине депозита, но не превышала его. При выполнении этого условия полученный % годовых данной ТС будет характеризовать ее максимально возможную эффективность, т. е. будет играть роль глобального критерия эффективности. Некоторое неудобство такого критерия видится в том, что необходимо подбирать объем торговли под сформулированное условие.
Оказывается и это неудобство можно обойти. Отношение годовой прибыли к депозиту можно заменить отношением этой прибыли к гарантированной просадке. Так как объем торговли одинаково влияет на годовую прибыль и на гарантированную просадку (оба они пропорциональны объему сделок), то при равенстве гарантированной просадки и депозита, этот модернизированный критерий окажется равным исходному. Здесь важно, что новое отношение не изменяется при любом изменении объема торговли.
Поэтому для его вычисления по истории ТС не требуется подгонять гарантированную просадку под размер депозита. Таким образом, отношение годовой прибыли к гарантированной просадке является более универсальным глобальным критерием.
Разумеется, сказанное справедливо при работе ТС в качестве тренажера, когда риск маржинкола не грозит. Для работы же ТС в режиме реальной торговли все равно необходимо подгонять гарантированную просадку под депозит путем варьирования объема сделок. Описанные здесь соображения и соотношения относятся к сфере управления капиталом при маржинальной торговле.
Это было описано ранее в статье Понятие риска торговли и управление капиталом. Глава 6. в журнале FM336, а также на сайте автора
Анализ результатов тестирования торговой системы System 11.7.
Эта ТС была описана в предыдущей статье журнала и приведена на сайте В этой системе организована комбинированная торговля по шести инструментам EURUSD, GBPUSD, AUDUSD, USDCHF, USDCAD, USDJPY (последние три валютные пары инвертируются в обратные). Торгуемые инструменты увязываются на уровне блока прогноза путем нормировки котировок валютных пар и последующего их суммирования. Нормировка каждой котировки производится по первым двум вероятностным моментам - среднему и стандартному отклонению. Прогнозы нормированных котировок на один шаг вперед (для следующего временного такта) производятся комбинированно по модели колебательного звена и модели ценового коридора.
По каждому инструменту торговля производится по двум гармоникам цены, причем результаты прогноза цены для второй, длинноволновой гармоники добавляются к прогнозам первой, коротковолновой гармоники. В торговом критерии для каждого инструмента учитывается объем торгов суммарно по всем инструментам.
Система работает по 4-часовым тактам.
В качестве глобального критерия ТС принят % годовых, в котором знаменателем является гарантированная просадка системы совокупно по всем торгуемым инструментам, т. е. при использовании единого депозита для всех инструментов. В качестве дополнительных показателей вычисляются % прибыльных сделок, средняя длительность сделки, число сделок за историю и гарантированная просадка. Эти показатели вспомогательные и приводятся для справки. Для большей подробности они детализируются по инструментам и по гармоникам.
Константами системы являются: период T и коэффициент демпфирования b - для колебательного звена, период Ткор - для ценового коридора, коэффициент порога торгов g и доля данного инструмента в торговле D. Все указанные константы, кроме доли инструмента D, настраивались по максимуму % годовых. Длина истории для настройки принята в 350 тактов, что составляет почти 60 суток.
% годовых данной ТС составил от 5000 до 13000%, в зависимости от доли отдельного инструмента в связанной торговле. Эта доля варьировалась от 0 до 1. Этому отвечает соответственно значение D=0 и значение D со (практически D=10). Общий объем торговли при депозите 3000$ получился 36 лотов, по 3 лота для каждого инструмента и каждой гармоники.
На данной истории получалось от 35 до 150 сделок со средней длительностью сделки от 0,5 до 2 дней. % прибыльных сделок варьировался от 67 до 85%. Этому отвечает превышение числа прибыльных сделок над убыточными от 2 до 6 раз, соответственно.
Видно, что максимум % годовых 13000% получается при D=0, что соответствует торговле только по сумме нормированных котировк по всем инструментам. Этому варианту торговли отвечает 85% прибыльных сделок и средняя длительностьсделки 1,8 дня.
Правда, как уже отмечалось ранее, достигнутая величина % годовых постепенно уменьшается в силу неста-ционарности рынка. Найденные при настройке константы:
- для первой гармоники T=4,84, b=0,04, Ткор=3,1, g=1,127
- для второй гармоники T=10,84, b=0, Ткор=5, g=0,836
являются оптимальными только на данной истории ТС. Но в случае реальной торговли история ТС постепенно обновляется и оптимальность настроек постепенно утрачивается.
А перенастраивать ТС слишком часто нежелательно, так как при этом открытые позиции могут не штатно закрываться, сбивая этим временной темп сделок.
