Миф об оптимизации

По иронии вопросы оптимизации пользуются огромным вниманием, в то время как ее исходные предпосылки редко рассматриваются. Дру­гими словами, действительно ли наборы параметров с наилучшей ре­зультативностью в прошлом продолжают демонстрировать результатив­ность выше средней и в будущем?

В качестве эмпирического теста жизнеспособности оптимизации рассмотрим работу системы пробоя для различных наборов парамет­ров. Система основана на следующих правилах: короткая позиция ме­няется на длинную, если сегодняшняя цена закрытия превышает наи­большую цену закрытия последних N дней; длинная позиция меняется на короткую, если сегодняшняя цена закрытия оказывается ниже наи­меньшей цены закрытия последних N дней. Для этой системы были про­тестированы девять значений N: 20, 30, 40, 50, 60, 70, 80, 90 и 100.

В табл. 20.1-20.10 приведены результаты тестов данной системы с различными наборами параметров. Система тестировалась на несколь­ких рынках; тесты проводились на трех двухлетних периодах (1989-1990; 1991-1992 и 1993-1994), а также на предшествующем каждо­му из этих трех периодов восьмилетнем периоде. В таблицах все ран­ги наборов параметров перечислены в порядке результативности на восьмилетних периодах. Таким образом, в первой строке таблиц при­ведены ранги наборов параметров, показавших лучшие результаты на восьмилетних периодах, а в последней — худшие.

Цифры, приведенные в других колонках таблиц, соответствуют ран­гам данного набора параметров на каждом из трех двухлетних перио­дах. Другими словами, наиболее результативному на данном периоде времени набору параметров соответствует цифра 1, второй по резуль­тативности набор параметров получает цифру 2 и т.д. Например, если верхний номер в колонке равен 6, то это означает, что набор парамет­ров, который был лучшим на предшествующем восьмилетнем периоде, занял шестое место (из девяти) на данном двухлетнем периоде.

Чтобы помочь увидеть, есть ли какая-то преемственность между про­шлой и будущей результативностью, два наиболее результативных набо­ра параметров в каждом тестовом периоде помечены незакрашенными кругами, а два наименее результативных набора параметров — затемнен­ными кругами. Если бы базовые предпосылки оптимизации оказались вер­ными, т.е. если бы наиболее результативные наборы параметров прошлого показывали бы наилучшие результаты и в будущем, тогда в табл. 20.1-20.10 незакрашенные круги оказывались бы в верхних стро­ках таблицы, а затемненные — в нижних. Очевидно, что это не так. И не­затемненные, и затемненные круги иногда располагаются в верхней час­ти таблицы, а иногда — внизу или в середине. Очевидная случайность в вертикальном размещении затемненных и незатемненных кругов в табл. 20.1-20.10 подразумевает, что корреляция между прошлой и буду­щей результативностью данного набора параметров очень незначительна.

Непостоянство в значениях наиболее результативных наборов па­раметров от периода к периоду означает, что оценка результативнос­ти системы по наилучшему из прошлых наборов параметров будет зна­чительно преувеличивать потенциал результативности системы. Чтобы проиллюстрировать этот момент, в табл. 20.11-20.14 сравнивается результативность наилучшего на каждом из тестируемых периодов на­бора параметров со средней результативностью всех наборов парамет­ров и результативностью наборов параметров, которые показывали наилучшие и наихудшие результаты в предыдущий период.

Таблица 20.1.

СИСТЕМА ПРОБОЯ (КАЗНАЧЕЙСКИЕ ОБЛИГАЦИИ): СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.2.

СИСТЕМА ПРОБОЯ (НЕМЕЦКАЯ МАРКА):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.3.

СИСТЕМА ПРОБОЯ (ЯПОНСКАЯ ИЕНА):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.4.

СИСТЕМА ПРОБОЯ (ЗОЛОТО):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.5.

СИСТЕМА ПРОБОЯ (СЕРЕБРО):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.6.

СИСТЕМА ПРОБОЯ (МАЗУТ):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.7.

СИСТЕМА ПРОБОЯ (КУКУРУЗА):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.8.

СИСТЕМА ПРОБОЯ (СОЕВЫЕ БОБЫ):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.9.

СИСТЕМА ПРОБОЯ (ЖИВОЙ СКОТ):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Таблица 20.10.

СИСТЕМА ПРОБОЯ (САХАР):

СРАВНЕНИЕ РАНГОВ НАБОРОВ ПАРАМЕТРОВ

НА ДВУХЛЕТНИХ ТЕСТОВЫХ ПЕРИОДАХ С ИХ РАНГАМИ

НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Как видно из таблиц, в двух периодах из трех выбор наихудшего из параметров предшествующего периода приводит к более высокой эффективности, системы на текущем периоде, чем лучший параметр прошлого периода и среднее значение прибыли по всем параметрам. Это вовсе не озна­чает, что набор параметров с наихудшей результативностью в прошлом окажется оптимальным в будущем. Если бы подобные тесты были про­ведены для других систем, то набор параметров с наилучшей результа­тивностью в прошлом, вероятно, превосходил бы худший в прошлом набор параметров чаше, чем наоборот (хотя тот тип результатов, сви­детелями которых мы стали в приведенном примере, вовсе не исклю­чителен). Урок, который мы должны извлечь из приведенного выше примера состоит в том, что набор параметров с наилучшей результа­тивностью в прошлом в большинстве случаев уступит оптимальному для данного периода набору параметров и не сможет предоставить какое-либо статистически существенное улучшение по сравнению с усреднен­ной результативностью всех наборов параметров.

Наш пример использует лишь очень небольшой список из девяти наборов параметров. Многие разработчики систем проводят оптими­зацию, проверяя сотни или даже тысячи наборов параметров. Пред­ставьте себе, насколько нереалистичной была бы надежда на то, что ре­зультативность таких систем в будущем сравнится с результативностью наилучшего набора параметров в прошлом.

Хотя кажется, что оптимизация имеет мало (если вообще имеет) зна­чения, когда применяется в отдельности к каждому рынку, как в табл. 20.1-20.10, она кажется несколько более полезной, если приме­няется к портфелю. Другими словами, вместо того чтобы выбирать наи­лучший в прошлом набор параметров для каждого рынка, выбирается наилучший в прошлом единственный набор параметров для всех рын­ков одновременно. Табл. 20.15 показывает двухгодичный тестовый пе­риод, на котором наборы параметров ранжированы для портфеля, со­стоящего из всех десяти рынков, изображенных в табл. 20.1-20.10.

Единственной бросающейся в глаза корреляцией между прошлой и будущей результативностью является поведение наихудшего набора параметров на предшествующем восьмигодичном периоде — он оказы­вается одновременно и наихудшим набором параметров в каждом из последующих тестовых двухгодичных периодов!

Таблица 20.11.

ПРИБЫЛИ/УБЫТКИ ($) ОЛЯ ТЕСТОВОГО ПЕРИОДА 1989-1990:

ОПТИМАЛЬНЫЙ НАБОР ПАРАМЕТРОВ ПО СРАВНЕНИЮ

СО СРЕДНИМ РЕЗУЛЬТАТОМ ВСЕХ ПАРАМЕТРОВ

НА ДАННОМ ПЕРИОДЕ И ЛУЧШИМ И ХУДШИМ НАБОРОМ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩЕГО ПЕРИОДА

Таблица 20.12.

ПРИБЫЛИ/УБЫТКИ ($) ДЛЯ ТЕСТОВОГО ПЕРИОДА 1991-1992:

ОПТИМАЛЬНЫЙ НАБОР ПАРАМЕТРОВ ПО СРАВНЕНИЮ

СО СРЕДНИМ РЕЗУЛЬТАТОМ ВСЕХ ПАРАМЕТРОВ

НА ДАННОМ ПЕРИОДЕ И ЛУЧШИМ И ХУДШИМ НАБОРОМ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩЕГО ПЕРИОДА

Таблица 20.13

ПРИБЫЛИ/УБЫТКИ ($) ДЛЯ ТЕСТОВОГО ПЕРИОДА 1993-1994:

ОПТИМАЛЬНЫЙ НАБОР ПАРАМЕТРОВ ПО СРАВНЕНИЮ

СО СРЕДНИМ РЕЗУЛЬТАТОМ ВСЕХ ПАРАМЕТРОВ

НА ДАННОМ ПЕРИОДЕ И ЛУЧШИМ И ХУДШИМ НАБОРОМ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩЕГО ПЕРИОДА

Таблица 20.14.

СУММАРНЫЕ ПРИБЫЛИ/УБЫТКИ ($) ДЛЯ ТРЕХ ТЕСТОВЫХ

ПЕРИОДОВ: ОПТИМАЛЬНЫЕ НАБОРЫ ПАРАМЕТРОВ

ПО СРАВНЕНИЮ СО СРЕДНИМИ РЕЗУЛЬТАТАМИ

ВСЕХ ПАРАМЕТРОВ И ЛУЧШИМИ И ХУДШИМИ НАБОРАМИ ПАРАМЕТРОВ ДЛЯ ПРЕДЫДУЩИХ ПЕРИОДОВ

Хотя наихудший в прошлом набор параметров, похоже, оказывается и наихудшим набором параметров в будущем, другие прошлые оценки результативности, как кажется, подразумевают значительно меньшую предсказательную ценность. Средняя (нейтральная) оценка набора па­раметров равна 4,5 (если отбросить наихудшую оценку 9). Посмотрим, как себя вел набор параметров, оптимальный для предшествующего восьмилетнего периода. Как видно из табл. 20.15, в первый тестовый период этот набор сохранил свое первое место, во второй — спустил­ся на седьмое, а в третьем периоде занял второе место. Итого в сред­нем за три тестовых периода этот набор получил оценку 3,3, что все-таки лучше, чем нейтральная оценка 4,5. Однако, набор параметров, который на предшествующем восьмилетнем периоде занял всего лишь четвертое место, на тестовых периодах достиг значительно лучшего результата (2,3). Также заметьте, что наборы параметров, занявшие по­чти полярно противоположные места на предшествующем восьмилет­нем периоде (2 и 8), на трех тестовых периодах дают почти идентич­ные результаты: 4,7 и 5,0.

Чтобы понять, почему наихудшая оценка результативности на пред­шествующем периоде точно предсказывает будущую результативность (набор параметров продолжает давать плохие результаты), в то время как другие оценки результативности, по-видимому, имеют мало пред­сказательного значения, мы исследуем оценку результативности, осно­ванную на значениях параметров. В табл. 20.16 показаны результаты наборов параметров, перечисленные в порядке возрастания значения самого параметра (а не в порядке возрастания результативности за про­шедший восьмилетний период, как это было в табл. 20.15).

Как видно из табл. 20.16, на каждом из тестовых периодов наихуд­шую результативность показал один и тот же набор параметров! Этот набор параметров с постоянной наихудшей результативностью распо­лагается на одном из концов протестированного диапазона наборов па­раметров: N = 20.

Хотя N = 20 — наиболее чувствительное из протестированных зна­чений наборов параметров — постоянно приводит к наихудшей резуль­тативности (когда применяется к портфелю), другие протестированные значения (от N = 30 до N = 100) ведут себя не так стабильно. Обрати­те внимание на то, что набор параметров N = 80 показал невероятно высокий средний ранг 1,3. Однако средние ранги двух соседних зна­чений N (6,7 и 3,3) подразумевают, что звездная результативность зна­чения N = 80, скорее всего, была статистической случайностью. Как уже объяснялось ранее в этой главе, недостаточная устойчивость к из­менению параметра предполагает, что прошлая превосходная резуль­тативность данного параметра, вероятно, отражает лишь своеобразие тестируемых исторических данных, а не ту модель, которая будет по­вторяться в будущем.

Таблица 20.15.

СИСТЕМА ПРОБОЯ (ПОРТФЕЛЬ):

РАНГИ НАБОРОВ ПАРАМЕТРОВ НА ДВУХГОДИЧНЫХ ТЕСТОВЫХ ПЕРИОДАХ ПО СРАВНЕНИЮ С РАНГАМИ НА ПРЕДШЕСТВУЮЩИХ ВОСЬМИЛЕТНИХ ПЕРИОДАХ

Ранг набора            Ранг того же параметров на               набора	Ранг того же набора	Ранг того же набора	Средний ранг
предшествующем         параметров 8-летнем периоде      в 1989-1990	параметров в 1991-1992	параметров в 1993-1994
1                                 1	7	2	3,3
2                               5	1	8	4,7
3                               3	6	4	4,3
4                               2	4	1	2,3
5                               4	8	6	6,0
6                               6	3	7	5,3
7                               7	5	3	5,0
8                               8	2	5	5,0
9                               9	9	9	9,0

Таблица 20.16

СИСТЕМА ПРОБОЯ (ПОРТФЕЛЬ):

РАНГИ НАБОРОВ ПАРАМЕТРОВ ПО ДВУХГОДИЧНЫМ ТЕСТОВЫМ ПЕРИОДАМ, В ЗАВИСИМОСТИ ОТ ЗНАЧЕНИЙ N

Значение N набора	Ранг набора	Ранг набора	Ранг набора	Средний ранг
параметров	параметров в 1989-1990	параметров в 1991-1992	параметров в 1993-1994
20	9	9	9	9,0
30	8	2	5	5,0
40	7	5	3	5,0
50	6	3	1	3,3
60	4	6	6	5,3
70	5	7	8	6,7
80	1	1	2	1,3
90	2	4	4	3,3
100	3	8	7	6,0

Будет поучительным рассмотреть наблюдения, связанные с предше­ствующим экспериментом по оптимизации.

Оптимизация вообще не имела никакого значения, когда при­менялась к каждому рынку в отдельности.

Однако примененная к портфелю, оптимизация кажется полезной для предсказания того, какой набор параметров с наиболь­шей вероятностью покажет плохую результативность в будущем. Тем не менее, оптимизация не может предсказать, какие из на­боров параметров с наибольшей вероятностью продемонстри­руют хорошую результативность в будущем.

При более близком исследовании выяснилось, что модель по­стоянно плохой результативности была не столько следствием степени результативности на предшествующем периоде, сколь­ко следствием значения параметра. Другими словами, протес­тированный диапазон наборов параметров начинался со значе­ния, которое явно было далеко от оптимального для данной си­стемы: N = 20. Хотя и не показанные в таблицах, более низкие значения для N продемонстрировали бы дальнейшее падение ре­зультативности по мере уменьшения значений N.

За исключением крайних значений параметров (N = 20 или ниже в этом примере), явно далеких от оптимального значения, было мало стабильности в значениях наборов параметров с наи­лучшей результативностью внутри широкого диапазона наборов параметров (от N = 30 до N = 100 в этом примере).

Эти наблюдения, которые согласуются с результатами похожих эм­пирических тестов, предпринятых мною в прошлом, предполагают сле­дующие ключевые выводы относительно оптимизации*:

1. От любой системы, повторяю, от любой системы с помощью оп­тимизации можно добиться того, чтобы она была очень прибыль­ной на исторических данных. Если вы когда-нибудь обнаружи­те систему, которая не может быть оптимизирована так, чтобы показывать относительно хорошую прибыль в прошлом, примите мои поздравления: вы только что открыли машину по производству денег (поступайте противоположно ее сигналам, если толь­ко транзакционные затраты не чрезмерны). Таким образом, при­ятно смотреть на удивительную результативность оптимизиро­ванной системы в прошлом, однако она имеет мало практичес­кой ценности.

  Хотя единственный эмпирический эксперимент не может быть использо­ван как основа для широких обобщений, я готов сделать таковые здесь, по­скольку только что описанные результаты абсолютно типичны для многих по­добных тестов, предпринятых мною в прошлом. В этом смысле исследование оптимизации, разобранное в данной главе, не рассматривается в качестве до­казательства нежизнеспособности оптимизации, а скорее, в качестве иллюст­рации этого момента.

Оптимизация будет всегда, повторяю, всегда преувеличивать по­тенциальную будущую результативность системы — обычно весьма сильно. Таким образом, результаты оптимизации никог­да не должны, повторяю, никогда не должны использоваться для оценки достоинств системы.

Для многих, если не для большинства систем, оптимизация не будет улучшать будущую результативность или улучшит ее незна­чительно.

Если оптимизация и имеет какое-то значение, оно обычно со­стоит в определении широких границ диапазона, из которых следует выбирать значения наборов параметров для системы. Тонкая подстройка оптимизации — это в лучшем случае поте­ря времени, а в худшем — самообман.

В свете всех предшествующих пунктов искушенные и слож­ные процедуры оптимизации — пустая трата времени. Наи­простейшие оптимизационные процедуры будут предоставлять не меньшее количество значимой информации (предполагая, что, вообще, может быть извлечена некоторая значимая ин­формация).

В итоге, в противоположность широко распространенным верованиям, существует некий резонный вопрос: приведет ли оптимизация к суще­ственно лучшим результатам при длительном периоде торговли, чем случайным образом выбранный набор параметров? Чтобы не было ни­каких недоразумений, позвольте мне уточнить: это утверждение не при­звано подразумевать, что у оптимизации вообще нет никакой ценнос­ти. Во-первых, как указано ранее, оптимизация может быть полезна при определении явно неподходящего диапазона параметров, который сле­дует исключить при выборе значений параметра (например, N # 20 в нашем примере системы пробоя). Кроме этого, возможно, что для не­которых систем оптимизация может провести некоторые границы в выборе наборов параметров даже после исключения крайних неопти­мальных диапазонов. Однако я подразумеваю, что степень улучшения, предлагаемая оптимизацией, намного меньше, чем обычно представля­ется, и что трейдеры, вероятно, сберегли бы кучу денег, доказывая в начале любое предположение, которое они делают по поводу оптими­зации, а не принимая эти предположения слепо на веру.