Глава 20 Тестирование и оптимизация торговых систем

Торговая система — это набор правил, которые могут быть исполь­зованы для генерирования торговых сигналов. Параметр — это величина, которую можно свободно выбирать для того, чтобы из­менять время поступления сигналов. В то время как стандартные системы ограничиваются одним или двумя параметрами, более сложные системы обычно будут требовать трех или более парамет­ров. Как правило, лучше всего использовать форму системы с воз­можно наименьшим количеством параметров, которая не подразу­мевает существенного ухудшения результативности по сравнению с более сложными вариантами системы.

Существует четыре типа параметров. Непрерывный параметр может подразумевать использование любого значения из данного диапазона. Дискретный параметр подразумевает только целые зна­чения. Кодовые параметры используются для описания классифи­кационных различий в определениях торговых правил. Фиксиро­ванный, или неоптимизированный, параметр помогает разработ­чику системы уйти от использования слишком большого числа па­раметров.

Непрерывные фьючерсные серии оказываются предпочтитель­ным выбором при тестировании системы. Чем продолжительнее период, на котором тестируется система, тем надежнее результа­ты. Разработчику для определения степени временной устойчиво­сти следовало бы тестировать систему для всего периода в целом, а затем оценивать результаты для различных более коротких вре­менных интервалов. Из-за нереалистичных предположений, связан­ных с транзакционными издержками и заменой одних контрактов другими, действительная эффективность системы часто не так вы­сока, как подразумевается смоделированными результатами.

Оптимизация — процесс отыскания наилучшего параметра или набора параметров определенной системы на конкретном рынке, основывающийся на предположении, что наилучший в прошлом набор параметров продолжит показывать наилучшую результатив­ность и в будущем. Однако тестирование обнаруживает очень не­значительную корреляцию между эффективностью оптимизирован-

ГЛАВА 20. тестирование и оптимизация... 121

ного набора параметров в прошлом и будущем, если обнаружива­ет таковую вообще.

Оптимизация может оказаться более полезной, если применя­ется к портфелю, а не к каждому рынку в отдельности. Вместо того чтобы выбирать наилучший в прошлом набор параметров для каж­дого рынка в отдельности, разработчик системы выбирает наилуч­ший в прошлом набор параметров применительно ко всем рынкам сразу. Следующие четыре фактора могли бы использоваться для сравнения эффективности: (1) прибыль, выраженная в процентах, (2) уровень риска, (3) устойчивость к изменению параметров и (4) временная стабильность.

Швагер делает пять главных выводов, касающихся оптимиза­ции: (1) с помощью оптимизации любую систему можно сделать прибыльной задним числом; (2) оптимизация всегда преувеличивает возможную будущую эффективность системы; (3) в общем случае оптимизация не будет улучшать будущую результативность или улучшит ее незначительно; (4) если оптимизация и имеет какое-то значение, оно обычно состоит в определении широких границ ди­апазона, из которых следует выбирать значения наборов парамет­ров для системы; (5) искушенные и сложные процедуры оптимиза­ции — пустая трата времени.

Оценка системы, основывающаяся на оптимизированных набо­рах параметров, является скорее подгонкой системы под прошлые результаты, а не тестированием. Два наиболее удачных подхода к оценке системы — «слепое моделирование» и оценка средней ре­зультативности набора параметров. При использовании «слепого моделирования» система оптимизируется с использованием данных временного периода, который намеренно исключает последние годы; затем система тестируется с использованием полученных на­боров параметров на последующих годах. Отыскание средней ре­зультативности набора параметров требует, прежде всего, опре­деления полного списка всех наборов параметров, которые нуж­но протестировать. Затем проводятся тесты для всех выбранных наборов параметров, и средний результат для всех протестирован­ных наборов используется в качестве показателя потенциальной результативности системы.

Использование оптимизированных результатов будет значитель­но искажать подразумеваемую будущую результативность системы, поскольку корреляция между наиболее результативными для одно­го периода параметрами системы и теми ее параметрами, которые приведут к наилучшей результативности в следующий период, край­не мала, если вообще существует. Неправильное использование оптимизации в течение долгих лет привело фактически к обесце-

122 ЧАСТЬ 1. вопросы и задачи

ниванию результатов моделирования. Перефразированный Шваге­ром денежный закон Гришема звучит так: «плохое моделирование вытесняет хорошее» («плохое» означает моделирование, построен­ное на ложных предположениях).

Хорошая система демонстрировала бы прибыльность на подав­ляющем большинстве рынков, где идет активная торговля. Важное обстоятельство при выборе системы для торговли на данном рын­ке связано с результативностью этой системы на широком спектре рынков. Другой важный аспект тестирования торговых систем свя­зан с потенциальной ценностью негативных результатов. Когда система показывает хорошие результаты на большинстве рынков и для большинства наборов параметров, но демонстрирует низкую эффективность в отдельных случаях, разработчик системы может проанализировать условия, в рамках которых система плоха, и, та­ким образом, обнаружить незамеченные ранее слабые стороны. После разбора двенадцати шагов построения и тестирования тор­говой системы Швагер заключает, что построение системы с дей­ствительно высокой эффективностью оказывается делом намного более сложным, чем представляется большинству людей.

ГЛАВА 20. тестирование и оптимизация... 123