Avaliação da estratégia de negociação

Avaliação da estratégia de negociação
Para comparar várias estratégias de negociação, estou tentando calcular a taxa de sucesso (a proporção de negociações vencedoras e perdedoras).
Embora esteja claro para mim que este indicador está longe de ser um reflexo preciso dos pontos fortes da estratégia, deixando de fora o horizonte de tempo e o tamanho relativo dos negócios do quadro, estou particularmente preocupado com o seguinte problema:
Para uma estratégia que faz negociações simples comprando uma ação de uma só vez, vendendo-a depois de uma só vez, é fácil identificar as negociações vencedoras e perdedoras e calcular a proporção.
No entanto, se uma estratégia optar por acumular um estoque gradualmente em várias transações, e / ou vendê-las gradualmente, a noção de uma transação se torna um tanto esquisita. Em particular, torna-se difícil comparar estratégias como A e B, onde.
Compra 10x @ \ $ 100 e vende 10x @ \ $ 150 (1 negociação vencedora com lucro de 50%)
B compra 5x @ \ $ 90 e depois 5x @ \ $ 110, depois vende 5x @ \ $ 140 e depois 5x @ \ $ 160.
Intuitivamente, se o intervalo de tempo entre as transações individuais de compra e venda no exemplo B for pequeno, a estratégia tomou a mesma decisão (comprar 10 unidades do estoque) e acabou com o mesmo resultado (lucro total de 50%).
Quanto mais granulares são as transações individuais, mais difícil parece apoiar essa intuição com algum tipo de regra que agruparia as transações individuais em negociações com base em sua proximidade, de modo que uma única transação correspondesse a uma única decisão tomada pela estratégia. .
Existe uma maneira padrão de resolver este problema ou você pode me indicar quaisquer referências que estejam relacionadas de algum modo?
EDIT: Um par de esclarecimentos para resolver os comentários abaixo:
Estou tratando uma estratégia como uma caixa preta aqui e só quero avaliar seu desempenho histórico. Não tenho como voltar a testar a estratégia em um ambiente diferente, o que também não é minha intenção - a única coisa que estou procurando é calcular a taxa de sucesso para obter uma imagem (reconhecidamente, um pouco tendenciosa).
O exemplo de um cenário de pior caso é uma estratégia que está comprando e vendendo uma única ação X, apenas mudando pesos no portfólio composto de X e caixa. Ele geraria muitas transações (vendendo e comprando de acordo com as flutuações de preço da ação X), mas não tenho certeza de como agrupá-las em "negociações" ou "decisões", para que eu possa calcular uma proporção entre ganhos e perdas. Se eu simplesmente definir uma transação como acontecendo entre a primeira compra e a última venda de uma determinada ação, essa estratégia só teria feito uma única negociação. Eu sei que este é um exemplo um pouco inventado, mas eu tenho o mesmo problema em casos menos extremos, quando a estratégia está reequilibrando ou negociando repetidamente ações não-exclusivas e estou tentando compará-las a estratégias que negociam um grande número de ações exclusivas.

Interpretando um Relatório de Desempenho da Estratégia.
As plataformas de análise de mercado de hoje permitem que os traders revisem rapidamente o desempenho de um sistema de negociação e avaliem sua eficiência e lucratividade em potencial. Essas métricas de desempenho são normalmente exibidas em um relatório de desempenho de estratégia, uma compilação de dados com base em diferentes aspectos matemáticos do desempenho de um sistema. Seja olhando resultados hipotéticos ou dados reais de negociação, existem centenas de métricas de desempenho que podem ser usadas para avaliar um sistema de negociação.
Os traders geralmente desenvolvem uma preferência pelas métricas mais úteis ao seu estilo de negociação. Embora os traders possam naturalmente se aproximar de um número - o lucro líquido total, por exemplo -, é importante entender e revisar muitas das métricas de desempenho antes de tomar qualquer decisão em relação à lucratividade potencial do sistema. Saber o que procurar em um relatório de desempenho estratégico pode ajudar os operadores a analisar objetivamente os pontos fortes e fracos de um sistema. (Veja também: Trading Systems Tutorial.)
Relatórios de desempenho de estratégia.
Um relatório de desempenho estratégico é uma avaliação objetiva do desempenho de um sistema. Um conjunto de regras de negociação pode ser aplicado aos dados históricos para determinar como ele teria sido realizado durante o período especificado. Isso é chamado de backtesting e é uma ferramenta valiosa para os comerciantes que desejam testar um sistema de negociação antes de colocá-lo no mercado. A maioria das plataformas de análise de mercado permite que os traders criem um relatório de desempenho estratégico durante o backtesting. Os comerciantes também podem criar relatórios de desempenho da estratégia para resultados reais de negociação.
A Figura 1 mostra um exemplo de um resumo de desempenho de um relatório de desempenho de estratégia que inclui uma variedade de métricas de desempenho. As métricas estão listadas no lado esquerdo do relatório. os cálculos correspondentes são encontrados no lado direito, separados em colunas.
Além do resumo de desempenho apresentado na Figura 1, os relatórios de desempenho da estratégia também podem incluir listas de negociação, retornos periódicos e gráficos de desempenho. A lista de comércio fornece uma conta de cada comércio que foi tomada, incluindo informações como o tipo de comércio (longo ou curto), a data e hora, preço, lucro líquido, lucro acumulado e lucro percentual. A lista de comércio permite que os comerciantes vejam exatamente o que aconteceu durante cada negociação.
A visualização dos retornos periódicos de um sistema permite que os comerciantes vejam o desempenho dividido em segmentos diários, semanais, mensais ou anuais. Esta seção é útil para determinar lucros ou perdas para um período de tempo específico. Os comerciantes podem avaliar rapidamente o desempenho de um sistema em uma base diária, semanal, mensal ou anual. É importante lembrar que, na negociação, são os lucros (ou perdas) acumulados que importam. Olhando para um dia de negociação ou uma semana de negociação não é tão significativo quanto olhando para os dados mensais e anuais.
Um dos métodos mais rápidos de analisar o desempenho da estratégia é o gráfico de desempenho. Isso mostra os dados de comércio de várias formas, desde um gráfico de barras mostrando o lucro líquido mensal até uma curva de capital. De qualquer maneira, o gráfico de desempenho fornece uma representação visual de todos os negócios no período, permitindo que os negociadores verifiquem rapidamente se um sistema está ou não cumprindo com os padrões. A Figura 2 mostra dois gráficos de desempenho: um como gráfico de barras do lucro líquido mensal; o outro como uma curva de capital. (Veja também: Traçando seu caminho para retornos melhores.)
Principais métricas.
Um relatório de desempenho estratégico pode conter uma enorme quantidade de informações sobre o desempenho de um sistema comercial. Embora todas as estatísticas sejam importantes, é útil limitar o escopo inicial a cinco principais métricas de desempenho:
Lucro Líquido Total Lucro Fator Percentual Rentável Lucro Médio Lucro Máximo Lucro Líquido.
Essas cinco métricas fornecem um bom ponto de partida para testar um sistema comercial em potencial ou avaliar um sistema de negociação ao vivo.
Lucro Líquido Total: O lucro líquido total representa a linha de fundo para um sistema de negociação durante um período de tempo especificado. Esta métrica é calculada subtraindo a perda bruta de todos os negócios perdedores (incluindo comissões) do lucro bruto de todas as negociações vencedoras. Na Figura 1, o lucro líquido total é calculado como:
Embora muitos traders usem o lucro líquido total como o principal meio de medir o desempenho comercial, a métrica sozinha pode ser enganosa. Por si só, esta métrica não pode determinar se um sistema de negociação está executando com eficiência, nem pode normalizar os resultados de um sistema de negociação com base na quantidade de risco que é sustentado. Embora certamente uma métrica valiosa, o lucro líquido total deve ser visto em conjunto com outras métricas de desempenho. (Veja também: Lucrando em uma economia pós-recessão.)
Fator Lucro: O fator lucro é definido como o lucro bruto dividido pela perda bruta (incluindo comissões) para todo o período de negociação. Essa métrica de desempenho relaciona o valor do lucro por unidade de risco, com valores maiores que um indicando um sistema lucrativo. Como exemplo, o relatório de desempenho da estratégia mostrado na Figura 1 indica que o sistema de negociação testado possui um fator de lucro de 1,98. Isso é calculado dividindo-se o lucro bruto pela perda bruta:
Este é um fator de lucro razoável e significa que este sistema em particular produz um lucro. Todos sabemos que nem todo comércio será vencedor e que teremos que sustentar perdas. A métrica do fator de lucro ajuda os operadores a analisar o grau em que as vitórias são maiores que as perdas.
A equação acima mostra o mesmo lucro bruto da primeira equação, mas substitui um valor hipotético pela perda bruta. Nesse caso, a perda bruta é maior que o lucro bruto, resultando em um fator de lucro menor que um. Este seria um sistema perdedor.
Porcentagem lucrativa: O percentual lucrativo também é conhecido como a probabilidade de vencer. Essa métrica é calculada dividindo-se o número de negociações vencedoras pelo número total de negociações por um período especificado. No exemplo mostrado na Figura 1, o percentual lucrativo é calculado da seguinte forma:
O valor ideal para a métrica de porcentagem de lucro varia de acordo com o estilo do trader. Os traders que normalmente optam por movimentos maiores, com lucros maiores, exigem apenas um baixo valor rentável para manter um sistema vencedor. Isso ocorre porque os negócios que vencem (que são lucrativos) geralmente são muito grandes. Um bom exemplo disso é a tendência de seguir os comerciantes. Apenas 40% dos negócios podem ser lucrativos e ainda assim produzir um sistema muito lucrativo, porque os negócios que vencem seguem a tendência e, tipicamente, alcançam grandes ganhos. Os negócios que não ganham são geralmente fechados por uma pequena perda.
Negociadores intradiários, e particularmente cambistas, que procuram ganhar pequena quantia em qualquer negociação, enquanto arriscam uma quantia similar, exigirão uma métrica mais lucrativa por cento maior para criar um sistema vencedor. Isso se deve ao fato de que os negócios vencedores tendem a estar próximos em valor aos negócios perdedores; a fim de "chegar à frente", é necessário que haja um percentual significativamente maior de lucro. Em outras palavras, mais negócios precisam ser vencedores, já que cada vitória é relativamente pequena. (Veja também: Escalpelamento: Pequenos Lucros Rápidos Podem Adicionar.)
Lucro Líquido Médio de Comércio: O lucro líquido médio do comércio é a expectativa do sistema: ele representa a quantidade média de dinheiro que foi ganho ou perdido por comércio. O lucro líquido médio do comércio é calculado dividindo-se o lucro líquido total pelo número total de negócios. Em nosso exemplo da Figura 1, o lucro líquido médio da negociação é calculado da seguinte forma:
Em outras palavras, ao longo do tempo poderíamos esperar que cada operação gerada por esse sistema custaria em média US $ 452,79. Isso leva em consideração as negociações vencedoras e perdedoras, pois é baseado no lucro líquido total.
Esse número pode ser distorcido por um outlier, um único comércio que cria um lucro (ou perda) muitas vezes maior que um comércio típico. Um outlier pode criar resultados irrealistas ao inflacionar o lucro líquido médio da negociação. Um outlier pode fazer um sistema parecer significativamente mais (ou menos) lucrativo do que é estatisticamente. O outlier pode ser removido para permitir uma avaliação mais precisa. Se o sucesso do sistema de negociação no backtesting depender de um outlier, o sistema precisa ser mais refinado.
Drawdown Máximo: A métrica de drawdown máximo refere-se ao "pior cenário" para um período de negociação. Mede a maior distância, ou perda, de um pico de patrimônio anterior. Essa métrica pode ajudar a medir a quantidade de risco incorrido por um sistema e determinar se um sistema é prático com base no tamanho da conta. Se a maior quantia de dinheiro que um negociante está disposto a arriscar for menor que a redução máxima, o sistema de negociação não é adequado para o negociante. Um sistema diferente, com menor rebaixamento máximo, deve ser desenvolvido.
Essa métrica é importante porque é uma verificação de realidade para os traders. Quase qualquer operador poderia ganhar um milhão de dólares - se eles pudessem arriscar 10 milhões. A métrica máxima de levantamento precisa estar alinhada com a tolerância ao risco do negociador e com o tamanho da conta de negociação. (Veja também: Proteja-se da perda de mercado.)
The Bottom Line.
Os relatórios de desempenho da estratégia, sejam aplicados a resultados históricos ou ao vivo, podem fornecer uma ferramenta poderosa para ajudar os traders a avaliar seus sistemas de negociação. Embora seja fácil prestar atenção apenas no resultado final, ou no lucro líquido total - todos nós queremos saber quanto dinheiro um sistema produz - as métricas de desempenho adicionais podem fornecer uma visão mais abrangente do desempenho de um sistema. (Veja também: Crie suas próprias estratégias de negociação.)

Investimento de cinco minutos: como avaliar uma estratégia de negociação.
Este é um elemento necessário para qualquer bom plano de investimento, especialmente a parte sobre deixar os ganhos atingirem todo o seu potencial. Enquanto um portfólio é bem diversificado, você provavelmente pode se dar ao luxo de cometer o erro de manter seus perdedores, mas você absolutamente não deve cometer o erro de descontar prematuramente seus vencedores. Como esperamos que nossos ganhos, por longos períodos de tempo, excedam 100% do nosso investimento inicial, a quantidade de danos que podem ser causados ​​pelo corte de nossos estoques vencedores supera de longe o dano que podemos causar ao não reduzir as perdas. No entanto, para otimizar o desempenho, é melhor reduzir as perdas e conduzir os vencedores o maior tempo possível.
É inevitável que qualquer sistema que tente permitir que os ganhos funcionem acabará por construir algumas posições grandes em algumas ações, à medida que as ações cresçam em valor. Essa é a boa maneira de desenvolver uma grande posição. Além disso, não há problema em construir uma posição adicionando à posição à medida que ela avança em valor; na verdade, a maioria dos profissionais aumenta continuamente suas participações acionárias à medida que o preço se move a seu favor. Desta forma, eles maximizam a recompensa potencial por manter uma determinada ação ou cesta de ações.
Este é um complemento ao No.2, já que a entrada gradual em uma posição é um meio de minimizar a chance de perda de uma única decisão ruim. Mais uma vez, não se pode enfatizar demasiadamente que grandes quedas em seu capital devem ser evitadas a todo custo. Qualquer plano de ataque deve pontuar bem na área de manter nossos ovos em muitas cestas em vez de uma; e não devemos ter uma grande porcentagem de nossos ativos em uma única ação a menos que nosso preço médio de compra esteja muito abaixo do preço de mercado atual. Se fizermos isso bem, podemos sustentar uma grande queda de um dia no preço de uma ação sem perder muito, se houver, do nosso investimento original.
No calor da batalha, quando você está lidando com o seu suado dinheiro, as instruções do seu sistema devem ser tão claras quanto o cristal. Caso contrário, você se verá fazendo chamadas de julgamento que aliviam o estresse de curto prazo e, no entanto, são decisões ruins a longo prazo. Sinais precisos e inequívocos e ordens de marcha são a melhor maneira de evitar os efeitos da euforia e do medo. Você ainda pode sentir essas emoções, mas enquanto seu sistema estiver bom e você aderir a ele de forma fastidiosa, tudo vai dar certo. (Para uma leitura relacionada, veja Quando o medo e a ganância assumem o controle.)
Enquanto queremos ter certeza de que temos um meio de acompanhar a tendência de uma ação pelo tempo que pudermos, quando ficar claro que a tendência está começando a enfraquecer ou mesmo reverter profundamente, precisamos ter um sistema que permita a venda da moeda. estoque para que possamos reimplantar capital para pastos mais verdes.
Se uma estratégia nos permite construir uma grande posição em uma questão que está atrasada ou até mesmo perdendo dinheiro para nós, há algo seriamente errado com essa estratégia. A queixa comum que se ouve de muitos participantes do mercado de ações é que eles gostariam que não tivessem investido tanto na XYZ Company e gostariam que tivessem investido mais na ABC Co. Essa má alocação de ativos é geralmente realizada por meio do investidor comum. erros no Capítulo 2, especialmente os erros de aumentar a posição de perder ou de afundar. Um sistema bem-sucedido precisa garantir que nossos maiores investimentos estejam em nossas melhores ações, e não no pior.
Este é o inverso do No.7. É interessante notar que as únicas maneiras que você pode realizar tendo investido muito em um perdedor é mergulhar de uma vez e não cortar sua perda, ou adicionar uma posição perdedora, uma vez estabelecida como perdida. Ambos são erros mortais e qualquer sistema que desenvolvemos deve nos impedir de cometer esses pecados.
Ocasionalmente, ouviremos declarações como "vender uma ação quando o crescimento de seus lucros ficar mais lento" ou "manter um estoque desde que o produto pareça bom". Muitas vezes, esses tipos de declarações são apregoados como regras de investimento. Eu quero fazer um ponto que estes tipos de declarações não são realmente planos, em si e por si mesmos. Eles são muito subjetivos para o mundo muito tangível do mercado de ações, onde as ações recebem um preço específico a cada minuto de cada dia de negociação. Para ser útil para a tomada de decisões por nós, meros mortais, o sistema usado deve dizer ao investidor exatamente quando comprar ou vender, e quanto comprar ou vender. Como você consegue identificar o momento exato em que o produto de uma empresa passa de bom a ruim ou quando os lucros de uma empresa "desaceleraram"? As possibilidades são, você não pode. Como o preço de uma ação geralmente reflete esses eventos muito antes de eles realmente acontecerem, esses tipos subjetivos de abordagens tendem a ser um dia de atraso e um dólar a menos que você esteja incrivelmente bem conectado à empresa em questão. Mesmo se você estivesse bem conectado, então você poderia estar negociando informações privilegiadas, o que é contra a lei federal.
É concebível que, se você pudesse desenvolver alguns critérios não-subjetivos sobre como saber quando o produto ou o lucro de uma empresa está perdendo sua vantagem, você poderia possivelmente desenvolver um sistema verdadeiro (não subjetivo) em torno dela. Mesmo se você pudesse fazê-lo, seria diferente para cada indústria, tornando muito demorado para implementar. Portanto, esse tipo de abordagem não é muito prático para a pessoa comum e definitivamente viola nossa exigência de que nossa estratégia não seja demorada para ser mantida. Existe uma diferença entre regras subjetivas de negociação e um sistema não subjetivo de negociação. Aprenda a reconhecer a diferença e você estará vários passos à frente da maioria dos investidores.

Limitações de declarações quantitativas sobre a avaliação da estratégia de negociação.
17 Páginas Enviada: 16 Jul 2016.
Michael Harris.
Price Action Lab.
Data de Escrita: 15 de julho de 2016.
Uma das principais premissas da avaliação da estratégia de negociação quantitativa é que os erros do Tipo II (descobertas perdidas) são preferíveis aos erros do Tipo I (falsas descobertas). No entanto, os profissionais sabem há muito tempo que as propriedades estatísticas de algumas estratégias de negociação genuínas são frequentemente indistinguíveis de aqueles de estratégias de negociação aleatória. Portanto, quaisquer ajustes de estatísticas para proteger contra o p-hacking aumentam o erro do Tipo II, a menos que o poder do teste seja alto. Ao mesmo tempo, o poder do teste é limitado por amostras insuficientes e mudanças nas condições do mercado. Além disso, estratégias genuínas com propriedades estatísticas semelhantes às estratégias aleatórias podem se sobrepor devido a condições favoráveis ​​de mercado, mas falham quando as condições do mercado mudam. Esses fatos limitam severamente a eficácia de reclamações quantitativas sobre a avaliação da estratégia de negociação. Em vez disso, os praticantes recorreram a simulações de Monte Carlo e modelagem estocástica em um esforço para aumentar as chances de identificar estratégias de negociação robustas, mas esses métodos também têm severas limitações devido às mudanças nas condições de mercado, viés de seleção e espionagem de dados. Neste artigo apresentamos dois exemplos que demonstram a limitação da avaliação quantitativa de estratégias de negociação e afirmamos que a maneira mais eficaz de evitar o overfitting e o viés de seleção é limitar as aplicações do backtesting a uma classe de estratégias que emprega preditores similares, mas simples. de preço. Afirmamos que determinar quando as condições do mercado mudam é, em muitos casos, fundamentalmente mais importante do que qualquer afirmação quantitativa sobre a avaliação da estratégia de negociação.
Palavras-chave: estratégia de negociação, mineração de dados, market timing, médias móveis, avaliação de desempenho.

Limitações de reivindicações quantitativas sobre a avaliação da estratégia de negociação.
Price Action Lab.
Uma das principais premissas da avaliação da estratégia de negociação quantitativa é que os erros do Tipo II (descobertas perdidas) são preferíveis aos erros do Tipo I (falsas descobertas). No entanto, os profissionais sabem há muito tempo que as propriedades estatísticas de algumas estratégias de negociação genuínas são frequentemente indistinguíveis de aqueles de estratégias de negociação aleatória. Portanto, quaisquer ajustes de estatísticas para proteger contra o p-hacking aumentam o erro do Tipo II, a menos que o poder do teste seja alto. Ao mesmo tempo, o poder do teste é limitado por amostras insuficientes e mudanças nas condições do mercado. Além disso, estratégias genuínas com propriedades estatísticas semelhantes às estratégias aleatórias podem se sobrepor devido a condições favoráveis ​​de mercado, mas falham quando as condições do mercado mudam. Esses fatos limitam severamente a eficácia de reclamações quantitativas sobre a avaliação da estratégia de negociação. Em vez disso, os praticantes recorreram a simulações de Monte Carlo e modelagem estocástica em um esforço para aumentar as chances de identificar estratégias de negociação robustas, mas esses métodos também têm severas limitações devido às mudanças nas condições de mercado, viés de seleção e espionagem de dados. Neste artigo apresentamos dois exemplos que demonstram a limitação da avaliação quantitativa de estratégias de negociação e afirmamos que a maneira mais eficaz de evitar o overfitting e o viés de seleção é limitar as aplicações do backtesting a uma classe de estratégias que emprega preditores similares, mas simples. de preço. Afirmamos que determinar quando as condições do mercado mudam é, em muitos casos, fundamentalmente mais importante do que qualquer afirmação quantitativa sobre a avaliação da estratégia de negociação.
Limitações das alegações quantitativas sobre a avaliação da estratégia de negociação & # 8211; Introdução.
Os traders nem sempre têm o luxo de testar estratégias de negociação em uma amostra futura com dinheiro real, porque isso leva tempo e é caro em caso de falha de desempenho. Portanto, os traders buscam medidas ex-ante de robustez das estratégias de negociação e para alcançar esse recurso ao uso de análise quantitativa. Normalmente, uma estratégia de negociação é desenvolvida em dados dentro da amostra e validada em dados fora da amostra. Embora a comunidade acadêmica esteja ciente da eficácia limitada da validação fora da amostra quando vários estudos estão envolvidos, a comunidade de praticantes tem sido lenta no reconhecimento desses problemas.
Três artigos da comunidade acadêmica, entre vários outros, aumentaram recentemente a conscientização da comunidade de profissionais sobre o superteste excessivo e vários testes ao desenvolver e avaliar estratégias de negociação. No entanto, os resultados desses artigos lidam apenas com a parte do problema relacionada ao excesso de ajuste e ao viés de seleção, mas não com o problema mais importante do efeito das mudanças nas condições de mercado em estratégias genuínas que se sobreponham em condições de mercado persistentes.
Os métodos para ajustar o índice de Sharpe, chamado de proporção de Sharpe de corte de cabelo, para contabilizar vários testes, são discutidos em Harvey e Liu (2015). Como demonstraremos com um exemplo, esses ajustes não podem proteger contra erros do Tipo I (falsas descobertas) quando uma estratégia genuína é usada, mas há uma mudança nas condições de mercado. Em Bailey et al. (2014), um método diferente é apresentado para determinar o comprimento mínimo de backtest necessário para avaliar o risco de overfitting, como uma função do número de tentativas envolvidas no desenvolvimento de uma estratégia. Este método também falha em abordar o importante problema de mudanças nas condições de mercado, como também é reconhecido em Bailey et al. (2015). Ambos os métodos não lidam com a principal causa de falhas de estratégias genuínas que são super adaptadas em condições de mercado favoráveis, mas falham devido a mudanças nas condições de mercado, embora sejam valiosas no caso de estratégias desenvolvidas via aprendizado de máquina.
Em Novy-Marx (2016), uma diferenciação é feita entre a seleção pura e o viés de overfitting, e sua combinação, no caso de múltiplos sinais. Valores críticos da estatística T são oferecidos nos casos de seleção pura e combinações de sinais, chamadas de melhor estratégia k-of-n, em função do número de sinais considerados. O artigo oferece valores críticos de estatística T para correção de viés de mineração de dados devido ao overfitting e ao viés de seleção. Embora os resultados do artigo sejam interessantes, uma desvantagem é que eles são baseados na geração de sinais aleatórios com dados de estoque reais de janeiro de 1995 a dezembro de 2014. A combinação dos sinais aleatórios gera estratégias significativas com altos valores da estatística-T. No entanto, os traders estão realmente interessados ​​em como as regras comerciais populares se comportam na previsão de retornos fora da amostra. Também não está totalmente claro neste documento como o erro do Tipo II é afetado pela correção do viés de mineração de dados usando os valores críticos obtidos da combinação de sinais aleatórios. Descartar estratégias com alta probabilidade de um bom desempenho é um custo de oportunidade. Afinal, o trabalho de um comerciante é negociar, não perpetuamente analisar e avaliar estratégias.
Uma contribuição importante dos resultados nos três trabalhos acima mencionados é que eles aumentaram a conscientização sobre o impacto do overfitting, viés de seleção e espionagem de dados, especialmente durante um período de tempo em que há um interesse renovado em aplicações de aprendizado de máquina na descoberta de estratégia de negociação. No entanto, os profissionais sabem há muito tempo que as verdadeiras estratégias de negociação fracassam principalmente quando as condições do mercado mudam porque não conseguem manter uma expectativa positiva. Uma razão para a adoção lenta de métodos quantitativos na avaliação de estratégias por parte dos profissionais é devido à sua limitada efetividade, especialmente quando esses métodos se tornam outra métrica para guiar o processo de desenvolvimento da estratégia. Nesse caso, em vez de minimizar o viés de mineração de dados, esses métodos quantitativos realmente se tornam outro fator que contribui para isso.
Além dos esforços da comunidade acadêmica, os profissionais da avaliação da estratégia de negociação também tentaram lidar com o problema do overfitting, do viés de seleção e da espionagem de dados com vários métodos quantitativos ad-hoc.
Em seu livro popular, Análise Técnica Baseada em Evidências, David Aronson (2007) introduz os métodos de permutação bootstrap e Monte Carlo para gerar distribuições amostrais usadas para inferência estatística. No caso do bootstrap, a hipótese nula é que o retorno médio da estratégia de negociação é 0 e, no caso da permutação de Monte Carlo, a hipótese nula é que a estratégia não possui inteligência na previsão de retornos de mercado. Aronson reconhece que essa abordagem é válida para testes independentes e fornece um conjunto de heurísticas para minimizar o overfitting e o viés de seleção, que são dois componentes do viés da mineração de dados (Harris, 2015). Essas heurísticas envolvem a limitação do número de regras testadas, o aumento do tamanho da amostra, considerando os resultados de backtest correlacionados e limitando os outliers e a variação dos resultados do backtest. No entanto, essas heurísticas não podem limitar o impacto adverso das mudanças nas condições de mercado em estratégias genuínas de negociação, que também é a principal razão do fracasso.
Outro método, denominado System Parameter Permutation (SPP), e sua variante recente, System Parameter Randomization (SPR), foi sugerido por Walton (2014). Esse método envolve a aplicação de uma abordagem de modelagem estocástica para avaliar estimativas de desempenho de curto e longo prazo. A principal vantagem do SPP é que ele não depende da validação fora da amostra e isso diminui a tendência de snooping de dados enquanto aumenta a potência dos testes devido à amostra maior. No entanto, o primeiro problema com o SPP é que ele exige a seleção ex-ante de uma série de parâmetros do sistema para posteriormente variar e gerar distribuições de amostragem. Isso é problemático porque o viés de mineração de dados não surge apenas devido ao overfitting, mas também devido ao viés de seleção. Em muitos casos, o viés de seleção é o principal contribuinte para o viés de mineração de dados, por exemplo, quando as estratégias não têm parâmetros para variar. O segundo problema com o SPP é que, se ele é usado repetidamente em vários testes, ele perde sua eficácia devido à espionagem de dados. O terceiro e mais sério problema é que todos os testes estão condicionados a dados históricos e a probabilidade de um erro do Tipo I é alta sob uma mudança nas condições de mercado. Portanto, o SPP não responde à seguinte questão crucial: Como o desempenho da estratégia será afetado se ocorrerem condições de mercado que sejam fundamentalmente diferentes daquelas encontradas durante a análise? Como veremos na Seção 3.1 através de um exemplo, não há nada que a SPP possa fazer para determinar uma falha devido a uma grande mudança nas condições de mercado.